リクエストを残す
GoogleはKralerを使用し、ベストを使用して、自動的に、およびユーザーの要求に応じて、製品に対してさまざまなアクションを実行します。 Crowler（「ロボット」または「スパイダー」とも呼ばれることもあります）は、Webサイトを自動的に検出およびスキャンするために使用されるプログラムの一般名です。 ThetsはWGETと同様のプログラムとして機能し、通常、ユーザーに代わって単一のリクエストを実行します。 Google製品は、3つのカテゴリに分類できます。
Google製品（たとえば、GoogleBot）に使用される従来のKralerは、自動スキャンのために常にrobots.txtルールに従います。
Special Kralerは普通のものに似ていますが、スキャンプロセスに関してスキャンされたサイトとGoogle製品の間に合意がある特定の製品で使用されます。たとえば、ADSBOTは、サイト所有者の解像度でGlobal Robots.txtユーザーエージェントを無視します。
ユーザーのスチダーは、最終ユーザーがリクエストを開始するときに製品と製品の機能の一部です。たとえば、GoogleサイトVerifierはユーザーのリクエストで動作します。
Google CraolersとVetersは、インターネットが成長するにつれてパフォーマンスとスケーラビリティを向上させるために、数千のマシンで同時に動作するように設計されています。帯域幅の使用を最適化するために、これらの顧客は世界中の多くのデータセンターに従って配布されるため、連絡できるサイトの近くに配置されます。したがって、さまざまなIPアドレスからの訪問は、ログに示すことができます。 Google出口は、主に米国のIPアドレスで行われます。 Googleがサイトが米国からの要求をブロックしていることを発見した場合、彼は他の国にあるIPアドレスからスキャンしようとするかもしれません。
Google CraolersとVetersは、HTTP/1.1およびHTTP/2をサポートしています。 Craolersは、最適なスキャンパフォーマンスを提供するプロトコルのバージョンを使用し、以前のスキャンセッションの統計に応じてプロトコルを切り替えることがあります。デフォルトでは、Google KralerはHTTP/1.1プロトコルを使用しています。 HTTP/2をスキャンすると、サイトとGoogleBotの両方のコンピューティングリソース（CP、RAMなど）を保存できますが、それ以外の場合はサイトに特定の利点を与えません（たとえば、これはGoogle検索の評価に影響しません）。 http/2でスキャンを拒否するには、GoogleがHTTP/2を介してサイトにアクセスしようとするときにステータス421で応答するようにサーバーを設定します。これが不可能な場合は、スキャンチームにメッセージを送信できます（ただし、これは一時的な決定です）。
Google Croilersインフラストラクチャは、FTP（RFC959およびその更新で定義されている）およびFTPS（RFC4217およびその更新で定義されている）を介したスキャンをサポートしていますが、これらのプロトコルを介したスキャンはまれです。
Google Craolersとテスターは、以下のコンテンツの圧縮方法をサポートしています（エンコーディング）：GZIP、DEFLATE、およびBROTLI（BR）。 Googleユーザーエージェントごとにサポートされているコンテンツエンコードは、各リクエストが行う各リクエストの受容ヘッダーに示されています。例：Accept-Encoding：gzip、deflate、br。
私たちの目標は、サーバーに過負荷にならずに、訪問ごとにサイトのページをできるだけ多くスキャンすることです。サイトがGoogleからリクエストを提供するのが困難な場合は、スキャン速度を下げることができます。間違ったHTTPステータスをGoogle Kraolersに送信すると、Google製品にサイトが表示される方法に影響を与える可能性があることに注意してください。
Google Kralerのインフラストラクチャは、HTTPキャッシング標準、特にETAGおよびIF-Noneマッチの見出しを介して、およびラスト修飾およびif-Modified-Sinceのリネンの見出しを通じて決定されるヒューリスティックなHTTPショーをサポートしています。
注：Google Crulsの好みに関係なく、ETAGとLastMidifiedの値を設定することをお勧めします。これらのヘッダーは、CMSなどの他のアプリケーションでも使用されます。
HTTP標準が必要とするように、ETAGとラスト修飾フィールドの両方が返品見出しに存在する場合、Google KralerはETAG値を使用します。 Google Croilersの場合、ETAGには日付のフォーマットに問題がないため、キャッシュの好みを示すためにラスト修飾の代わりにETAGを使用することをお勧めします。
HTTPキャッシュの他の指令はサポートされていません。
個別のCrowlersとGoogleベターは、関連付けられている製品のニーズに応じて、キャッシュを使用できます。たとえば、GoogleBotは、Google検索のために繰り返しスキャンURLを繰り返したときにキャッシュをサポートし、StoreBot-Googleは特定の条件下でのみキャッシュをサポートします。
サイトのHTTPコーディングを実装するには、コンテンツ管理システムのホスティングプロバイダーまたはサプライヤーにお問い合わせください。
Google Craul Infrastructureは、HTTPキャッシング標準で決定されているように、ETAGおよびIF-None-Matchをサポートしています。 ETAGヘッダーとそのIF-NONE-MATCHリクエストの詳細をご覧ください。
Google Kralerのインフラストラクチャは、HTTPキャッシング標準で決定された、次の予約を備えた、ラスト修飾およびif修飾などをサポートしています。
ラスト修正見出しとその修正済みのリクエストの詳細をご覧ください。
Google Craulesは3つの方法で自分自身を識別します。
これらのデータを使用してGoogle CholeraとFrindersを確認する方法をご覧ください。
SEOについて質問がある場合、またはヘルプが必要な場合は、電子メールでSEOコンパニオンに連絡してください info@seo.computer またはwhatsappを通じて： +79202044461。
ID 61
