GoogleBotや他のGoogle検索ロボットが実際にGoogleを介してサイトにアクセスすることを確認する方法

サーバーに転向するWebロボットが実際のGoogleBotであるかどうかを確認できます。これは、スパマーや他の攻撃者がGoogleBotのふりをしてサイトにアクセスできることを心配している場合に便利です。

Googleロボットは3つのカテゴリに分かれています。

Googleロボット、Google Webサイトを確認してください

サイトにアクセスできるGoogleロボットの説明と、対応するIPバンド：

Google Webサイトの通常のGoogleロボット

これらは、GoogleBotなどのGoogle製品に使用されるロボットです。これらのロボットは、自動バイパスのために常にrobots.txtルールに従います。

ドメインの例：クロール - *** - *** - *** - ***。 GoogleBot.comまたはGeo-Crawl- *** - *** - *** - ***。 geo.googlebot.com

例JSONファイル：GoogleBot.json

Google Webサイトの特別なGoogleロボット

これらのロボットは、Webサイトとバイパスのプロセスに関する製品の間に合意がある場合、Google製品（Adsbotなど）に対して特定の機能を実行します。これらのロボットは、robots.txtルールに従うことができます。

例：rate-limited-proxy- *** - *** - *** - ***。 Google.com、Special-Crawlers.json

Googleのサイトでユーザーがアクティブ化したロボット

エンドユーザーがデータ要求をアクティブにするこれらのツールと製品。たとえば、ユーザーのリクエストで起動されるGoogle Site Verifier。これらのロボットは、robots.txtルールを無視します。

例： ***-***-***-***。 gae.googleusercontent.comまたはGoogle-proxy- *** - *** - *** - ***。 Google.com。

GoogleBotテスト方法Google Webサイトで

GoogleBot Webロボットが次のかどうかを確認する方法は2つあります。

手動方法： 単一のチェックには、コマンドツールを使用します。この方法は、ほとんどの場合に適しています。
自動方法： 大量検査については、自動ソリューションを使用して、ロボットのIPアドレスを公開されたIPバンドGoogleBotと比較します。

GoogleBotをGoogle Webサイトでチェックするためのコマンドツールを使用する

ホストコマンドを使用して、サーバーにアドレス指定するIPアドレスに逆DNS要求を実行します。
ドメイン名が次のいずれかに対応していることを確認してください：GoogleBot.com、Google.com、GoogleUserContent.com。
ホストコマンドを使用して前のステップで取得したドメイン名にストレートDNS-Requestを実行します。
ドメイン名がログに記録された元のIPアドレスに対応していることを確認してください。

例1：

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

例2：

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

例3：

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

自動ソリューションを使用してGoogleBotをGoogleBotで確認する

GoogleBotおよびGoogleBotおよびその他のGoogleロボットの公開されたIPアドレスと比較することにより、IPアドレスごとにGoogleBotを識別することもできます。

GoogleBotなどの通常のロボット
Adsbotなどの特別なロボット
ユーザー（ユーザー）によってアクティブ化されたリクエスト
ユーザーがアクティブ化するリクエスト（Google）

他のGoogle IPアドレスの場合、サイトへのアクセス（たとえば、アプリケーションなど）を作成できます。IPアドレスをGoogle IPアドレスの一般リストと比較してください。 JSONファイルのIPアドレスはCIDR形式で表示されていることに注意してください。

質問やヘルプがある場合は、SEO会社「SEO.computer」にメールで連絡できます。 info@seo.computer またはwhatsapp +79202044461。

ID 41