正確なSEO構成のためのGoogleの特別なWebサイトロボットのリスト

一部の検索ロボットは、標準のインデックスシステムでは使用されませんが、サイトの所有者がスキャン用語に特別な合意を持つ可能性のある個々の製品によって使用されます。たとえば、特定のロボットはグローバルディレクティブをバイパスできます robots.txt、許可がある場合は、すべてのエージェント（*）に示されています。

このような特殊なロボットは、通常の検索エンジンよりも他のIPバンドで動作します。実際の範囲は、特別な目的JSONファイルにリストされています。それらの逆DNS-レコードには、タイプのタイプがあります rate-limited-proxy-***-***-***-***.google.com。

そのようなエージェントのリストは、以下のユーザーエージェントライン、に使用される値を以下に示します robots.txt サービスの作業に対する設定の影響の説明。このリストは網羅的ではありませんが、ログにほとんど頻繁に登場し、サイト所有者の間で質問を提起するロボットが含まれています。

Googleのサイトのサイトと通知との相互作用

ユーザーエージェント： APIS-HOOOGLE

robots.txtに記録：user-agent: APIs-Google

グローバルルールを無視します *。

user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/

APIサービスが使用して、サイトへのプッシュメッセージの配信を制御します。

広告分析のためのGoogleモバイル検索エージェント

ユーザーエージェント： adsbot-google-mobile

robots.txtに記録：user-agent: AdsBot-Google-Mobile

また、グローバルなルールも無視します。

user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/

サイトのページのモバイルバージョンで広告の品質を分析するために使用されます。

デスクトップ広告のGoogleサイト検索エンジン

ユーザーエージェント： adsbot-google

robots.txtに記録：user-agent: AdsBot-Google

user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/

ロボットは、サイトのページで広告の有効性とコンプライアンスをチェックします。

Googleサイトエージェント、コンテキスト広告のコンテンツの分析

ユーザーエージェント： Mediapartners-Google

robots.txtに記録：user-agent: Mediapartners-Google

指令を回避します *。

user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/

関連する広告とそのページへの配置を選択するために、サイトにアクセスしてください。

ユーザーを保護するためのGoogleサイトセキュリティロボット

ユーザーエージェント： Google-Safety

robots.txt： それは完全に無視されます

ロボットは、サイトのページで悪意のあるリンクと虐待を特定するのに役立ちます。従わない robots.txt安全上の理由でのみ機能するため。

Googleのサイトの時代遅れの特別検索エージェント

以下は、もはや使用されていないエージェントですが、ログに存在するか、スキャン動作に影響を与える前にエージェントです。

広告の品質を評価するためにGoogleの古いモバイルサイトエージェント

ユーザーエージェント： adsbot-google-mobile（時代遅れ）

robots.txt： グローバルルールを無視しました

モバイルデバイスから開いているページ上の広告の品質を評価するために使用されました。

自動インタラクティブサービスのGoogleサイトエージェント

ユーザーエージェント： duplexweb-google

robots.txt： 指令を無視できます *

自動化されたサービスで使用され、サイトページのコンテンツと対話しました。

Favikonokを収集するためのGoogleのサイトロボット

ユーザーエージェント： Google Favicon

robots.txt： 標準トークンを使用しました Googlebot-Image そして Googlebot

彼は、検索インターフェイスのサイトアイコンの表示と選択を担当しました。

Googleサイト検索エンジンモバイルアプリケーションページを分析します

ユーザーエージェント： adsbot-google-mobile-apps

robots.txt： Adsbot-Googleのルールに従って、無視しました *

Androidアプリケーションのページを分析して、広告要件へのコンプライアンスを評価しました。

Googleのより軽いサイトエージェントは、迅速な読み込み用に設計されています

ユーザーエージェント： Googlewweblight

robots.txt： ユーザーのリクエストのためだけにアクティブだったので、ルールを無視しました

このエージェントは、遅い接続中にサイトページの簡素化されたバージョンを提供し、ヘッダーの存在を確認しました no-transform。

robots.txtの設定、スキャナー管理、およびSEO最適化によるすべての問題については、連絡できます SEO Company SEO.computer：info@seo.computer WhatsApp： +7 920 204-44-61

ID：86