リクエストを残す
特別な検索ロボットは個別のサービスで使用されますが、スキャン条件下では、サイトとサービスの間に特別な合意が確立されます。たとえば、別のロボットは、サイト所有者の同意がある場合、すべてのエージェント（*）のrobots.txtの一般的なルールを無視できます。
このようなロボットは、標準の検索エンジンよりも他のIPバンドに従って機能します。これらのIPアドレスのリストは、特別なJSONファイルに配置されています。これらのIPの逆DNS記録は、レート制限ポロキシ - ***に対応する場合があります。 ***。 ***。 ***。 Google.com。
以下は、異なるサービスで使用される特別なロボット、HTTPチェックのユーザーエージェントライン、robots.txtの指定、およびインデックス作成の動作に対する設定の影響の説明です。リストは完全ではありませんが、Webサイトログに最も一般的なエージェントが含まれています。
HTTPチェックのユーザーエージェント： APIS-HOOOGLE
robots.txtのユーザーエージェントトークン： APIS-HOOOGLE
一般的な規則が示されています *、このロボットには考慮されていません。
robots.txtの設定の例：
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
このユーザーエージェントの設定は、APIを介したプッシュ通知の配信に影響します。
HTTPチェックのユーザーエージェント： adsbot-google-mobile
robots.txtのユーザーエージェントトークン： adsbot-google-mobile
一般的な指令は無視されます。
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
このエージェントは、広告製品で使用されているサイトのページで広告の品質をチェックします。
HTTPチェックのユーザーエージェント： adsbot-google
robots.txtのユーザーエージェントトークン： adsbot-google
一般的なユーザーエージェントは無視されます。
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
サイトのページで広告コンテンツの品質を評価するために使用されます。
HTTPチェックのユーザーエージェント： Mediapartners-Google
robots.txtのユーザーエージェントトークン： Mediapartners-Google
robots.txtの一般的な指令を無視します。
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
関連する広告を表示するためにサイトをスキャンするために使用されます。
HTTPチェックのユーザーエージェント： Google-Safety
robots.txtのユーザーエージェントトークン： 適用されていない - ルールを無視します。
サイトのページで悪意のあるリンクやその他の疑わしいアクティビティを検出するために使用されます。このエージェントは、ユーザーを保護するのに役立つため、robots.txt設定に従いません。
以下は、以前に使用されていたが、現在アクティブではなくなっているエージェントがリストされています。参照のために情報が与えられます。
ユーザーエージェント： adsbot-google-mobile
ユーザーエージェントトークン： adsbot-google-mobile
これは、たとえばスマートフォンなど、モバイルデバイスの広告の品質を評価するために使用されていました。
ユーザーエージェント： duplexweb-google
ユーザーエージェントトークン： duplexweb-google
このエージェントは、インタラクティブサービスで使用される一般的なルールを無視できます。
ユーザーエージェント： Google Favicon
ユーザーエージェントトークン： GoogleBot-Image、GoogleBot
彼は、さまざまなインターフェイスにあるファビコサイトのコレクションとディスプレイを担当しました。
ユーザーエージェント： adsbot-google-mobile-apps
ユーザーエージェントトークン： adsbot-google-mobile-apps
Androidアプリケーションのスキャンページを実行して、その品質と広告のコンプライアンスを評価しました。
ユーザーエージェント： Googlewweblight
ユーザーエージェントトークン： Googlewweblight
特別な検索モードを介して実際のユーザーの移行でのみ使用されました。自動スキャナーとは見なされていないため、Robots.txtを無視しました。
このエージェントは、サイトのページで変換されないヘッダーの可用性をチェックして、遅い接続中にディスプレイを最適化しました。
robots.txt、特別なロボット、またはその他のSEOの質問をセットアップするためのルールを明確にする必要がある場合は、お問い合わせください seo.computer メールで： info@seo.computer またはwhatsapp： +7 920 204-44-61
ID：86
