Google网站的特殊搜索引擎列表

单独的服务使用特殊的搜索机器人，而在扫描条件下该网站和服务之间建立了特殊协议。例如，如果网站所有者同意，则单独的机器人可以忽略所有代理（*）中的常规规则。

此类机器人根据其他IP频段来工作，而不是标准搜索引擎。这些IP地址的列表放在特殊的JSON文件中。这些IP的反向DNS记录可能对应于速率限制的proxy- ***。 ***。 ***。 ***。 Google.com。

以下是不同服务使用的特殊机器人的列表，其用户代理行中的HTTP检查中的线条，robots.txt的名称以及其设置对索引行为的影响的描述。该列表不完整，但包含网站日志中最常见的代理。

Google网站的搜索代理API

HTTP检查中的用户代理： apis-hooogle

robots.txt上的用户代理令牌： apis-hooogle

通用规则通过 *该机器人未考虑。

robots.txt中设置的一个示例：

user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/

此用户代理的设置会影响通过API推送通知的交付。

Google移动网站的搜索代理

HTTP检查中的用户代理： adsbot-google-mobile

robots.txt上的用户代理令牌： adsbot-google-mobile

一般指令被忽略。

user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/

该代理商在广告产品中使用的网站页面上检查广告质量。

在Google中搜索网站网站的机器人

HTTP检查中的用户代理： adsbot-google

robots.txt上的用户代理令牌： adsbot-google

一般的用户代理被忽略。

user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/

用于评估网站页面上广告内容的质量。

网站内容扫描代理在Google中用于广告块

HTTP检查中的用户代理： Mediapartners-Google

robots.txt上的用户代理令牌： Mediapartners-Google

忽略robots.txt中的一般指令。

user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/

用于扫描网站以显示相关广告。

在Google中搜索机器人网站

HTTP检查中的用户代理： Google安全

robots.txt上的用户代理令牌： 不应用 - 忽略规则。

它用于检测网站页面上的恶意链接和其他可疑活动。该代理不遵守机器人。TXT设置，因为它可以保护用户。

Google中过时的特殊网站机器人

以下是以前使用的列出的代理，但目前不再活跃。提供信息供参考。

Google网站的动作移动代理

用户代理： adsbot-google-mobile

用户代理令牌： adsbot-google-mobile

它用于评估移动设备上的广告质量，例如智能手机。

Google网站的搜索代理自动服务

用户代理： 双列韦布 - 戈尔

用户代理令牌： 双列韦布 - 戈尔

该代理可以忽略交互式服务中使用的一般规则。

搜索代理Favicon网站在Google上

用户代理： Google Favicon

用户代理令牌： Googlebot-image，GoogleBot

他负责在各种界面中收集和展示Faviko网站。

该网站在Google中的移动应用程序的搜索代理

用户代理： adsbot-google-mobile-apps

用户代理令牌： adsbot-google-mobile-apps

进行了Android应用程序的扫描页面，以评估其质量和遵守广告。

该网站的搜索代理的轻型版本在Google中

用户代理： Google Weblight

用户代理令牌： Google Weblight

它仅通过特殊的搜索模式用于真实用户的过渡。我忽略了robots.txt，因为它不被视为自动扫描仪。

该代理检查了网站页面上NO-Transform标头的可用性，以在慢速连接期间优化其显示。

如果您需要澄清设置robots.txt，特殊机器人或任何其他SEO问题的规则，请联系 seo.computer 通过电子邮件： info@seo.computer 或WhatsApp： +7 920 204-44-61

ID：86