Google中特殊网站机器人列表，以进行准确的SEO配置

标准索引系统不使用一些搜索机器人，而是由您网站所有者在扫描条款上具有特殊协议的单个产品。例如，某个机器人可以绕过全球指令 robots.txt如果有许可，则为所有代理（*）指示。

这样的专业机器人与其他IP频段相比，与普通搜索引擎一起使用。实际范围在特殊用途的JSON文件中列出。他们的反向DNS记录具有类型的类型 rate-limited-proxy-***-***-***-***.google.com。

此类代理的列表在下面给出，其用户代理行，用于 robots.txt 并描述其设置对服务工作的影响。该列表并不详尽，但包括那些经常出现在日志中并在网站所有者之间提出问题的机器人。

该网站在Google中的网站及其与通知的互动

用户代理： apis-hooogle

在Robots.txt中的记录：user-agent: APIs-Google

忽略全球规则 *。

user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/

由API服务用于控制推送消息到您的网站的传递。

Google移动搜索代理进行广告分析

用户代理： adsbot-google-mobile

在Robots.txt中的记录：user-agent: AdsBot-Google-Mobile

它也忽略了全球规则。

user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/

它用于分析网站页面移动版本上广告的质量。

Google网站搜索引擎的桌面广告

用户代理： adsbot-google

在Robots.txt中的记录：user-agent: AdsBot-Google

user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/

机器人检查网站页面上广告的有效性和符合性。

Google网站代理，分析内容以进行上下文广告

用户代理： Mediapartners-Google

在Robots.txt中的记录：user-agent: Mediapartners-Google

绕着指令 *。

user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/

访问您的网站以选择相关广告及其在页面上的位置。

Google站点安全机器人保护用户

用户代理： Google安全

robots.txt： 它被完全忽略了

该机器人可以在网站页面上识别恶意链接和虐待。不服从 robots.txt因为它专门出于安全原因而工作。

Google网站的过时特殊搜索代理

以下是不再使用的代理，但是在它们可能存在于日志或影响扫描行为之前。

Google的旧移动网站代理评估广告质量

用户代理： adsbot-google-mobile（过时）

robots.txt： 我忽略了全球规则

它用于评估从移动设备打开的页面上广告的质量。

Google网站代理自动交互式服务

用户代理： 双列韦布 - 戈尔

robots.txt： 可以忽略指令 *

自动化服务使用它与网站页面的内容进行交互。

Google中的网站机器人收集Favikonok

用户代理： Google Favicon

robots.txt： 使用的标准令牌 Googlebot-Image 和 Googlebot

他负责在搜索接口中的显示和选择。

Google站点搜索引擎分析移动应用程序页面

用户代理： adsbot-google-mobile-apps

robots.txt： 遵循adsbot-google的规则，忽略 *

分析了Android应用程序的页面，以评估其遵守广告要求。

Google中的较轻的现场代理，设计用于快速加载

用户代理： Google Weblight

robots.txt： 我忽略了这些规则，因为它仅针对用户请求活动

该代理在慢速连接期间提供了站点页面的简化版本，检查标头的存在 no-transform。

对于设置robots.txt，扫描仪管理以及SEO优化的所有问题，您可以联系 seo公司seo.computer：info@seo.computer WhatsApp： +7 920 204-44-61

ID：86