如何确认Googlebot和其他Google搜索机器人实际上是通过Google访问您的网站

您可以检查转向服务器的Web机器人是否是真正的GoogleBot。如果您担心垃圾邮件发送者或其他攻击者可以访问您的网站，而假装是GoogleBot，这将很有用。

Google机器人分为三类：

Google机器人，在您的Google网站上查看

可以访问您的网站的Google机器人的描述以及相应的IP频段：

您的Google网站上的普通Google机器人

这些是用于Google产品的机器人，例如Googlebot。这些机器人始终遵循机器人.txt规则自动旁路。

域的示例：爬网 - *** - *** - *** - ***。 Googlebot.com或Geo-crawl - *** - *** - *** - ***。 geo.googlebot.com

示例JSON文件：GoogleBot.json

您的Google网站上的特殊Google机器人

当网站与产品之间在旁路过程中达成协议时，这些机器人在Google产品中执行特定功能（例如Adsbot）。这些机器人可以或不能遵循机器人。txt规则。

示例：速率限制proxy- *** - *** - *** - ***。 Google.com，Special-Crawlers.json

用户在您网站上激活的机器人在Google上激活

最终用户激活数据请求的产品的这些工具和产品。例如，按用户的请求启动的Google站点验证仪。这些机器人忽略了robots.txt规则。

例子： ***-***-***-***。 gae.googleusercontent.com或Google-proxy- *** - *** - *** - ***。 Google.com。

Googlebot测试方法在您的Google网站上

有两种方法可以检查Googlebot Web机器人是否是：

• 手动方法： 对于单个检查，请使用命令工具。此方法适用于大多数情况。
• 自动方式： 要进行大规模检查，请使用自动解决方案将机器人的IP地址与已发布的IP频段GoogleBot进行比较。

使用命令工具在您的Google网站上检查GoogleBot

• 使用主机命令将反向DNS请求运行到服务器的IP地址。
• 确保域名对应于以下一个：googlebot.com，google.com或googleusercontent.com。
• 使用主机命令将直接DNS重点运行到上一步中获得的域名。
• 确保域名对应于原始IP地址，该地址已记录在您的日志中。

示例1：

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

示例2：

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

示例3：

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

使用自动解决方案在您的Google网站上检查Googlebot

您还可以通过将IP地址与已发布的GoogleBot和其他Google机器人的IP地址进行比较来识别GoogleBot：

• 诸如Googlebot之类的普通机器人
• 特殊机器人，例如Adsbot
• 用户激活的请求（用户）
• 用户激活的请求（Google）

对于其他Google IP地址，可以从中访问您的网站（例如，用于应用程序），请将IP地址与Google IP地址的一般列表进行比较。请注意，JSON文件中的IP地址以CIDR格式显示。

如果您有疑问或帮助，可以通过电子邮件与SEO公司“ seo.computer”联系 info@seo.computer 或WhatsApp +79202044461。

ID 41