什么是Googlebot及其如何影响您的Google网站

GoogleBot是Google搜索中使用的两种类型的Web机器人的通用名称：

• Googlebot智能手机：一种移动机器人，可在移动设备上模拟用户。
• GoogleBot桌面：一个桌面机器人，可以模拟计算机上的用户。

您可以通过查看USR-Agent的HTTP标题来确定GoogleBot子类型。但是，两种类型的机器人都从robots.txt中的同一产品令牌（用户代理令牌）服从，因此您无法使用robots.txt选择其中一种（GoogleBot智能手机或Googlebot桌面）。

对于大多数网站，Google首先搜索内容的移动版本。因此，使用移动机器人和少数派使用Googlebot的大多数请求 - 使用桌面机器人提出。

Googlebot如何与您的网站在Google中互动

对于大多数Googlebot网站，您的网站平均不应每隔几秒钟访问一次以上。但是，由于延迟，可以预期该指标在短时间间隔会略高。如果您的网站没有时间来应对Googlebot请求，则可以降低其旁路速度。

Googlebot可以扫描前15个MB -Files或受支持的文本文件。每个引用CSS或JavaScript之类的资源都会单独加载，并且每个请求的限制受文件大小相同的限制。在第一个15 MB之后，该文件停止扫描，只有该文件的这15 MB被传输用于索引。大小的限制应用于不可压缩的数据。其他Google机器人，例如Googlebot视频和Googlebot图像，可能还具有其他限制。

从美国的IP地址旅行时，GoogleBot时区是太平洋时间。

Google机器人评论中描述了Googlebot的其他技术特征。

如何阻止GoogleBot访问您的网站在Google中

Googlebot为绕行的链接中的链接找到了新的URL。如果没有发布链接，就几乎不可能隐藏该网站。例如，一旦有人将链接从您的“秘密”站点跨越到另一个站点，您的“秘密”网站的URL可能会出现在推荐人标签中，并将由另一个网站在其日志中保存和发布。

如果要防止网站上的GoogleBot绕过，则有几个选择。请记住，旁路和索引之间存在差异：GoogleBot阻止在页面上封锁不会阻止此页面的URL出现在搜索结果中：

• 要禁止GoogleBot绕页，请使用robots.txt文件。
• 如果您不希望Google索引页面，请使用Noindex。
• 要完全阻止机器人和用户对页面的访问，请使用其他方法，例如密码保护。

GoogleBot阻止会影响Google搜索（包括Discover和所有Google搜索功能），以及其他产品，例如Google Images，Google Video和Google News。

如何检查Googlebot请求您的Google网站

在您决定阻止Googlebot之前，重要的是要了解Googlebot使用的USR代理HTTP头通常是其他机器人伪造的。因此，重要的是要检查该请求是否真正来自Google。确认请求来自GoogleBot的最佳方法是在请求的初始IP地址执行反向DNS帖子，或使用GoogleBot IP地址监视IP地址。

如果您对SEO有疑问或需要咨询，则可以通过电子邮件与我们的SEO同伴联系 info@seo.computer 或WhatsApp： +79202044461。

ID 59