查看Google网站的Google Crauls和Frinders（用户代理）

Google使用Kraler和背心根据用户的要求自动为其产品执行各种操作。 Crowler（有时也称为“机器人”或“蜘蛛”）是用于自动检测和扫描网站的程序的通用名称。 THET充当类似于WGET的程序，通常代表用户执行单个请求。 Google产品可以分为三类：

您的Google网站的普通Kraler

用于Google产品的常规Kraler（例如，GoogleBot）始终遵循Robots.txt规则进行自动扫描。

您在Google网站的特殊Kraler

特殊的Kraler类似于普通的Kraler，但它们用于扫描过程中扫描站点和Google产品之间达成协议的特定产品。例如，Adsbot忽略了Global Robots.txt用户代理，而网站所有者的分辨率。

用户在Google中为您的网站激活的兽医

当最终用户启动请求时，用户帮助者是产品和产品功能的一部分。例如，Google站点验证程序按用户的要求工作。

Google crawler的技术特征和Google网站的纹理

Google Craolers和Veters旨在同时在数千台机器上工作，以提高互联网增长的性能和可伸缩性。为了优化带宽的使用，这些客户是根据世界各地的许多数据中心进行分配的，因此它们更靠近可以联系的站点。因此，可以在日志中指示各种IP地址的访问。 Google出口主要发生在美国的IP地址。如果Google发现该网站阻止了美国的请求，他可能会尝试从其他国家 /地区的IP地址进行扫描。

在Google中为您的网站提供支持的程序协议

Google Craolers和Veters支持HTTP/1.1和HTTP/2。 Craolers将使用该协议的版本，该协议提供了最佳的扫描性能，并且可以根据以前的扫描会话的统计数据在协议之间切换。默认情况下，Google Kraler使用HTTP/1.1协议。通过HTTP/2扫描可以为您的网站和GoogleBot节省计算资源（例如CP，RAM），但否则，它不会给网站提供任何特定的优势（例如，这不会影响Google搜索中的评分）。要拒绝通过HTTP/2进行扫描，请设置服务器，以便在Google尝试通过HTTP/2访问您的网站时响应状态421。如果不可能，您可以向扫描团队发送消息（尽管这是一个临时决定）。

Google Croilers基础架构还支持通过FTP扫描（如RFC959及其更新中定义）和FTP（如RFC4217及其更新所定义），但是，通过这些协议进行扫描很少见。

支持您的Google网站的内容压缩方法

Google Craolers和Testers支持以下内容压缩方法（编码）：GZIP，Deflate和Brotli（BR）。每个Google用户代理的支持的内容编码的内容在接受编码的标题中指示了他们提出的每个请求。例如：接受编码：Gzip，Deflate，br。

扫描速度和在Google中为您的网站托管负载

我们的目标是在每次访问时尽可能多地扫描您网站的尽可能多的页面，而不会超载服务器。如果您的网站难以服务Google的请求，则可以降低扫描速度。请注意，将错误的HTTP状态发送到Google Kraolers可能会影响您的网站在Google产品中的显示方式。

HTTP指导您的Google网站

Google Kraler的基础架构支持HTTP-Chaching Standard确定的启发式HTTP-Shows，尤其是通过ETAG和IF-NONE匹配的头条新闻，以及通过倒数第二个匹配的标题，并通过最后修饰和IF模型的Since亚麻标题。

注意：无论Google cruls的偏好如何，建议设置ETAG的值和最后修饰的值。这些标题也由其他应用程序（例如CMS）使用。

如果在返回标题中存在ETAG和最后修饰的字段，则Google Kraler使用ETAG值，如HTTP标准所需。对于Google千层方法，我们建议使用ETAG而不是最后修饰来指示缓存的偏好，因为ETAG在格式上没有问题。

不支持HTTP缓存的其他指令。

根据与其关联的产品的需求，可以单独的拥拥护者和Google Veters可以或无法使用缓存。例如，GoogleBot在重复扫描网址进行Google搜索时支持缓存，而StoreBot-Google仅在某些条件下支持缓存。

要为您的网站实施HTTP编码，请联系您的托管提供商或内容管理系统的供应商。

ETAG和如果您的Google网站不匹配

Google Craul基础架构支持HTTP-CACH标准确定的ETAG和IF-NONE匹配。了解有关ETAG标头及其IF-NONE匹配请求的更多信息。

在Google上为您的网站进行了最后修改且如果修改的案件

Google Kraler的基础架构支持由HTTP-CACH标准确定的最后修改和IF-Modified-Since，并提供以下保留：

• 最后修饰的标头中的日期应按照HTTP标准进行格式。为了避免解析问题，我们建议使用以下日期格式：“工作日，DD MONYYY HH :MM :SS 时区”。例如，“星期五，1998年9月4日，格林尼治标准时间”。
• 尽管这不是必需的，但请考虑在高速缓存标题中安装最大AGE字段的可能性，以帮助搜寻器确定何时再次扫描特定的URL。将最大值值设置为预期的秒数，在此期间，内容将保持不变。例如，缓存控制：max-age = 94043。

了解有关最后修改的标题及其IF修改的请求的更多信息。

检查Google Craolers和Frinders中的Google网站

Google Craules通过三种方式识别自己：

• HTTP USR代理请求。
• 查询源的IP地址。
• 反向DNS-Hotmeum IP源。

找出如何使用这些数据检查Google Cholera和Frinders。

如果您对SEO有疑问或需要帮助，请通过电子邮件与我们的SEO同伴联系 info@seo.computer 或通过whatsapp： +79202044461。

ID 61