Feedfetcher是Google使用Google News和PubSubHububub的RSS和Atom的服务。 Feedfetcher保留并定期更新服务或应用程序用户要求的缎带。 Google搜索引擎中仅索引播客的磁带。但是,如果磁带不符合原子或RSS的标准,它仍然可以索引。在本节中,您将找到有关此用户数据获取工具如何工作的最常见问题的答案。
当用户使用feedfetcher数据添加服务或应用程序时,Google试图获取磁带的内容以进行显示。由于FeedFetcher的请求发生在用户的主动性,而不是自动机器人的主动性上,因此Feedfetcher未考虑robots.txt中的规则。
如果您的网站的磁带是公开可用的,则Google将无法限制访问它。一种方法是配置服务器,以便为feedfetcher用户代理发送错误404、410或其他条件代码。
如果通过博客或网站提供磁带,请使用平台上的适当设置,或与托管提供商联系以限制对磁带的访问。
FeedFetcher不应每小时多次从您的网站上要求磁带。对于经常更新的更新,更新可能会更频繁地发生。但是,由于网络上的延迟,Feedfetcher似乎更频繁地提出请求。
Feedfetcher应应用程序或服务用户的要求请求丝带。也许用户要求在不存在的URL上使用胶带。
Feedfetcher对用户操作进行录音带。也许该请求来自了解您的“秘密”服务器的用户,或者意外地将其引入地址行。
仅在用户清楚地启动请求数据的服务或应用程序之后,Feedfetcher才会收到磁带。这种行为使FeedFetcher成为人类代理,而不是自动机器人,因此他忽略了robots.txt中的笔记。
您可以通过为feedfetcher用户代理用户配置服务器404或410错误来防止feedfetcher数据的数据。
Feedfetcher是为了提高性能而开发的用于在几台机器上的分布式工作。由于所请求的站点附近的机器定位,它还有助于减少通行条的使用。
Feedfetcher使用的IP地址可以在用户触发的fetchers- google.json对象中找到。
收到磁带后,馈送通常仅上传每个文件的一个副本。有时,当汽车重新启动时,可能会出现重复页面的情况。
与传统的Web Crauls不同,Feedfetcher并不是在寻找扫描的链接。它仅扫描用户通过服务或应用程序提供的那些URL。
如果您仍然有疑问,可以在搜索中央论坛上找到帮助,或通过电子邮件与SEO公司联系以获取任何问题: info@seo.computer 或WhatsApp: +79202044461。
ID 192