robots.txt简介您的网站在Google中

Name: 谢奥 科姆皮尤泰尔 robots.txt简介您的网站在Google中 莫斯科
Address: 莫斯科

robots.txt文件告诉搜索引擎您的网站上哪些URL可以用于其索引。此文件主要用于避免与请求超载您的网站；这不是从Google搜索结果中排除网页的一种手段。如果要从Google中的搜索结果中排除页面，请使用NOINDEX MECHAG或使用密码保护页面。

如果使用CMS，例如Wix或Blogger，则可能不需要（或不可能）直接编辑robots.txt文件。取而代之的是，您的CMS可以提供搜索设置页面或其他机制来指定搜索引擎，是否应扫描您的页面。

如果您想隐藏或打开搜索引擎的页面之一，请查找有关CMS中搜索引擎中的页面可见性的说明（例如，寻找“ Wix隐藏在搜索引擎中的页面”）。

什么是abot.txt文件，如何用于您的Google网站？

robots.txt文件主要用于控制搜索引擎到您的网站的流量，通常是为了将文件从Google索引中排除，具体取决于文件类型：

robots.txt如何影响您的Google网站的不同类型的文件

网页

如果您认为您的服务器将与Google Search搜索机器人的请求重载，或者避免您的网站上的前或重复页面。

警告： 请勿将robots.txt文件用作隐藏网页（包括PDF和Google支持的其他文本格式）的一种方式。

如果其他页面用描述性文本涉及您的页面，则Google可以无需访问页面而索引URL。如果要完全将页面从搜索结果中排除，请使用其他方法，例如密码保护或Noindex Metatheg。

如果您的网页在robots.txt文件中被阻止，则其URL仍然可以显示在搜索结果中，但是该描述不会显示在结果中。如果未在允许索引的其他页面上提到媒体文件，视频，PDF和其他内置的封锁页面中内置的文件也不会扫描。如果您看到页面的搜索结果并想修复它，请删除robots.txt。如果要完全隐藏在Google中的搜索中，请使用另一种方法。

媒体文件

您可以使用robots.txt文件来控制流量索引，并在Google搜索结果中防止图像，视频和音频文件的出现。这不会阻止其他页面或用户从其他页面或用户链接到您的媒体文件。

了解有关如何防止Google中图像出现的更多信息。
了解有关如何从Google中的外观中删除或限制视频文件的更多信息。

资源文件

如果您认为没有这些资源的页面不会显着更改，则可以使用robots.txt文件来阻止资源文件，例如微不足道的图像，脚本或样式。但是，如果没有这些资源使Google机器人的索引复杂化，请不要阻止它们，否则Google将无法正确分析依赖这些资源的页面。

了解您的Google网站上的robots.txt文件上的限制

在创建或编辑robots.txt文件之前，您应该了解此URL锁定方法的限制。根据您的目标和情况，您可能需要考虑其他机制，以确保您的URL在互联网上找不到。

所有搜索引擎可能不支持Robots.txt文件规则。 robots.txt文件中的说明不能强行影响机器人的行为；这取决于机器人是否应遵循这些说明。尽管Googlebot和其他受人尊敬的Web Crauls遵循robots.txt文件规则，但其他Kralers可能无法执行此操作。因此，如果要从Web Crauls保存安全信息，最好使用其他锁定方法，例如，使用密码保护文件。
不同的爬行可以以不同的方式解释语法。尽管Dear Web Crauls遵循robots.txt文件的规则，但每个Kraler都可以以不同的方式解释这些规则。您应该知道正确的语法，用于参考不同的网络弹奏者，因为其中一些可能不了解某些说明。
如果有其他站点的链接，则可以在robots.txt文件中禁止的页面索引。尽管Google不会扫描和索引robots.txt中阻塞的内容，但如果Internet上其他页面有链接，他仍然可以找到并索引禁止的URL。结果，URL地址以及其他公开可用数据（例如与页面链接的文本）仍然可以出现在Google搜索结果中。要完全防止Google搜索结果中的URL出现，请使用密码保护，Noindex Methag或完全删除页面。

注意力： 结合Kraling和索引的几个规则可能会导致规则之间的冲突。找出如何将Kraling规则与索引和显示相结合。