如何为您的网站创建和发送一个robots.txt文件到Google

如果您为您的网站使用托管服务，例如Wix或Blogger，则可能不必直接编辑robots.txt文件。取而代之的是，您的提供商可以提供一个搜索设置页面或其他指示搜索引擎的机制，该网站的哪些页面可以索引，哪些网站没有。

如果您想隐藏或打开搜索引擎中的一个页面之一，请阅读以“如何在Wix中的搜索引擎中隐藏页面”的搜索查询，以更改托管的页面可见性。这将帮助您控制哪些文件可用于使用robots.txt文件绕过搜索机器人。

创建和使用robots.txt文件的基本原理

robots.txt文件位于您网站的根部。例如，对于www.example.com，robots.txt文件将位于www.example.com/robots.txt上。这是一个遵循机器人排除标准异常标准的常规文本文件。

robots.txt文件由一个或多个指令组成，每个指令都会阻止或允许特定机器人访问站点上指定的路径。默认情况下，除非另有说明，否则允许网站上的所有文件进行旁路。

GORES网站的Robots.txt base文件的示例

这是一个简单robots.txt文件的示例，其中有两个规则：

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

这个文件是什么意思：

• Googlebot机器人无法从https://example.com/nogooglebot/绕过URL。
• 所有其他机器人都可以绕过整个站点。可以省略此规则，因为默认情况下所有机器人都可以绕过站点。
• 该站点使用位于https://www.example.com/sitemap.xml的站点卡。

如何为您的Google网站创建和测试robots.txt文件

创建一个robots.txt文件及其测试包括多个阶段：

• 创建一个名为robots.txt的文件。
• 将相关搜索规则添加到文件中。
• 将robots.txt文件下载到网站的根部。
• 检查搜索引擎的文件的可用性及其正确性。

如何在Google网站上为Rabots.txt编写规则

abots.txt文件中的规则旨在指定机器人可以绕过网站的哪些部分。以下是编写规则的一些建议：

• 每个规则以用户代理指示开头，该指示确定搜索机器人应用规则的应用。
• 每个规则也可能包含不允许的（用于禁止旁路）并允许（解决旁路）。例如：

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

robots.txt测试您的Google网站

将Robots.txt文件下载到网站后，请确保测试它可用于搜索机器人。为此，请打开浏览器中的隐身窗口，然后转到robots.txt，例如https：//example.com/robots.txt。如果您看到文件的内容，则意味着可以处理。

要测试和消除标记问题，您可以使用：

• robots.txt在Google搜索控制台上报告（如果文件可在您的网站上可用）。
• 使用Google库来测试本地文件robots.txt。

如何将robots.txt文件发送到Google

在上载和测试了robots.txt文件之后，Google机器人将自动找到它并开始使用它。无需手动发送文件。但是，如果您已经更新了文件并希望Google快速将其升级在缓存中，则可以在Google搜索控制台中使用robots.txt Update功能。

有用的robots.txt规则用于您的Google网站

以下是机器人的一些有用示例。txt文件：

• 禁止整个站点的旁路：

 User-agent: *
 Disallow: /
 

• 禁止绕道特定目录：

 User-agent: *
 Disallow: /private/
 

• 仅解决特定机器人的旁路：

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /
 

联系人在Google中为您的网站上的机器人和SEO进行澄清

如果您对设置robots.txt文件或其他SEO问题有疑问，则可以联系我们的SEO Companion info@seo.computer 或通过whatsapp按数字 +79202044461。

ID：4