あなたのサイトのためにrobots.txtファイルをGoogleに作成して送信する方法

WixやBloggerなど、サイトにホスティングサービスを使用する場合、robots.txtファイルを直接編集する必要がない場合があります。代わりに、プロバイダーは、検索エンジンを示すための検索設定ページまたはその他のメカニズムを提供できます。サイトのページをインデックス作成し、どのページがインデックスできません。

検索エンジンからページの1つを非表示または開く場合は、たとえば「WIXの検索エンジンからページを非表示にする方法」という検索クエリを使用して、ホスティングでページの可視性を変更する手順をお読みください。これにより、robots.txtファイルを使用して検索ロボットをバイパスするために使用できるファイルを制御できます。

Googleサイトのrobots.txtファイルの作成と使用の基礎

robots.txtファイルは、サイトのルートにあります。たとえば、www.example.comの場合、robots.txtファイルはwww.example.com/robots.txtにあります。これは、ロボット除外標準例外標準に続く通常のテキストファイルです。

robots.txtファイルは1つ以上のディレクティブで構成されており、それぞれがサイト上の指定されたパスへの特定のロボットにアクセスするか、またはアクセスできるようにします。デフォルトでは、特に指定がない限り、サイト上のすべてのファイルはバイパスに許可されます。

Googleサイトのrobots.txtベースファイルの例

2つのルールを備えた単純なrobots.txtファイルの例を次に示します。

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

このファイルとはどういう意味ですか：

GoogleBotロボットは、https：//example.com/nogooglebot/から始まるURLをバイパスできません。
他のすべてのロボットは、サイト全体をバイパスできます。デフォルトでは、すべてのロボットがサイトをバイパスできるため、このルールは省略できます。
このサイトは、https：//www.example.com/sitemap.xmlにあるサイトカードを使用しています。

Google Webサイトのrobots.txtファイルを作成してテストする方法

robots.txtファイルの作成とそのテストは、いくつかの段階で構成されています。

robots.txtという名前のファイルを作成します。
関連する検索ルールをファイルに追加します。
robots.txtファイルをサイトのルートにダウンロードします。
検索エンジンのファイルの可用性とその正確性を確認してください。

Google Webサイトでrabots.txtのルールを書く方法

robots.txtファイルのルールは、サイトのどの部分をバイパスできるかをロボットを指定するように設計されています。ルールを書くためのいくつかの推奨事項は次のとおりです。

各ルールは、ユーザーエージェントの表示から始まり、ルールが適用される検索ロボットを決定します。
各ルールには、禁止（バイパスの禁止のため）を含め、許可（バイパスを解決する）も含まれます。例えば：

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Googleサイトのrobots.txtテスト

robots.txtファイルをサイトにダウンロードした後、検索ロボットで使用できることを必ずテストしてください。これを行うには、ブラウザでscognitoウィンドウを開き、robots.txtに移動します。たとえば、https：//example.com/robots.txt。ファイルの内容が表示された場合、処理に利用できることを意味します。

マーキングの問題をテストして排除するには、次のことを使用できます。

Google Searchコンソールに関するrobots.txtレポート（ファイルがサイトで使用可能な場合）。
Googleライブラリを使用してローカルファイルrobots.txtをテストします。

robots.txtファイルをGoogleに送信する方法

robots.txtファイルがアップロードされてテストされた後、Googleロボットは自動的に見つけて使用を開始します。ファイルを手動で送信する必要はありません。ただし、ファイルを更新し、Googleにキャッシュにすばやくアップグレードするようにしたい場合は、Google検索コンソールでrobots.txt更新機能を使用できます。

Googleサイトの便利なrobots.txtルール

robots.txtファイルの有用な例を次に示します。

サイト全体のバイパスを禁止するには：

 User-agent: *
 Disallow: /

特定のディレクトリの迂回を禁止するには：

 User-agent: *
 Disallow: /private/

特定のロボットにのみバイパスを解決するには：

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /

Googleのサイトのrobots.txtとseoの明確化のための連絡先

robots.txtファイルまたはその他のSEOの問題のセットアップについて質問がある場合は、SEOコンパニオンに連絡できます info@seo.computer またはwhatsappを介して数字で +79202044461。

ID：4