Googleのサイト用のrobots.txtの紹介

robots.txtファイルは、検索エンジンに、サイト上のどのURLをインデックス化に使用できるかを伝えます。このファイルは、主にリクエストでサイトを過負荷にすることを避けるために使用されます。 Google検索の結果からWebページを除外する手段ではありません。 Googleの検索結果からページを除外する場合は、noindexメタグを使用するか、パスワードでページを保護します。

WIXやBloggerなどのCMSを使用する場合、robots.txtファイルを直接編集する必要がない（または不可能）場合があります。代わりに、CMSは、ページをスキャンするかどうかにかかわらず、検索設定ページまたは検索エンジンを指定する別のメカニズムを提供できます。

検索エンジンのページの1つを非表示または開く場合は、CMSの検索エンジンのページの可視性を変更する手順を探します（たとえば、「検索エンジンからページを非表示にする」）。

robots.txtファイルとは何ですか？また、Googleサイトにどのように使用されていますか？

robots.txtファイルは、主にサイトへの検索エンジンのトラフィックを制御するために使用され、通常はファイルのタイプに応じて、Googleインデックスからファイルを除外するために使用されます。

robots.txtがGoogleサイトのさまざまな種類のファイルにどのように影響するか

Webページ

Webページにrobots.txtファイル（、、Googleが読み取ることができるPDFまたはその他の形式）に使用して、Google検索ロボットからのリクエストでサーバーがオーバーロードされると思われる場合、またはサイトのプレロングまたは複製ページを避けるために、インデックスのトラフィックを制御できます。

警告： Google検索の結果から、Webページ（GoogleでサポートされているPDFやGoogleがサポートするその他のテキスト形式を含む）を非表示にする方法としてrobots.txtファイルを使用しないでください。

他のページが説明的なテキストを使用してページを参照する場合、GoogleはページにアクセスせずにURLにインデックスを作成できます。検索結果からページを完全に除外したい場合は、パスワード保護やNoindex Metathegなどの他の方法を使用します。

Webページがrobots.txtファイルでブロックされている場合、そのURLは検索結果にまだ表示されますが、説明は結果に表示されません。メディアファイル、ビデオ、PDF、およびブロックされたページに組み込まれたその他のファイルは、インデックス化が許可されている他のページで言及されていない場合、スキャンされません。この検索結果が表示され、ページを修正したい場合は、robots.txtを削除します。 Googleの検索からページを完全に非表示にする場合は、別の方法を使用してください。

メディアファイル

robots.txtファイルを使用して、トラフィックインデックスを制御し、Google検索の結果で画像、ビデオ、オーディオファイルの外観を防ぐことができます。これは、他のページやユーザーからのメディアファイルへのリンクを防ぐことはできません。

Googleの画像の外観を防ぐ方法の詳細をご覧ください。
Googleの外観からビデオファイルを削除または制限する方法の詳細をご覧ください。

リソースファイル

robots.txtファイルを使用して、これらのリソースのないページが大幅に変更されないと思われる場合は、取るに足らない画像、スクリプト、スタイルなどのリソースファイルをブロックできます。ただし、これらのリソースがない場合、Googleロボットのインデックス化が複雑になっている場合、ブロックしないでください。そうしないと、Googleはこれらのリソースに依存するページを正しく分析できません。

Googleサイトのrobots.txtファイルの制限を理解する

robots.txtファイルを作成または編集する前に、このURLロック方法の制限を理解する必要があります。目標と状況に応じて、URLがインターネット上で見つからないことを確認するために、他のメカニズムを検討する必要がある場合があります。

robots.txtファイルルールは、すべての検索エンジンによってサポートされていない場合があります。 robots.txtファイルの命令は、ロボットの動作に強制的に影響することはできません。ロボットがこれらの指示に従うべきかどうかによって異なります。 GoogleBotやその他の尊敬されるWebクロールはRobots.txtファイルルールに従いますが、他のKralersはこれを行わない場合があります。したがって、Web Craulsからセキュリティ情報を保存する場合は、たとえばパスワードでファイルを保護するなど、他のロックメソッドを使用することをお勧めします。
異なるクロールは、構文をさまざまな方法で解釈できます。 Dear Web CraulsはRobots.txtファイルのルールに従っているという事実にもかかわらず、各Kralerはこれらのルールを異なる方法で解釈できます。いくつかは特定の指示を理解していない可能性があるため、さまざまなWeb rawerを参照するための正しい構文を知っておく必要があります。
robots.txtファイルで禁止されているページは、他のサイトからリンクがある場合でもインデックスを作成できます。 Googleはrobots.txtでブロックされたコンテンツをスキャンしてインデックス化しませんが、インターネット上の他のページからリンクがある場合、彼はまだ禁じられたURLを見つけてインデックスすることができます。その結果、ページへのリンクのテキストなど、URLアドレス、およびおそらく他の公開されているデータは、Google検索の結果にまだ表示されます。 Google検索の結果にURLの外観を完全に防ぐには、パスワード保護、Noindexメタグを使用するか、ページを削除します。

注意： KralingとIndexationのいくつかのルールを組み合わせると、ルール間の競合が発生する可能性があります。 Kralingルールをインデックスと表示と組み合わせる方法をご覧ください。

Googleサイトのrobots.txtファイルの作成または更新

robots.txtファイルが必要であると判断した場合は、作成方法を見つけてください。ファイルが既に存在する場合は、更新する方法を見つけてください。

Googleのサイトに推奨される情報

robots.txtファイルの作成と送信Googleに

robots.txtファイルは、サイトのルートにある必要があります。 robots.txtファイルの作成方法をご覧ください。例を参照して、robots.txtファイルルールを調査します。

更新されたrobots.txtファイルをGoogleに送信します

robots.txtレポートを使用して、Googleがrobots.txtファイルを処理できるかどうかを簡単に確認できます。これらの手順に従って、更新されたrobots.txtファイルをGoogleに送信します。

Googleがrobots.txtファイルの仕様を解釈する方法

robots.txtファイルのさまざまなルールの詳細と、Googleがrobots.txtファイルの仕様を解釈する方法を調べます。

GoogleサイトまたはSEOのその他の側面のrobots.txtファイルについて質問がある場合は、電子メールでSEO会社「SEO.computer」に連絡できます。 info@seo.computer またはwhatsappを通じて： +79202044461。

ID 25