robots.txt ファイルの管理

robots.txt ファイルは、検索エンジンによるサイトのインデックス付け方法を制御するために使用されます。これにより、サイトのどのページまたはディレクトリにインデックスを作成する必要があり、どのページまたはディレクトリにインデックスを作成しないかを指定できます。

このファイルを操作するための基本的なルールは次のとおりです。

これはプレーンテキスト形式 (ASCII または UTF-8) で保存され、robots.txt という名前のテキストファイルです。
このファイルは、Microsoft Word などの独自形式のエディタではなく、メモ帳などのテキストエディタで作成されます。
robots.txt ファイルはサイトのルートディレクトリに配置する必要があります。たとえば、次のサイトの場合、 http://example.com、ファイルは http://example.com/robots.txt で入手できるはずです。
特定の CMS で構築されたサイトの場合、robots.txt ファイルが自動的に生成されます。

robots.txt ファイル内で、クローラーは User-agent フィールドで始まるディレクティブをチェックします。このフィールドは、対応するインデックス付けルールが適用される特定の検索エンジンロボットを示します。

Web サイトでアドレスを記述するときは、任意の文字列を表すユニバーサル記号「*」を使用できます。これにより、ディレクトリまたはページへのパスのプレフィックスまたはサフィックスを指定できます。

robots.txt ファイルで使用できる基本的なディレクティブをいくつか示します。

ディサロフ: 検索ロボットによってインデックスを作成されないページまたはディレクトリを指定します。ディレクトリ名を指定する場合、パスはスラッシュで終わる必要があります。
アロフ: このディレクティブにより、Disallow ディレクティブによって制限されている可能性がある特定のページまたはディレクトリのインデックス作成が可能になります。異なるパスを示すために「*」文字がサポートされています。
サイトマップ: サイトマップファイルへのパスを指定します。これはオプションであり、複数のコピーで表示される場合があります。サイトマップは、検索エンジンがサイトページをより速くインデックスするのに役立ちます。
不明なディレクティブは無視されるため、ファイル内にコメントを追加できます。

robots.txt ファイルの要件は検索エンジンによって若干異なる場合があることにも注意してください。 Yandex や Google などの人気のあるシステムの最新の推奨事項を確認するには、その公式ソースを確認してください。

ご質問がある場合は、いつでも info@seo.computer にメールを送信して、SEO スタジオのスペシャリストにお問い合わせください。

ID 9119

SEO の技術的なランキング要素: パート 2