So erstellen und senden Sie eine Robots.txt -Datei an Google für Ihre Website

Wenn Sie den Hosting -Dienst für Ihre Website verwenden, z. B. Wix oder Blogger, müssen Sie die Datei robots.txt möglicherweise nicht direkt bearbeiten. Stattdessen kann Ihr Anbieter eine Sucheinstellungsseite oder andere Mechanismen zur Anzeige von Suchmaschinen bereitstellen, auf denen die Seiten der Website indiziert werden können und welche nicht.

Wenn Sie eine der Seiten aus Suchmaschinen ausblenden oder öffnen möchten, lesen Sie die Anweisungen zum Ändern der Sichtbarkeit der Seite bei Ihrem Hosting beispielsweise mit einer Suchabfrage „So verbergen Sie eine Seite vor Suchmaschinen in Wix“. Auf diese Weise können Sie steuern, welche Dateien für die Umgehung von Suchrobotern mithilfe der Datei robots.txt verfügbar sein können.

Grundlagen des Erstellens und Verwendens der Datei robots.txt für Ihre Google -Site

Die Datei robots.txt befindet sich im Root Ihrer Website. Beispielsweise finden Sie für www.example.com die Datei robots.txt unter www.example.com/robots.txt. Dies ist eine reguläre Textdatei, die dem Ausnahmestandard für Roboter Exclusion Standard ausnahmbar ist.

Die Datei robots.txt besteht aus einer oder mehreren Anweisungen, von denen jede Blöcke oder Zugriff auf einen bestimmten Roboter auf den angegebenen Pfad auf der Website ermöglicht. Standardmäßig sind alle Dateien auf der Site für den Umgehungsstall zulässig, sofern nicht anders angegeben.

Ein Beispiel für die Basisdatei robots.txt für Ihre Google -Site

Hier ist ein Beispiel für eine einfache Robots.txt -Datei mit zwei Regeln:

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Was bedeutet diese Datei:

Der GoogleBot -Roboter kann die URL nicht umgehen, beginnend mit https://example.com/nogooglebot/.
Alle anderen Roboter können die gesamte Website umgehen. Diese Regel könnte weggelassen werden, da standardmäßig alle Roboter die Site umgehen können.
Die Website verwendet eine Site -Karte, die sich unter https://www.example.com/sitemap.xml befindet.

So erstellen und testen Sie eine Robots.txt -Datei für Ihre Google -Website

Das Erstellen einer Robots.txt -Datei und deren Tests besteht aus mehreren Phasen:

Erstellen Sie eine Datei namens Robots.txt.
Fügen Sie der Datei die entsprechenden Suchregeln hinzu.
Laden Sie die Datei robots.txt auf den Stamm Ihrer Website herunter.
Überprüfen Sie die Verfügbarkeit der Datei für Suchmaschinen und ihre Korrektheit.

So schreiben Sie Regeln für Rabots.txt auf Ihrer Google -Website

Die Regeln in der Datei robots.txt -Datei sollen Roboter angeben, die Teile Ihrer Website umgangen werden können. Hier sind einige Empfehlungen zum Schreiben der Regeln:

Jede Regel beginnt mit einer Benutzer-Agent-Anzeige, die feststellt, für welche Suchroboter die Regeln angewendet werden.
Jede Regel kann auch eine Unzulässer (für ein Bypass -Verbot) enthalten und (um Bypass zu lösen). Zum Beispiel:

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Robots.txt -Tests für Ihre Google -Website

Stellen Sie nach dem Herunterladen der Datei robots.txt auf die Website sicher, dass sie für Suchroboter verfügbar ist. Öffnen Sie dazu das Inkognito -Fenster in Ihrem Browser und gehen Sie zu Ihrem Robots.txt, z. B. https://example.com/robots.txt. Wenn Sie den Inhalt Ihrer Datei sehen, bedeutet dies, dass sie zur Verarbeitung verfügbar ist.

Um Probleme mit Markierungen zu testen und zu beseitigen, können Sie verwenden:

Robots.txt -Bericht auf Google Search Console (wenn die Datei auf Ihrer Website verfügbar ist).
Verwenden der Google -Bibliothek zum Testen lokaler Dateien Robots.txt.

So senden Sie eine Robots.txt -Datei an Google

Nachdem die Datei robots.txt hochgeladen und getestet wurde, finden Google Robots sie automatisch und beginnt sie zu verwenden. Es ist nicht erforderlich, die Datei manuell zu senden. Wenn Sie jedoch die Datei aktualisiert haben und Google möchten, dass Google sie schnell im Cache aktualisiert hat, können Sie die Funktion der Robots.txt -Aktualisierung in der Google -Suchkonsole verwenden.

Nützliche Robots.txt -Regeln für Ihre Google -Website

Hier sind einige nützliche Beispiele für die Datei robots.txt:

Um den Bypass der gesamten Website zu verbieten:

 User-agent: *
 Disallow: /

Um einen Umweg eines bestimmten Verzeichnisses zu verbieten:

 User-agent: *
 Disallow: /private/

Um den Umgehung nur auf einen bestimmten Roboter zu beheben:

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /

Kontakte für Klarstellungen auf Robots.txt und SEO für Ihre Website in Google

Wenn Sie Fragen zum Einrichten der Datei robots.txt oder anderer SEO -Probleme haben, können Sie sich an unseren SEO -Begleiter wenden info@seo.computer oder durch WhatsApp nach Nummer +79202044461.

ID: 4