Einführung in Robots.txt für Ihre Website in Google

Einführung in Robots.txt für Ihre Website in Google

In der Datei robots.txt wird Suchmaschinen mitgeteilt, welche URLs auf Ihrer Website für ihre Indexierung verfügbar sein können. Diese Datei wird in erster Linie verwendet, um die Überlastung Ihrer Website mit Anfragen zu vermeiden. Es ist kein Mittel, eine Webseite aus den Ergebnissen der Google -Suche auszuschließen. Wenn Sie eine Seite aus den Suchergebnissen in Google ausschließen möchten, verwenden Sie den NoIndex Methag oder schützen Sie die Seite mit einem Passwort.

Wenn Sie CMS wie Wix oder Blogger verwenden, müssen Sie die Datei robots.txt direkt nicht direkt bearbeiten (oder unmöglich). Stattdessen kann Ihr CMS eine Seite für die Sucheinstellungen oder einen anderen Mechanismus zur Angabe von Suchmaschinen bereitstellen, unabhängig davon, ob Ihre Seite gescannt werden soll.

Wenn Sie eine Ihrer Seiten für die Suchmaschinen ausblenden oder öffnen möchten, suchen Sie nach Anweisungen zum Ändern der Sichtbarkeit der Seiten in Suchmaschinen in Ihrem CMS (suchen Sie beispielsweise nach "Wix eine Seite vor Suchmaschinen").

Was ist eine Robots.txt -Datei und wie wird sie für Ihre Google -Website verwendet?

Die Datei robots.txt wird in erster Linie verwendet, um den Verkehr von Suchmaschinen auf Ihre Website zu steuern und in der Regel abhängig vom Typ der Datei die Datei aus der Google -Indexierung auszuschließen:

Wie Robots.txt verschiedene Dateien Arten für Ihre Google -Website auswirkt

Webseiten

Sie können die Datei robots.txt für Webseiten (, PDF oder andere Formate, die Google lesen kann) verwenden, um den Indexierungsverkehr zu steuern, wenn Sie der Meinung sind, dass Ihr Server mit Anfragen aus dem Google-Search-Roboter überlastet wird, oder um die vorlangen oder doppelten Seiten auf Ihrer Website zu vermeiden.

Warnung: Verwenden Sie die Datei robots.txt nicht, um eine Webseite (einschließlich PDF und andere von Google unterstützte Textformate) aus den Ergebnissen der Google -Suche zu verbergen.

Wenn andere Seiten Ihre Seite mit beschreibender Text beziehen, kann Google die URL indexieren, ohne die Seite zu besuchen. Wenn Sie die Seite vollständig aus den Suchergebnissen ausschließen möchten, verwenden Sie andere Methoden wie Kennwortschutz oder NoIndex Metatheg.

Wenn Ihre Webseite in der Datei robots.txt blockiert ist, kann die URL weiterhin in den Suchergebnissen angezeigt werden. Die Beschreibung wird jedoch in den Ergebnissen nicht angezeigt. Mediendateien, Videos, PDF und andere in die blockierte Seite integrierte Dateien werden ebenfalls nicht gescannt, wenn sie auf anderen Seiten, die für die Indexierung zulässig sind, nicht erwähnt werden. Wenn Sie dieses Suchergebnis für Ihre Seite sehen und sie beheben möchten, löschen Sie Robots.txt. Wenn Sie die Seite vollständig aus der Suche in Google ausblenden möchten, verwenden Sie eine andere Methode.

Mediendateien

Sie können die Datei robots.txt verwenden, um die Verkehrsindexierung zu steuern und das Erscheinungsbild von Bildern, Video- und Audio -Dateien in den Ergebnissen der Google -Suche zu verhindern. Dies verhindert keine Links zu Ihren Mediendateien auf anderen Seiten oder von Benutzern.

  • Erfahren Sie mehr darüber, wie Sie das Erscheinungsbild von Bildern in Google verhindern können.
  • Erfahren Sie mehr darüber, wie Sie Videodateien aus dem Erscheinungsbild in Google löschen oder einschränken.

Ressourcendateien

Sie können die Datei robots.txt verwenden, um Ressourcendateien wie unbedeutende Bilder, Skripte oder Stile zu blockieren, wenn Sie der Meinung sind, dass Seiten ohne diese Ressourcen nicht wesentlich geändert werden. Wenn das Fehlen dieser Ressourcen jedoch die Indexierung des Google -Roboters erschwert, blockieren Sie sie nicht, da Google nicht in der Lage ist, die von diesen Ressourcen abhängigen Seiten korrekt zu analysieren.

Verständnis der Einschränkungen in der Datei roboots.txt für Ihre Google -Site

Vor dem Erstellen oder Bearbeiten der Datei robots.txt sollten Sie die Einschränkungen dieser URL -Sperrenmethode verstehen. Abhängig von Ihren Zielen und der Situation müssen Sie möglicherweise andere Mechanismen in Betracht ziehen, um sicherzustellen, dass Ihre URLs nicht im Internet gefunden werden.

  • Robots.txt -Dateiregeln werden möglicherweise nicht von allen Suchmaschinen unterstützt. Anweisungen in der Datei robots.txt können das Verhalten von Robotern nicht zwangsweise beeinflussen. Es hängt davon ab, ob der Roboter diesen Anweisungen befolgen soll. Obwohl GoogleBot und andere angesehene Web -Crauls den Regeln von Robots.txt -Datei folgen, tun dies möglicherweise nicht. Wenn Sie also Sicherheitsinformationen von Web -Crauls speichern möchten, können Sie die Dateien mit einem Kennwort besser schützen.
  • Unterschiedliche Krabben können die Syntax auf unterschiedliche Weise interpretieren. Trotz der Tatsache, dass Dear Web Crauls den Regeln der Datei robots.txt befolgen, kann jeder Kraler diese Regeln unterschiedlich interpretieren. Sie sollten die richtige Syntax kennen, um sich auf verschiedene Web -Craws zu beziehen, da einige von ihnen bestimmte Anweisungen möglicherweise nicht verstehen.
  • Die in der Datei robots.txt verbotene Seite kann weiterhin indiziert werden, wenn es Links von anderen Websites gibt. Obwohl Google den in Robots.txt blockierten Inhalt nicht scannt und indiziert, kann er die verbotene URL weiterhin finden und indizieren, wenn es Links von anderen Seiten im Internet gibt. Infolgedessen können die URL -Adresse und möglicherweise andere öffentlich verfügbare Daten, wie der Text der Links zur Seite, weiterhin in den Ergebnissen der Google -Suche angezeigt werden. Verwenden Sie das Erscheinungsbild Ihrer URL in den Ergebnissen der Google -Suche vollständig, verwenden Sie den Kennwortschutz, noIndex methag oder löschen Sie die Seite überhaupt.

Aufmerksamkeit: Die Kombination mehrerer Regeln für Kraling und Indexierung kann einen Konflikt zwischen den Regeln verursachen. Finden Sie heraus, wie Sie Kraling -Regeln mit Indexierung und Anzeige kombinieren.

Erstellung oder Aktualisierung der Datei robots.txt für Ihre Google -Site

Wenn Sie entscheiden, dass Sie eine Robots.txt -Datei benötigen, finden Sie heraus, wie Sie sie erstellen. Wenn die Datei bereits vorhanden ist, finden Sie heraus, wie Sie sie aktualisieren.

Empfohlene Informationen für Ihre Website in Google

Erstellen und Senden der Datei robots.txt an Google

Die Datei robots.txt sollte sich im Stamm Ihrer Website befinden. Erstellen Sie heraus, wie Sie eine Robots.txt -Datei erstellen, siehe Beispiele und untersuchen Sie die Regeln für robots.txt.

Senden der aktualisierten Robots.txt -Datei an Google

Mit dem Bericht von Robots.txt können Sie problemlos überprüfen, ob Google Ihre Robots.txt -Dateien verarbeiten kann. Befolgen Sie diese Schritte, um aktualisierte Robots.txt -Dateien an Google zu senden.

Wie Google die Spezifikation der Robots.txt -Datei interpretiert

Erforschen Sie die Details der verschiedenen Regeln für die Datei robots.txt und wie Google die Spezifikation der Datei robots.txt interpretiert.

Wenn Sie Fragen zur Datei robots.txt für Ihre Google -Website oder andere Aspekte von SEO haben, können Sie per E -Mail an das SEO -Unternehmen "SEO.comPuter" kontaktieren: info@seo.computer oder durch WhatsApp: +79202044461.

ID 25

Senden Sie eine Anfrage und wir beraten Sie gerne An SEO Werbung für Ihre Website