Hinterlassen Sie eine Anfrage
Automatische Roboter von Suchmaschinen, wie z. B. Google, wenden Sie sich an die Datei robots.txtDas befindet sich in der Wurzel Ihrer Website. Diese Datei enthält Anweisungen, welche Abschnitte scannen dürfen und welche nicht. Es ist wichtig zu verstehen, dass ein solches Protokoll nicht für Benutzerdienste oder Sicherheitsinstrumente gilt, die anders funktionieren.
Um den Zugriff von Robotern auf bestimmte Abschnitte der Ressource zu beschränken, können Sie eine Datei auf Ihrer Website erstellen robots.txtIn denen die Regeln für jeden Roboter vorgeschrieben sind. Beispiel der Struktur:
User-agent: * Disallow: /includes/ User-agent: Googlebot Allow: /includes/ Sitemap: https://example.com/sitemap.xml
Diese Datei regelt, welche Teile der Site indexiert werden können und welche - Nr. Um von Grund auf neu zu lernen, wird empfohlen, mit den Grundprinzipien der Arbeiten vertraut zu beginnen robots.txt und Empfehlungen für seine Zusammenstellung.
Die Datei sollte streng im Stamm der Website sein (zum Beispiel, zum Beispiel, https://ваш_сайт/robots.txt). Es funktioniert nur für diese Kombination aus Domäne, Protokoll und Port, an der es platziert wird. Podomeni, andere Ports und Protokolle erfordern eine separate Datei robots.txt.
https://example.com/robots.txt - Es funktioniert für https://example.com/aber nicht für http:// oder andere Subdomänen.https://www.example.com/robots.txt - nur abdeckt www.ftp://example.com/robots.txt -Wir bewerben sich ausschließlich für das FTP -Protokoll.Abhängig vom Antwortcode beim Versuch, eine Datei zu erhalten robots.txtDas Verhalten von Suchrobotern ändert sich:
Roboter können den Inhalt der Datei bis zu 24 Stunden zwischenstrichen, aber bei Problemen (Zeitüberschreitungen, Fehler) kann die Frist zunehmen. Schlagzeilen Cache-Control Beeinflussen auch das Verhalten des Caching.
Die Datei sollte sich in der UTF-8-Kodierung befinden, wobei die Teilnehmer der CR-, CR/LF- oder LF-Zeilen. Falsche Symbole oder -content werden ignoriert. Die maximal zulässige Dateigröße beträgt 500 KIB, der Rest wird ignoriert.
Jede Zeile besteht aus Schlüssel, Dickdarm und Werten. Es darf nach dem Zeichen Kommentare hinzufügen #. Die folgenden Felder werden unterstützt:
Alle Pfade sind empfindlich gegenüber dem Register und sollten mit beginnen mit /.
Bedeutung user-agent Nicht empfindlich gegenüber dem Register. Verwenden Sie den genauen Namen des Roboters, um bestimmte Regeln anzugeben. Andernfalls wird die globale Vorlage verwendet *.
Begrenzt den Zugang von Robotern auf die angegebenen Pfade. Die URL kann jedoch in den Suchergebnissen ohne Seitenfragment immer noch angezeigt werden.
Ermöglicht den Zugriff auf bestimmte Pfade, auch wenn sie teilweise unter Verbotsregeln fallen.
Es darf Links zur Site -Karte veröffentlichen. Es kann einige von ihnen geben. Die Adresse sollte absolut und korrekt sein. Sie sind für alle Roboter anwendbar, wenn nicht separat verboten.
Ein Satz von Regeln kann auf mehrere Benutzer-Agent gleichzeitig angewendet werden, wodurch die Benutzer-Agent-Zeilen nach dem anderen vor den Grundregeln wiederholt werden.
Der spezifischste Benutzer-Agent wird ausgewählt. Wenn mehrere Zufälle gefunden werden, wird die längste und genaueste genommen. Allgemeine Regeln * Nicht mit privaten kombiniert.
Wenn mehrere Blöcke zu einem Roboter gehören, werden sie automatisch kombiniert. Die verbleibenden Linien wie Sitemap werden beim Gruppieren nicht berücksichtigt.
Der Pfad aus der Regel wird mit der Seite der Seite verglichen. Symbole funktionieren * (jedes Symbol, 0 oder mehr) und $ (Ende der Linie). Beispiele:
/ - fällt mit der Wurzel des Standorts und aller investierten URLs zusammen./fish - Alle Wege beginnen auf /fish./fish/ - Nur diejenigen, bei denen am Ende eindeutig Slash angezeigt wird./*.php - Alle Dateien mit der Erweiterung .php./*.php$ - Nur diejenigen, die in .php enden.Wenn gleichzeitig widersprüchliche Regeln vorhanden sind, wird es verwendet, was auf dem Weg länger und weniger restriktiv ist. Das heißt, in kontroversen Fällen wird der genauesten Auflösungsregel Priorität gegeben.
Wenn Sie Hilfe beim Erstellen, Überprüfen oder Einrichten einer Robots.txt -Datei für Ihre Website erhalten möchten, wenden Sie sich an die SEO -Agentur CEO. Schreiben Sie in E -Mail: info@seo.computer Oder in WhatsApp: +7 920 204 44 61.
ID: 159
