Technische SEO-Ranking-Faktoren: Teil Zwei

Erster Teil des Artikels.

Wenn Sie nicht ins Detail gehen möchten, wenden Sie sich an die Spezialisten und testen Sie unser System kostenlos!

Verwalten der robots.txt-Datei

Die robots.txt-Datei wird verwendet, um zu steuern, wie Ihre Website von Suchmaschinen indiziert wird. Sie können damit festlegen, welche Seiten oder Verzeichnisse der Website indiziert werden sollen und welche nicht.

Hier sind die Grundregeln für die Arbeit mit dieser Datei:

• Dies ist eine Textdatei, die im Nur-Text-Format (ASCII oder UTF-8) gespeichert werden sollte und den Namen robots.txt trägt.
• Die Datei wird in Texteditoren wie Notepad und nicht in proprietären Formateditoren wie Microsoft Word erstellt.
• Die robots.txt-Datei sollte sich im Stammverzeichnis Ihrer Site befinden. Zum Beispiel für eine Website unter http://example.com, sollte die Datei unter http://example.com/robots.txt verfügbar sein.
• Für Websites, die mit bestimmten CMS erstellt wurden, kann automatisch eine robots.txt-Datei generiert werden.

In der robots.txt-Datei sucht der Crawler nach Anweisungen, die mit dem Feld „User-agent“ beginnen. Dieses Feld gibt den spezifischen Suchmaschinen-Robot an, für den die entsprechende Indexierungsregel gilt.

Bei der Beschreibung von Adressen auf einer Website können Sie das universelle Symbol „*“ verwenden, das eine beliebige Zeichenfolge bezeichnet. Dadurch können Sie ein Präfix oder Suffix des Pfads zu einem Verzeichnis oder einer Seite angeben.

Hier sind einige grundlegende Anweisungen, die in einer robots.txt-Datei verwendet werden können:

• Disalov: Gibt an, welche Seiten oder Verzeichnisse vom Suchroboter nicht indiziert werden sollen. Wenn ein Verzeichnisname angegeben wird, muss der Pfad mit einem Schrägstrich enden.
• Allov: Diese Anweisung ermöglicht die Indizierung bestimmter Seiten oder Verzeichnisse, die möglicherweise durch die Disallow-Anweisung eingeschränkt wurden. Das Zeichen „*“ wird zur Kennzeichnung unterschiedlicher Pfade unterstützt.
• Sitemap: Gibt den Pfad zur Sitemap-Datei an. Es kann optional sein und in mehreren Kopien erscheinen. Eine Sitemap hilft Suchmaschinen dabei, Seiten von Websites schneller zu indizieren.
• Unbekannte Anweisungen werden ignoriert, sodass Kommentare in die Datei eingefügt werden können.

Beachten Sie auch, dass die Anforderungen an die robots.txt-Datei je nach Suchmaschine leicht variieren können. Um die neuesten Empfehlungen für beliebte Systeme wie Yandex oder Google zu erfahren, schauen Sie sich deren offizielle Quellen an.

Bei Fragen können Sie sich jederzeit an die Spezialisten unseres SEO-Studios wenden, indem Sie an info@seo.computer schreiben.

ID 9119