Dieses Tool bietet eine Vielzahl von Funktionen, von der Überprüfung der Korrektheit von Meta-Tags bis hin zur Analyse von Mikro-Markups, was es für die detaillierte Analyse von Websites unterschiedlicher Größe unverzichtbar macht.
In diesem Leitfaden befassen wir uns mit den grundlegenden SEO Spider-Einstellungen und -Funktionen, die Ihnen dabei helfen, Ihre Website effektiv zu analysieren und zu verbessern.
Inhalt:
- Einrichten des Programms
- Scanmethoden
- Finden Sie doppelten Inhalt
- Seiten mit unzureichendem Inhalt
- Leere Seiten finden
- Überprüfung der Verfügbarkeit von Analysezählern
- Analyse von Titel, Beschreibung und Überschriften (H1, H2)
- Analyse der Serverantworten
- Integration mit externen APIs
- Überprüfen der Bildverfügbarkeit und -größe
- Überprüfung des Mikro-Markups
Einrichten des Programms
Speichereinstellungen
Öffnen Sie das Menü Datei → Einstellungen → Speicherzuordnung.
Es wird empfohlen, für große Projekte 8 GB Speicher oder die Hälfte des verfügbaren Speichers zu reservieren.
Datenspeicher einrichten
Gehen Sie zu Datei → Einstellungen → Speichermodus.
Die Standardeinstellung ist Speicher. Es wird empfohlen, zum Datenbankspeicher (Festplatte) zu wechseln, insbesondere wenn es sich bei dem Laufwerk um eine SSD handelt, um den Scanvorgang zu beschleunigen.
Proxy-Installation
In den Einstellungen (Datei → Einstellungen → Proxy) können Sie einen Proxyserver festlegen, wenn Ihre IP auf einer bestimmten Site blockiert ist, was dabei hilft, die Blockierung zu umgehen.
Einstellen der Scangeschwindigkeit
Gehen Sie zu Konfiguration → Crawl-Konfiguration → Geschwindigkeit.
Der optimale Wert für „Max. Threads“ liegt bei bis zu 5. Eine Erhöhung der Anzahl der Threads kann dazu führen, dass die Site beim Scannen blockiert oder überlastet wird.
Belassen Sie den Parameter „Limit URL/s“ bei 2,0 URLs pro Sekunde. Reduzieren Sie bei 5XX-Fehlern den Wert aus Stabilitätsgründen auf 1,0 oder 0,5.
Crawler-Setup
Gehen Sie zu Konfiguration → Crawl-Konfiguration → Spider → Crawl.
Wenn Sie nur einen ausgewählten Abschnitt der Website scannen möchten, deaktivieren Sie die Option „Links außerhalb des Startordners prüfen“. Durch die Aktivierung von „Crawling außerhalb des Startordners“ wird der Crawling-Bereich auf alle Links auf der Website ausgeweitet.
Aktivieren Sie bei Bedarf die Option „Alle Subdomains crawlen“, um Subdomains zu crawlen, und konfigurieren Sie außerdem Crawling-Links mit dem Attribut „nofollow“.
Einrichten der XML-Sitemap-Verarbeitung
Vergessen Sie nicht, die Option „Crawl Linked XML Sitemaps“ zu aktivieren, um Seiten zu analysieren, die möglicherweise keine direkten Links haben, aber in der Sitemap aufgeführt sind.
Scanmethoden
Spinnenmodus (Standard)
Dieser Modus imitiert das Verhalten von Suchmaschinen: Von der Hauptseite aus wird die Website mithilfe interner Links gecrawlt, wobei die Strukturebenen tiefer durchsucht werden.
Listenmodus
Sie können eine Datei mit zu crawlenden URLs hochladen, diese manuell eingeben oder einen Link zur XML-Sitemap verwenden.
- Aus einer Datei: Laden Sie eine Datei mit URLs hoch.
- Manuell eingeben: Geben Sie URLs manuell ein.
- Einfügen – kopierte URLs einfügen.
- XML-Sitemap herunterladen – Senden Sie einen Link zur XML-Sitemap.
SERP-Modus
Dieser Modus analysiert nur Titel und Beschreibung. Der Modus wird seltener verwendet und eignet sich für einfache Metadatenprüfungen.
Vergleichsmodus
Ermöglicht den Vergleich der Ergebnisse verschiedener Scans. Dies ist nützlich, um Änderungen nachzuverfolgen oder Fehler zu beheben.
Finden Sie doppelten Inhalt
Gehen Sie zu Konfiguration → Crawl-Konfiguration → Inhalt → Duplikate.
Wenn die Option „Nur indizierbare Seiten auf Duplikate prüfen“ aktiviert ist, sucht das Programm nur auf den für die Indexierung verfügbaren Seiten nach Duplikaten.
Mit der Option „Beinahe-Duplikate aktivieren“ können Sie den Prozentsatz der Inhaltsübereinstimmung festlegen, der Ihnen hilft, versteckte Duplikate zu finden.
Seiten mit unzureichendem Inhalt
Sie können die Ergebnisse im Abschnitt „Inhalt“ → „Alle“ sehen, indem Sie die Seiten nach Wortanzahl sortieren. Seiten mit wenig Inhalt sind für Suchmaschinen möglicherweise weniger nützlich.
Leere Seiten finden
Besonders nützlich für Websites mit Produktkatalogen, auf denen Sie Seiten mit unzureichendem eindeutigem Inhalt identifizieren können. Definieren Sie die richtigen Klassen oder IDs für Produktkarten und richten Sie die Filterung ein.
Auf Seiten wird nach Zählern gesucht
Um die Verfügbarkeit analytischer Zähler (z. B. Yandex.Metrica oder Google Analytics) zu überprüfen, können Sie den Suchmodus nach Seitencode verwenden, indem Sie die Zählernummer in die Sucheinstellungen eingeben.
Analyse von Titel, Beschreibung und Überschriften (H1, H2)
Nachdem Sie die Website gescannt haben, können Sie Meta-Tags und Titel im Abschnitt „Seitentitel“ anzeigen. Es ist wichtig, Punkte zu überprüfen wie:
- Fehlt – Fehlen eines Title-Tags.
- Duplikat – Wiederholung des Titels auf verschiedenen Seiten.
- Identisch mit H1 – wenn der Titel mit H1 übereinstimmt.
- Mehrfach – Vorhandensein mehrerer Titel auf einer Seite.
Analyse der Serverantworten
Wir sehen uns die Ergebnisse im Abschnitt „Antwortcodes“ an. Es ist wichtig, auf Fehler wie 4xx und 5xx zu achten; sie müssen korrigiert werden, damit die Seiten korrekt geladen werden.
