
Deze tool biedt een breed scala aan functies, van het controleren van de juistheid van metatags tot het analyseren van micro-markup, waardoor het onmisbaar is voor een gedetailleerde analyse van sites van verschillende groottes.
In deze handleiding bekijken we de basisinstellingen en functies van SEO Spider waarmee u uw site effectief kunt analyseren en verbeteren.
Open het menu Bestand → Instellingen → Geheugentoewijzing.
Voor grote projecten wordt aanbevolen om 8 GB geheugen toe te wijzen, oftewel de helft van het beschikbare geheugen.

Ga naar Bestand → Instellingen → Opslagmodus.
De standaardinstelling is Geheugenopslag. Het wordt aanbevolen om over te schakelen naar databaseopslag (harde schijf), vooral als de schijf een SSD is, om het scanproces te versnellen.

In de instellingen (Bestand → Instellingen → Proxy) kunt u een proxyserver instellen als uw IP-adres op een bepaalde site wordt geblokkeerd, waardoor de blokkering wordt omzeild.

Ga naar Configuratie → Crawlconfiguratie → Snelheid.
De optimale waarde voor Max Threads (threads) is maximaal 5. Het verhogen van het aantal threads kan leiden tot het blokkeren of overbelasten van de site tijdens het scannen.
Laat de parameter URL/s beperken op 2,0 URL's per seconde staan. Voor 5XX-fouten verlaagt u de waarde naar 1,0 of 0,5 voor stabiliteit.

Ga naar Configuratie → Crawlconfiguratie → Spider → Crawl.
Als u alleen een geselecteerd gedeelte van de site wilt scannen, schakelt u de optie 'Links buiten de startmap controleren' uit. Als u 'Crawlen buiten de startmap' inschakelt, wordt het crawlgebied uitgebreid naar alle links op de site.
Activeer indien nodig de optie "Alle subdomeinen crawlen" om subdomeinen te crawlen, en configureer ook crawlende links met het nofollow-attribuut.

Vergeet niet de optie "Gekoppelde XML-sitemaps crawlen" in te schakelen om pagina's te analyseren die mogelijk geen directe links hebben, maar wel in de sitemap staan vermeld.

Deze modus imiteert het gedrag van zoekmachines: vanaf de hoofdpagina wordt de site gecrawld met behulp van interne links, waarbij dieper door de niveaus van de structuur wordt gegaan.
U kunt een bestand uploaden met URL's die u wilt crawlen, deze handmatig invoeren of een link naar de XML-sitemap gebruiken.

Deze modus analyseert alleen Titel en Beschrijving. De modus wordt minder vaak gebruikt en is geschikt voor eenvoudige metadatacontroles.
Hiermee kunt u de resultaten van verschillende scans vergelijken, handig voor het bijhouden van wijzigingen of het oplossen van fouten.
Ga naar Configuratie → Crawlconfiguratie → Inhoud → Duplicaten.
Wanneer de optie "Alleen indexeerbare pagina's controleren op duplicaten" is ingeschakeld, zoekt het programma alleen naar duplicaten onder pagina's die beschikbaar zijn voor indexering.
Met de optie 'Bijna duplicaten inschakelen' kunt u het overeenkomstpercentage voor de inhoud instellen, waardoor u verborgen duplicaten kunt vinden.

U kunt de resultaten zien in de sectie Inhoud → Alles, waarbij u de pagina's sorteert op aantal woorden. Pagina's met weinig inhoud zijn mogelijk minder nuttig voor zoekmachines.

Met name handig voor sites met productcatalogi, waar u pagina's met onvoldoende unieke inhoud kunt identificeren. Definieer de juiste klassen of ID's voor productkaarten en stel filtering in.

Om de beschikbaarheid van analytische tellers (bijvoorbeeld Yandex.Metrica of Google Analytics) te controleren, kunt u de zoekmodus op paginacode gebruiken door het tellernummer in de zoekinstellingen in te voeren.

Nadat u de site heeft gescand, kunt u metatags en titels bekijken in het gedeelte Paginatitel. Het is belangrijk om punten te controleren zoals:

We bekijken de resultaten in de sectie Reactiecodes. Het is belangrijk om aandacht te besteden aan fouten zoals 4xx en 5xx; deze moeten worden gecorrigeerd zodat de pagina's correct worden geladen.