Basisconfiguratie van een SEO-parser: stapsgewijze instructies

Het parseren van websites kan tijdrovend zijn, vooral als u algemene tools gebruikt. Maar veel ervan kunnen worden aangepast voor specifieke taken om het proces efficiënter te maken. Laten we eens kijken hoe we dit kunnen doen aan de hand van het voorbeeld van een populaire SEO-parser.

Locatie van gegevensopslag; User Agent; Parseersnelheid; Parseersecties; Wat te parseren; Accounttoegang; robots.txt; Instellingen opslaan.

Gegevensopslaglocatie instellen

De eerste stap bij het opzetten van een parser is het kiezen van een gegevensopslaglocatie. Ga hiervoor naar het menu "Bestand" en selecteer "Instellingen". Selecteer 'Type gegevensopslag' in de vervolgkeuzelijst. Er zijn twee opties beschikbaar in dit gedeelte:

In RAM-geheugen. Dit is geschikt voor snelle downloads als u voldoende RAM-geheugen maar beperkte ruimte op de harde schijf heeft. Voor grote sites is dit echter mogelijk niet voldoende.

Op uw harde schijf. In dit geval kiest u een pad om de gegevens op te slaan. Het proces zal langzamer zijn, maar de bestanden nemen minder RAM in beslag.

Ga vervolgens terug naar Instellingen en selecteer "Geheugentoewijzing" om de hoeveelheid RAM op te geven die het systeem kan gebruiken. Dit is handig als er parallel andere taken op uw computer worden uitgevoerd.

Gebruikersagent instellen

Vervolgens moet u de User Agent configureren. Ga naar het menu "Configuratie" en selecteer "User-Agent". Hier kunt u de user-agent configureren die wordt gebruikt bij het parseren van sites.

Voor bijvoorbeeld mobiele apparaten kunt u kiezen voor standaardagenten, zodat de parser zich vermomt als bot en volledige informatie ontvangt zonder dat hij door de site wordt geblokkeerd.

Parseersnelheid instellen

Nu stellen we de parseersnelheid in. Ga naar het menu "Configuratie" en selecteer "Snelheid". Hier kunt u het aantal threads opgeven dat wordt gebruikt bij het downloaden van gegevens. Voor zwakke computers is het optimaal om te kiezen uit 3 tot 5 threads.

Secties instellen voor paring

Als u alleen bepaalde secties van de site wilt controleren, configureert u deze in de sectie "Configuraties" via het item "Inclusief". Hier kunt u het pad naar de gewenste partitie invoeren om te controleren of deze wordt opgenomen in het parseerproces.

Indien een rubriek niet in de selectie is opgenomen, verschijnt hierover een melding. Als u secties wilt uitsluiten van parseren, gebruikt u het item 'Uitsluiten'.

Spidercrawl opzetten

Ga naar "Configuratie", selecteer "Spider" en configureer het type gegevensscan. Hier kunt u precies kiezen welke gegevens worden gescand, waardoor onnodige soorten informatie worden uitgeschakeld.

Als de site niet te groot is, kunt u de standaardinstellingen behouden en alle beschikbare gegevens crawlen.

Een Google-account koppelen

Koppel uw Google-account om naar problematische pagina's te zoeken. Ga naar "Configuratie", vervolgens "API-toegang" en selecteer Google Search Console. Hierdoor kunt u snel pagina's vinden waarnaar niet is gelinkt en kunt u het probleem oplossen.

Werk instellen met robots.txt

Kies vervolgens hoe de parser moet werken met het robots.txt-bestand. Selecteer in "Configuratie" een van de volgende opties:

Negeren – als u de hele site moet analyseren;

Respect – als de parser moet voldoen aan de regels van robots.txt;

Negeer robots.txt maar rapporteer de status – als u gegevens over de status van pagina’s wilt ontvangen.

Instellingen opslaan

Als u vaak dezelfde instellingen gebruikt, is het raadzaam deze als standaard op te slaan. Om dit te doen, selecteert u in het menu "Configuratie" de optie "Huidige configuratie opslaan als standaard". Ook kun je voor verschillende taken meerdere profielen aanmaken en snel hiertussen wisselen.

Als u vragen heeft of hulp nodig heeft bij het opzetten van SEO-tools, schrijf dan per e-mail naar de SEO-studio "SEO COMPUTER". info@seo.computer.

Identiteitskaart 4473