Schreeuwende Kikker SEO Spider. Hoe de accountmanager de software heeft ingericht

Dit artikel is nuttig voor degenen wier werk scanprojecten omvat, maar ook parameters instelt die geschikt zijn voor zowel middelgrote sites met maximaal 500.000 URL's, als voor compactere webbronnen.

In ons bedrijf is, net als bij elk groot digitaal bureau, de optimalisatie en automatisering van routinematige processen een belangrijk aspect. Dit maakt tijd vrij voor meer strategische taken.

Nadat ik twee maanden bij het bureau had gewerkt, kreeg ik de opdracht om maandelijks een aantal projecten te scannen. Ik ben niet nieuw op het gebied van SEO, maar mijn belangrijkste specialisatie is accountmanagement en marketing.

Van tijd tot tijd analyseerde ik als accountmanager de zichtbaarheid van sites van klanten in de zoekresultaten, en maakte ik ook een gedetailleerde scan van webbronnen. Om dit te doen, heb ik het Screaming Frog SEO Spider-programma gebruikt. Nadat ik de software had geïnstalleerd, ontving ik een licentie van het management en heb ik de programma-instellingen niet aangeraakt, omdat alles goed werkte, en zoals je weet, moet je niets veranderen dat niet kapot is.

Alles veranderde echter toen ik de opdracht kreeg een groter project met 430.000 URL's te leiden. Voorheen werkte ik aan projecten met maximaal 1700 URL's. Het probleem was niet dat het scannen van het project een dag duurde (wat de norm bleek te zijn), maar dat het programma bij het starten van de scan vaak vastliep op 88-94% van het proces.

Hoewel de instructies voor Screaming Frog behoorlijk gedetailleerd zijn, geven ze geen specifieke aanbevelingen voor het opzetten van het programma voor grote projecten. Toen ben ik op zoek gegaan naar informatie over hoe je de SEO Spider Tool correct kunt gebruiken. Nadat ik verschillende artikelen opnieuw had gelezen, realiseerde ik me dat ze hetzelfde herhalen als in de instructies, alleen korter.

Als gevolg hiervan besloot ik me voor hulp tot ervaren collega's te wenden, die, waarvoor ik hen hartelijk dank, mij uitlegden hoe het programma werkt en mij verschillende nuttige aanbevelingen gaven voor het opzetten ervan.

Na drie dagen experimenteren, vallen en opstaan ​​en overleg met collega's kwam ik tot de volgende conclusies:

Kenmerken van het apparaat:

  • Processor - Intel® Core™ i3-7020U CPU 2,30 GHz
  • RAM-geheugen - 8 GB
  • Systeemtype - 64-bit besturingssysteem, x64-processor

Zoals u kunt zien, zijn de kenmerken van het apparaat gemiddeld en redelijk geschikt voor het uitvoeren van mijn taken. Ik had geen krachtige hardware nodig, omdat dit voldoende is voor dagelijkse taken.

Screaming Frog SEO Spider programma-instellingen (versie 14.1):

  • Projectgegevens worden vastgelegd op een SSD-schijf (107 GB). De volheid van de schijf moet worden gecontroleerd en verouderde gegevens moeten indien nodig handmatig worden gewist door het project te exporteren.
  • JavaScript-weergave ingeschakeld.
  • Beperkingen op het aantal scanthreads zijn uitgeschakeld.
  • Het maximale aantal URL's per seconde is 2.
  • Als andere resource-intensieve processen parallel worden uitgevoerd op een werkend apparaat (bijvoorbeeld bij het parseren in andere applicaties), moet het crawlen worden onderbroken.

Belangrijk! Zorg ervoor dat u in de programma-instellingen specificeert dat projectinformatie naar een SSD-schijf wordt geschreven; dit versnelt het scanproces aanzienlijk.

Met dergelijke apparaateigenschappen en de opgegeven instellingen duurt het scannen van een project met 420-450 duizend URL's ongeveer 30 uur, als er minstens 12 uur scannen parallel met andere taken wordt uitgevoerd.

De beslissing om dit artikel te schrijven en te publiceren kwam na mislukte pogingen om aanbevelingen te vinden voor het opzetten van het Screaming Frog-programma in open bronnen. De meeste artikelen legden alleen uit wat en hoe het programma werkt, maar gaven geen praktisch advies over het opzetten ervan voor grote projecten. Ik hoop dat deze informatie nuttig is. Lees, gebruik, deel met collega's en moge de Force bij je zijn!

Als u vragen heeft, kunt u voor elke vraag contact opnemen met de SEO-studio "SEO COMPUTER" per e-mail info@seo.computer.

Identiteitskaart 1744

Stuur een aanvraag en wij zorgen voor een adviesgesprek op SEO promotie van uw website