Krzycząca Żaba SEO Spider. Jak menedżer konta skonfigurował oprogramowanie

Artykuł ten będzie przydatny dla osób, których praca polega na skanowaniu projektów, a także ustawianiu parametrów odpowiednich zarówno dla średnich witryn z maksymalnie 500 tysiącami adresów URL, jak i dla bardziej kompaktowych zasobów internetowych.

W naszej firmie, jak w każdej dużej agencji digital, ważnym aspektem jest optymalizacja i automatyzacja rutynowych procesów. Dzięki temu zyskujesz czas na bardziej strategiczne zadania.

Po dwóch miesiącach pracy w agencji zostałem przydzielony do skanowania kilku projektów miesięcznie. Nie jestem nowy w SEO, ale moją główną specjalizacją jest zarządzanie kontami i marketing.

Od czasu do czasu jako account manager analizowałem widoczność stron klientów w wynikach wyszukiwania, a także szczegółowo skanowałem zasoby sieci. W tym celu skorzystałem z programu Screaming Frog SEO Spider. Po zainstalowaniu oprogramowania otrzymałem licencję od kierownictwa i nie ruszałem ustawień programu, ponieważ wszystko działało dobrze, a jak wiadomo, nie należy zmieniać czegoś, co nie jest zepsute.

Wszystko się jednak zmieniło, gdy przydzielono mnie do prowadzenia większego projektu z 430 tysiącami adresów URL. Wcześniej pracowałem nad projektami zawierającymi maksymalnie 1700 adresów URL. Problem nie polegał na tym, że skanowanie projektu trwało jeden dzień (co jak się okazało jest normą), ale na tym, że przy rozpoczynaniu skanowania program często zawieszał się na 88-94% procesu.

Chociaż instrukcje dotyczące Screaming Frog są dość szczegółowe, nie zawierają konkretnych zaleceń dotyczących konfiguracji programu dla dużych projektów. Następnie zacząłem szukać informacji jak prawidłowo korzystać z narzędzia SEO Spider Tool. Po ponownym przeczytaniu kilku artykułów zdałem sobie sprawę, że powtarzają to samo, co w instrukcji, tylko krócej.

W rezultacie zdecydowałem się zwrócić o pomoc do doświadczonych kolegów, którzy, za co im bardzo dziękuję, wyjaśnili mi działanie programu i udzielili kilku przydatnych zaleceń dotyczących jego konfiguracji.

Po trzech dniach eksperymentów, prób i błędów oraz konsultacji z kolegami doszedłem do następujących wniosków:

Charakterystyka urządzenia:

  • Procesor — Intel® Core™ i3-7020U 2,30 GHz
  • RAM - 8 GB
  • Typ systemu - 64-bitowy system operacyjny, procesor x64

Jak widać, charakterystyka urządzenia jest przeciętna i całkiem odpowiednia do wykonywania moich zadań. Nie potrzebowałem potężnego sprzętu, ponieważ to wystarczy do codziennych zadań.

Ustawienia programu Screaming Frog SEO Spider (wersja 14.1):

  • Dane projektu zapisywane są na dysku SSD (107 GB). Należy monitorować zapełnienie dysku, a nieaktualne dane w razie potrzeby usuwać ręcznie, eksportując projekt.
  • Włączono renderowanie JavaScript.
  • Ograniczenia liczby wątków skanowania są wyłączone.
  • Maksymalna liczba adresów URL na sekundę wynosi 2.
  • Jeśli na działającym urządzeniu równolegle działają inne procesy wymagające dużych zasobów (na przykład analizowanie w innych aplikacjach), indeksowanie należy wstrzymać.

Ważny! W ustawieniach programu pamiętaj o zapisaniu informacji o projekcie na dysku SSD; znacznie przyspiesza to proces skanowania.

Przy takiej charakterystyce urządzenia i określonych ustawieniach skanowanie projektu zawierającego 420-450 tysięcy adresów URL zajmuje około 30 godzin, jeśli co najmniej 12 godzin skanowania odbywa się równolegle z innymi zadaniami.

Decyzja o napisaniu i opublikowaniu tego artykułu zapadła po nieudanych próbach znalezienia rekomendacji dotyczących konfiguracji programu Screaming Frog w otwartych źródłach. Większość artykułów jedynie wyjaśniała, co i jak działa program, ale nie zawierała praktycznych porad dotyczących jego konfiguracji dla dużych projektów. Mam nadzieję, że te informacje będą przydatne. Czytaj, korzystaj, udostępniaj znajomym i niech Moc będzie z Tobą!

Jeśli masz jakieś pytania, możesz skontaktować się ze studiem SEO „SEO COMPUTER” w każdej sprawie, pisząc na adres info@seo.computer.

ID 1744

Wyślij zapytanie, a my udzielimy konsultacji NA SEO promocja Twojej strony internetowej