
Narzędzie to oferuje szeroki zakres funkcji, od sprawdzenia poprawności metatagów po analizę mikroznaczników, co czyni je niezbędnymi do szczegółowej analizy witryn o różnej wielkości.
W tym przewodniku przyjrzymy się podstawowym ustawieniom i funkcjom SEO Spider, które pomogą Ci skutecznie analizować i ulepszać witrynę.
Otwórz menu Plik → Ustawienia → Przydział pamięci.
Na duże projekty zaleca się przeznaczyć 8 GB pamięci, czyli połowę dostępnej pamięci.

Przejdź do Plik → Ustawienia → Tryb przechowywania.
Wartość domyślna to Pamięć masowa. Zaleca się przełączenie na przechowywanie bazy danych (dysk twardy), zwłaszcza jeśli jest to dysk SSD, aby przyspieszyć proces skanowania.

W ustawieniach (Plik → Ustawienia → Proxy) możesz ustawić serwer proxy, jeśli Twoje IP jest blokowane w określonej witrynie, co pomoże ominąć blokadę.

Przejdź do Konfiguracja → Konfiguracja indeksowania → Prędkość.
Optymalna wartość dla Max Threads (wątków) to maksymalnie 5. Zwiększanie liczby wątków może doprowadzić do zablokowania lub przeciążenia witryny podczas skanowania.
Pozostaw parametr Limit URL/s na poziomie 2,0 adresów URL na sekundę. W przypadku błędów 5XX zmniejsz wartość do 1,0 lub 0,5, aby zapewnić stabilność.

Przejdź do Konfiguracja → Konfiguracja indeksowania → Spider → Indeksowanie.
Jeśli chcesz przeskanować tylko wybraną sekcję witryny, odznacz opcję „Sprawdź linki poza folderem startowym”. Włączenie opcji „Indeksuj poza folderem początkowym” rozszerza obszar indeksowania na wszystkie łącza w witrynie.
W razie potrzeby aktywuj opcję „Indeksuj wszystkie subdomeny”, aby indeksować subdomeny, a także skonfiguruj indeksowanie linków z atrybutem nofollow.

Nie zapomnij włączyć opcji „Indeksuj powiązane mapy witryn XML”, aby analizować strony, które mogą nie mieć bezpośrednich linków, ale są wymienione w mapie witryny.

Tryb ten imituje działanie wyszukiwarek: ze strony głównej witryna jest przeszukiwana za pomocą linków wewnętrznych, przechodząc głębiej przez poziomy struktury.
Możesz przesłać plik z adresami URL do przeszukania, wprowadzić je ręcznie lub użyć łącza do mapy witryny XML.

W tym trybie analizowany jest tylko tytuł i opis. Tryb ten jest rzadziej używany i nadaje się do prostych kontroli metadanych.
Umożliwia porównanie wyników z różnych skanów, co jest przydatne do śledzenia zmian lub rozwiązywania problemów.
Przejdź do Konfiguracja → Konfiguracja indeksowania → Treść → Duplikaty.
Gdy włączona jest opcja „Sprawdź tylko strony indeksowane pod kątem duplikatów”, program będzie wyszukiwał duplikaty tylko wśród stron dostępnych do indeksowania.
Opcja „Włącz prawie duplikaty” pozwala ustawić procent dopasowania treści, co pomaga znaleźć ukryte duplikaty.

Wyniki możesz zobaczyć w sekcji Treść → Wszystkie, sortując strony według liczby słów. Strony z małą zawartością mogą być mniej przydatne dla wyszukiwarek.

Szczególnie przydatne w przypadku witryn z katalogami produktów, gdzie można zidentyfikować strony o niewystarczającej liczbie unikalnej treści. Zdefiniuj prawidłowe klasy lub identyfikatory dla kart produktów i skonfiguruj filtrowanie.

Aby sprawdzić dostępność liczników analitycznych (na przykład Yandex.Metrica lub Google Analytics), możesz skorzystać z trybu wyszukiwania według kodu strony, wpisując numer licznika w ustawieniach wyszukiwania.

Po zeskanowaniu witryny możesz wyświetlić metatagi i tytuły w sekcji Tytuł strony. Ważne jest sprawdzenie takich punktów jak:

Wyniki przeglądamy w sekcji Kody odpowiedzi. Ważne jest, aby zwracać uwagę na błędy takie jak 4xx i 5xx; należy je poprawić, aby strony ładowały się poprawnie.