Zostaw prośbę
GoogleBot to nazwa zwyczajowa dla dwóch rodzajów robotów internetowych używanych w wyszukiwarce Google:
Możesz określić podtyp GoogleBot, patrząc na nagłówek HTTP USR-Agent. Jednak oba typy robotów są podporządkowane temu samemu tokenowi produktu (token użytkownika-agenta) w Robots.txt, więc nie możesz wybrać jednego z nich (smartfon GoogleBot ani Desktop GoogleBot) za pomocą Robots.txt.
W przypadku większości witryn Google wyszukiwanie przede wszystkim indeksów mobilna wersja treści. Dlatego większość żądań GoogleBot zostanie składana za pomocą robota mobilnego i mniejszości - za pomocą robota stacjonarnego.
W przypadku większości witryn GoogleBot Twoja witryna nie powinna odwiedzać Twojej witryny więcej niż raz na kilka sekund. Jednak z powodu opóźnień można oczekiwać, że ten wskaźnik będzie nieco wyższy w krótkich odstępach czasu. Jeśli Twoja witryna nie ma czasu na radzenie sobie z żądaniami GoogleBot, możesz zmniejszyć prędkość obejścia.
GoogleBot może skanować pierwsze 15 mb plik lub obsługiwany plik tekstowy. Każdy zasób, który odnosi się, taki jak CSS lub JavaScript, jest ładowany osobno, a każde żądanie jest ograniczone tym samym limitem wielkości pliku. Po pierwszych 15 MB plik zatrzymuje skanowanie, a tylko te 15 MB pliku są przesyłane do indeksowania. Limit wielkości jest stosowany do danych nieskompresowanych. Inne roboty Google, takie jak GoogleBot Video i GoogleBot Image, mogą mieć inne ograniczenia.
Podczas podróży z adresów IP w USA strefa czasowa GoogleBot to czas Pacyfiku.
Inne cechy techniczne GoogleBot opisano w recenzji Google Robot.
GoogleBot znajduje nowe adresy URL dla objazdu przede wszystkim poprzez linki wbudowane w już odwiedzone strony. Ukrywanie witryny jest prawie niemożliwe bez publikowania linków do niej. Na przykład, gdy tylko ktoś przekroczy link z Twojej „tajnej” witryny do innej witryny, adres URL Twojej witryny „tajnej” może pojawić się w znaczniku polecającym i zostanie zachowany i opublikowany przez inną witrynę w jego dziennikach.
Jeśli chcesz zapobiec obejściem GoogleBot na swojej stronie, masz kilka opcji. Pamiętaj, że istnieje różnica między obejściem a indeksacją: Blokowanie GoogleBot od obejścia strony nie uniemożliwi pojawienia się adresu URL tej strony w wynikach wyszukiwania:
Blokowanie GoogleBot wpływa na wyszukiwarkę Google (w tym odkrycie i wszystkie funkcje wyszukiwania Google), a także inne produkty, takie jak Google Images, Google Video i Google News.
Zanim zdecydujesz się zablokować GoogleBot, ważne jest, aby zrozumieć, że USR-Agent HTTP-Head używany przez GoogleBot jest często sfałszowany przez inne roboty. Dlatego ważne jest, aby sprawdzić, czy żądanie naprawdę pochodzi z Google. Najlepszym sposobem na potwierdzenie, że żądanie pochodzi z GoogleBot, jest wykonanie odwrotnego postu DNS na początkowym adresie IP żądania lub monitorowanie adresu IP za pomocą adresów IP GoogleBot.
Jeśli masz pytania dotyczące SEO lub potrzebujesz konsultacji, możesz skontaktować się z naszym towarzyszem SEO za pośrednictwem poczty elektronicznej info@seo.computer lub WhatsApp: +79202044461.
ID 59
