Jak potwierdzić, że GoogleBot i inne roboty wyszukiwania Google faktycznie przechodzą do Twojej witryny za pośrednictwem Google

Możesz sprawdzić, czy robot internetowy, który zwraca się do twojego serwera, jest prawdziwym GoogleBot. Jest to przydatne, jeśli martwisz się, że spamerzy lub inni atakujący mogą uzyskać dostęp do Twojej witryny, udając GoogleBot.

Roboty Google są podzielone na trzy kategorie:

Roboty Google, sprawdź swoją stronę Google

Opis robotów Google, które mogą odwiedzić Twoją witrynę, a także odpowiednie pasma IP:

Zwykłe roboty Google na Twojej stronie Google

Są to roboty używane do produktów Google, takich jak GoogleBot. Te roboty zawsze obserwują reguły ROBOT.TXT dla automatycznych obwodnic.

Przykłady domen: Crawl-***-***-***-***. GoogleBot.com lub Geo-Crawl-***-***-***-***. Geo.googlebot.com

Przykładowy plik JSON: GoogleBot.json

Specjalne roboty Google na Twojej stronie Google

Roboty te wykonują określone funkcje dla produktów Google (na przykład ADSBOT), gdy istnieje umowa między witryną a produktem w procesie obejścia. Te roboty mogą lub nie mogą przestrzegać reguł Robots.txt.

Przykład: stawki-limited-proksy-***-***-***-***. Google.com, Special-crawlers.json

Roboty aktywowane przez użytkownika w Twojej witrynie w Google

Te narzędzia i produkty produktów, w których użytkownik końcowy aktywuje żądanie danych. Na przykład weryfikator strony Google, który jest uruchamiany na żądanie użytkownika. Te roboty ignorują zasady roboty.txt.

Przykład: ***-***-***-***. Gae.googleusercontent.com lub Google-proxy-***-***-***-***. Google.com.

Metody testowania GoogleBot na Twojej stronie Google

Istnieją dwa sposoby sprawdzenia, czy robot internetowy GoogleBot to:

Metoda ręczna: W przypadku pojedynczych kontroli użyj narzędzi poleceń. Ta metoda jest odpowiednia w większości przypadków.
Sposób automatyczny: Do kontroli masowych użyj automatycznego rozwiązania, aby porównać adres IP robota z opublikowanymi pasmami IP GoogleBot.

Korzystanie z narzędzi poleceń do sprawdzania GoogleBot na swojej stronie Google

Uruchom żądanie odwrotnego DNS na adres IP adresujący serwer za pomocą polecenia hosta.
Upewnij się, że nazwa domeny odpowiada jednym z następujących czynności: GoogleBot.com, Google.com lub GoogleuserContent.com.
Uruchom prosty DNS-Request do nazwy domeny uzyskanej w poprzednim kroku za pomocą polecenia hosta.
Upewnij się, że nazwa domeny odpowiada oryginalnemu adresowi IP, który został zapisany w dziennikach.

Przykład 1:

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Przykład 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Przykład 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Korzystanie z automatycznych rozwiązań do sprawdzenia GoogleBot na swojej stronie Google

Możesz także zidentyfikować GoogleBot według adresu IP, porównując go z opublikowanymi adresami IP dla GoogleBot i innymi robotami Google:

Zwykłe roboty, takie jak Googlebot
Specjalne roboty, takie jak adsbot
Żądania aktywowane przez użytkownika (użytkowników)
Żądania aktywowane przez użytkownika (Google)

W przypadku innych adresów IP Google, z których można uzyskać dostęp do Twojej witryny (na przykład w przypadku aplikacji), porównaj adres IP z ogólną listą adresów IP Google. Należy pamiętać, że adres IP w plikach JSON jest prezentowany w formacie CIDR.

Jeśli masz pytania lub pomoc, możesz skontaktować się z firmą SEO „SEO.COMPUTER” za pomocą e -maila info@seo.computer Lub WhatsApp +79202044461.

ID 41