Come confermare che Googlebot e altri robot di ricerca di Google vanno effettivamente sul tuo sito tramite Google

Puoi verificare se il robot Web che si rivolge al tuo server è un vero Googlebot. Questo è utile se sei preoccupato che gli spammer o altri aggressori possano accedere al tuo sito, fingendo di essere Googlebot.

I robot di Google sono divisi in tre categorie:

Google Robots, controlla il tuo sito Web di Google

Descrizione dei robot di Google che possono visitare il tuo sito, nonché le loro corrispondenti bande IP:

Ordinari robot di Google sul tuo sito Web di Google

Questi sono robot utilizzati per i prodotti Google, come Googlebot. Questi robot seguono sempre le regole robot.txt per i bypass automatici.

Esempi di domini: Crawl-***-***-***-***. Googlebot.com o Geo-crawl-***-***-***-***. Geo.googlebot.com

Esempio di file JSON: Googlebot.json

Speciali robot di Google sul tuo sito Web di Google

Questi robot svolgono funzioni specifiche per i prodotti Google (ad esempio, ADSBOT) quando esiste un accordo tra il sito Web e il prodotto sul processo di bypass. Questi robot possono o non possono seguire le regole robot.txt.

ESEMPIO: PROXY LIMEDE-Limited-***-***-***-***. Google.com, Special-crawlers.json

Robot attivati dall'utente sul tuo sito su Google

Questi strumenti e prodotti di prodotti in cui l'utente finale attiva la richiesta di dati. Ad esempio, il Verifier del sito di Google, lanciato su richiesta dell'utente. Questi robot ignorano le regole robot.txt.

Esempio: ***-***-***-***. Gae.googleusercontent.com o google-proxy-***-***-***-***. Google.com.

Metodi di test di GoogleBot sul tuo sito Web di Google

Esistono due modi per verificare se il robot web di GoogleBot è:

Metodo manuale: Per controlli singoli, utilizzare gli strumenti di comando. Questo metodo è adatto alla maggior parte dei casi.
Modo automatico: Per le ispezioni di massa, utilizzare una soluzione automatica per confrontare l'indirizzo IP del robot con le bande IP pubblicate Googlebot.

Utilizzo di strumenti di comando per controllare GoogleBot sul tuo sito Web di Google

Esegui la richiesta DNS inversa all'indirizzo IP indirizzando il server utilizzando il comando host.
Assicurati che il nome di dominio corrisponda a uno dei seguenti: Googlebot.com, Google.com o GoogleUserContent.com.
Eseguire la richiesta DNS dritta sul nome di dominio ottenuto nel passaggio precedente usando il comando host.
Assicurati che il nome di dominio corrisponda all'indirizzo IP originale, che è stato registrato nei tuoi registri.

Esempio 1:

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Esempio 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Esempio 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Utilizzo di soluzioni automatiche per controllare GoogleBot sul tuo sito Web di Google

Puoi anche identificare GoogleBot per indirizzo IP confrontandolo con gli indirizzi IP pubblicati per Googlebot e altri robot di Google:

Robot ordinari come Googlebot
Robot speciali come Adsbot
Richieste attivate dall'utente (utenti)
Richieste attivate dall'utente (Google)

Per altri indirizzi IP di Google, da cui è possibile effettuare l'accesso al tuo sito (ad esempio, per le applicazioni), confrontare l'indirizzo IP con l'elenco generale degli indirizzi IP di Google. Si prega di notare che l'indirizzo IP nei file JSON è presentato in formato CIDR.

Se hai domande o assistenza, puoi contattare la società SEO "SEO.COMPUTER" tramite e -mail info@seo.computer O whatsapp +79202044461.

ID 41