Lascia una richiesta
Googlebot è un nome comune per due tipi di robot web utilizzati nella ricerca di Google:
Puoi determinare il sottotipo di GoogleBot guardando la voce HTTP dell'agente USR. Tuttavia, entrambi i tipi di robot sono subordinati allo stesso token del prodotto (token dell'agente utente) in robot.txt, quindi non puoi sceglierne uno (smartphone GoogleBot o Desktop GoogleBot) utilizzando Robots.txt.
Per la maggior parte dei siti, Google cerca prima di tutto indicizza la versione mobile del contenuto. Pertanto, la maggior parte delle richieste di GoogleBot verrà effettuata utilizzando un robot mobile e la minoranza, utilizzando un robot desktop.
Per la maggior parte dei siti di GoogleBot, il tuo sito non dovrebbe visitare il tuo sito più di una volta ogni pochi secondi in media. Tuttavia, a causa di ritardi, ci si può aspettare che questo indicatore sarà leggermente più alto in brevi intervalli di tempo. Se il tuo sito non ha il tempo di far fronte alle richieste di GoogleBot, è possibile ridurre la velocità di bypass.
GoogleBot può scansionare i primi 15 Mb -file o file di testo supportato. Ogni risorsa a cui si riferisce, come CSS o JavaScript, viene caricata separatamente e ogni richiesta è limitata dallo stesso limite di dimensioni del file. Dopo i primi 15 MB, il file interrompe la scansione e solo questi 15 MB del file vengono trasmessi per l'indicizzazione. Il limite di dimensioni viene applicato a dati incompleti. Altri robot di Google, come GoogleBot Video e GoogleBot Image, potrebbero avere altre restrizioni.
Quando si viaggia dagli indirizzi IP negli Stati Uniti, il fuso orario di GoogleBot è un momento del Pacifico.
Altre caratteristiche tecniche di Googlebot sono descritte nella revisione di Google Robot.
Googlebot trova nuovi URL per una deviazione principalmente tramite link integrati nelle pagine già visitate. È quasi impossibile nascondere il sito senza pubblicare collegamenti ad esso. Ad esempio, non appena qualcuno attraversa il collegamento dal tuo sito "segreto" a un altro sito, l'URL del tuo sito "segreto" può apparire nel tag referente e sarà preservato e pubblicato da un altro sito nei suoi registri.
Se vuoi prevenire il bypass di GoogleBot sul tuo sito, hai diverse opzioni. Ricorda che esiste una differenza tra il bypass e l'indicizzazione: il blocco di Googlebot dall'andare intorno alla pagina non impedirà all'URL di questa pagina di apparire nei risultati di ricerca:
Il blocco di GoogleBot influisce sulla ricerca di Google (inclusi Discover e tutte le funzioni di ricerca di Google), nonché altri prodotti come Google Images, Google Video e Google News.
Prima di decidere di bloccare GoogleBot, è importante capire che l'agente USR-HTTP-Head utilizzato da Googlebot è spesso falsificato da altri robot. Pertanto, è importante verificare che la richiesta provenga davvero da Google. Il modo migliore per confermare che la richiesta provenga da GoogleBot è eseguire un post DNS inverso sull'indirizzo IP iniziale della richiesta o di monitorare l'indirizzo IP con gli indirizzi IP di GoogleBot.
Se hai domande su SEO o hai bisogno di una consulenza, puoi contattare il nostro compagno SEO tramite e -mail info@seo.computer o whatsapp: +79202044461.
Id 59
