Laisser une demande
Googlebot est un nom commun pour deux types de robots Web utilisés dans la recherche Google:
Vous pouvez déterminer le sous-type Googlebot en consultant le cap HTTP de l'USR-Agent. Cependant, les deux types de robots sont subordonnés au même jeton de produit (jeton d'agent utilisateur) dans robots.txt, vous ne pouvez donc pas choisir l'un d'entre eux (smartphone Googlebot ou bureau GoogleBot) à l'aide de robots.txt.
Pour la plupart des sites, Google Recherche index la version mobile du contenu. Par conséquent, la plupart des demandes de Googlebot seront faites à l'aide d'un robot mobile et de la minorité - à l'aide d'un robot de bureau.
Pour la plupart des sites Googlebot, votre site ne doit pas visiter votre site plus d'une fois toutes les quelques secondes en moyenne. Cependant, en raison de retards, on peut s'attendre à ce que cet indicateur soit légèrement plus élevé dans des intervalles de temps courts. Si votre site n'a pas le temps de faire face aux demandes de Googlebot, vous pouvez réduire la vitesse de contournement informatique.
Googlebot peut scanner les 15 premiers MB -files ou le fichier texte pris en charge. Chaque ressource qui fait référence, telle que CSS ou JavaScript, est chargée séparément, et chaque demande est limitée par la même limite de taille du fichier. Après les 15 premiers Mo, le fichier arrête la numérisation et seuls ces 15 Mo du fichier sont transmis pour l'indexation. La limite de taille est appliquée aux données incompressées. D'autres robots Google, tels que Googlebot Video et GoogleBot Image, peuvent avoir d'autres restrictions.
Lorsque vous voyagez à partir des adresses IP aux États-Unis, le fuseau horaire Googlebot est une période du Pacifique.
D'autres caractéristiques techniques de Googlebot sont décrites dans la revue Google Robot.
Googlebot trouve de nouvelles URL pour un détour principalement via des liens intégrés dans les pages déjà visitées. Il est presque impossible de masquer le site sans publier des liens vers lui. Par exemple, dès que quelqu'un traverse le lien de votre site «secret» à un autre site, l'URL de votre site «secret» peut apparaître dans la balise de référence et sera conservé et publié par un autre site dans ses journaux.
Si vous souhaitez empêcher Googlebot contourner sur votre site, vous avez plusieurs options. N'oubliez pas qu'il y a une différence entre le contournement et l'indexation: le blocage de Googlebot en faisant le tour de la page n'empêchera pas que l'URL de cette page apparaisse dans les résultats de la recherche:
Googlebot Blocking affecte la recherche Google (y compris Discover et toutes les fonctions de recherche Google), ainsi que d'autres produits tels que Google Images, Google Video et Google News.
Avant de décider de bloquer Googlebot, il est important de comprendre que la tête HTTP USR-Agent utilisée par Googlebot est souvent truquée par d'autres robots. Par conséquent, il est important de vérifier que la demande provient vraiment de Google. La meilleure façon de confirmer que la demande provient de Googlebot est d'exécuter une publication DNS inversée sur l'adresse IP initiale de la demande ou de surveiller l'adresse IP avec les adresses IP Googlebot.
Si vous avez des questions sur le référencement ou que vous avez besoin d'une consultation, vous pouvez contacter notre compagnon de référencement par e-mail info@seo.computer ou WhatsApp: +79202044461.
ID 59
