Comment confirmer que Googlebot et d'autres robots de recherche Google vont en fait sur votre site via Google

Vous pouvez vérifier si le robot Web qui se tourne vers votre serveur est un vrai Googlebot. Ceci est utile si vous craignez que les spammeurs ou autres attaquants puissent accéder à votre site, en faisant semblant d'être Googlebot.

Les robots Google sont divisés en trois catégories:

Google Robots, consultez votre site Web Google

Description des robots Google qui peuvent visiter votre site, ainsi que leurs bandes IP correspondantes:

Robots Google ordinaires sur votre site Web Google

Ce sont des robots utilisés pour les produits Google, tels que Googlebot. Ces robots suivent toujours les règles de robots.txt pour les contournements automatiques.

Exemples de domaines: Crawl - *** - *** - *** - ***. Googlebot.com ou Geo-Crawl - *** - *** - *** - ***. Geo.googlebot.com

Exemple de fichier JSON: googlebot.json

Robots Google spéciaux sur votre site Web Google

Ces robots remplissent des fonctions spécifiques pour les produits Google (par exemple, ADSBOT) lorsqu'il existe un accord entre le site Web et le produit sur le processus de contournement. Ces robots peuvent ou ne peuvent pas suivre les règles de robots.txt.

Exemple: Rate-Limited-Proxy - *** - *** - *** - ***. Google.com, spécial-crawlers.json

Robots activés par l'utilisateur sur votre site sur google

Ces outils et produits de produits où l'utilisateur final active la demande de données. Par exemple, Google Site Verifier, qui est lancé à la demande de l'utilisateur. Ces robots ignorent les règles de robots.txt.

Exemple: ***-***-***-***. Gae.googleusercontent.com ou google-proxy - *** - *** - *** - ***. Google.com.

Méthodes de test Googlebot sur votre site Web Google

Il existe deux façons de vérifier si le robot Web Googlebot est:

Méthode manuelle: Pour des vérifications uniques, utilisez des outils de commande. Cette méthode convient à la plupart des cas.
Façon automatique: Pour les inspections de masse, utilisez une solution automatique pour comparer l'adresse IP du robot avec des bandes IP publiées Googlebot.

Utilisation d'outils de commande pour vérifier Googlebot sur votre site Web Google

Exécutez la demande DNS inverse vers l'adresse IP adressant votre serveur à l'aide de la commande hôte.
Assurez-vous que le nom de domaine correspond à l'un des éléments suivants: Googlebot.com, Google.com ou GoogleSerContent.com.
Exécutez le DNS-Request droit sur le nom de domaine obtenu à l'étape précédente à l'aide de la commande hôte.
Assurez-vous que le nom de domaine correspond à l'adresse IP d'origine, qui a été enregistrée dans vos journaux.

Exemple 1:

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Exemple 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Exemple 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Utilisation de solutions automatiques pour consulter Googlebot sur votre site Web Google

Vous pouvez également identifier Googlebot par adresse IP en la comparant avec des adresses IP publiées pour Googlebot et d'autres robots Google:

Robots ordinaires tels que googlebot
Robots spéciaux tels que ADSBOT
Demandes activées par l'utilisateur (utilisateurs)
Demandes activées par l'utilisateur (Google)

Pour d'autres adresses IP Google, à partir de laquelle l'accès à votre site (par exemple, pour les applications) peut être fait, comparez l'adresse IP avec la liste générale des adresses IP Google. Veuillez noter que l'adresse IP dans les fichiers JSON est présentée au format CIDR.

Si vous avez des questions ou de l'aide, vous pouvez contacter la société de référence info@seo.computer Ou WhatsApp +79202044461.

ID 41