Cómo confirmar que Googlebot y otros robots de búsqueda de Google realmente van a su sitio a través de Google

Puede verificar si el robot web que recurre a su servidor es un verdadero Googlebot. Esto es útil si le preocupa que los spammers u otros atacantes puedan acceder a su sitio, fingiendo ser Googlebot.

Los robots de Google se dividen en tres categorías:

Robots de Google, consulte en su sitio web de Google

Descripción de Google Robots que pueden visitar su sitio, así como sus bandas IP correspondientes:

Robots de Google ordinarios en su sitio web de Google

Estos son robots utilizados para productos de Google, como GoogleBot. Estos robots siempre siguen reglas de robots.txt para derivaciones automáticas.

Ejemplos de dominios: Crawl-***-***-***-***. Googlebot.com o geo-crawl-***-***-***-***. Geo.googlebot.com

Ejemplo de archivo JSON: Googlebot.json

Robots especiales de Google en su sitio web de Google

Estos robots realizan funciones específicas para productos de Google (por ejemplo, ADSBOT) cuando hay un acuerdo entre el sitio web y el producto en el proceso de derivación. Estos robots pueden o no seguir reglas de robots.txt.

Ejemplo: Tarifa-Limited-Proxy-***-***-***-***. Google.com, especial-crawlers.json

Robots activados por el usuario en su sitio en Google

Estas herramientas y productos de productos donde el usuario final activa la solicitud de datos. Por ejemplo, el verificador del sitio de Google, que se inicia a solicitud del usuario. Estos robots ignoran las reglas de robots.txt.

Ejemplo: ***-***-***-***. Gae.googleuserContent.com o google-proxy-***-***-***-***. Google.com.

Métodos de prueba de Googlebot en su sitio web de Google

Hay dos formas de verificar si el robot web de Googlebot es:

Método manual: Para controles únicos, use herramientas de comando. Este método es adecuado para la mayoría de los casos.
Forma automática: Para inspecciones de masa, use una solución automática para comparar la dirección IP del robot con las bandas IP publicadas GoogleBot.

Uso de herramientas de comando para verificar GoogleBot en su sitio web de Google

Ejecute la solicitud DNS inversa a la dirección IP que dirige a su servidor utilizando el comando de host.
Asegúrese de que el nombre de dominio corresponda a uno de los siguientes: Googlebot.com, Google.com o GoogleuserContent.com.
Ejecute la solicitud DNS directa al nombre de dominio obtenido en el paso anterior usando el comando host.
Asegúrese de que el nombre de dominio corresponda a la dirección IP original, que se registró en sus registros.

Ejemplo 1:

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ejemplo 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Ejemplo 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Uso de soluciones automáticas para consultar GoogleBot en su sitio web de Google

También puede identificar la dirección de GoogleBot por IP comparándola con direcciones IP publicadas para GoogleBot y otros robots de Google:

Robots ordinarios como Googlebot
Robots especiales como Adsbot
Solicitudes activadas por el usuario (usuarios)
Solicitudes activadas por el usuario (Google)

Para otras direcciones IP de Google, desde las cuales se puede el acceso a su sitio (por ejemplo, para aplicaciones), compare la dirección IP con la lista general de direcciones IP de Google. Tenga en cuenta que la dirección IP en archivos JSON se presenta en formato CIDR.

Si tiene preguntas o ayuda, puede comunicarse con la compañía SEO "SEO.COMPUTER" por correo electrónico info@seo.computer O whatsapp +79202044461.

ID 41