dejar una solicitud
Algunos robots de búsqueda no son utilizados por un sistema de indexación estándar, sino por productos individuales con los que los propietarios de su sitio pueden tener un acuerdo especial sobre los términos de escaneo. Por ejemplo, cierto robot puede evitar las directivas globales robots.txt, indicado para todos los agentes (*), si hay permiso.
Tales robots especializados funcionan con otras bandas IP que los motores de búsqueda ordinarios. Los rangos reales se enumeran en un archivo JSON de propósito especial. Sus registros de DNS inverso tienen un tipo de tipo rate-limited-proxy-***-***-***-***.google.com.
La lista de dichos agentes se proporciona a continuación, sus líneas de agente de usuario, los valores utilizados para robots.txt Y una descripción de la influencia de su configuración en el trabajo de los servicios. La lista no es exhaustiva, pero incluye aquellos robots que aparecen con mayor frecuencia en los registros y plantean preguntas entre los propietarios del sitio.
Agente de usuario: Apis-hooogle
Registro en robots.txt:user-agent: APIs-Google
Ignora las reglas globales *.
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Utilizado por API Services para controlar la entrega de mensajes de empuje a su sitio.
Agente de usuario: Adsbot-google-mobile
Registro en robots.txt:user-agent: AdsBot-Google-Mobile
También ignora las reglas globales.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Se utiliza para analizar la calidad de la publicidad en versiones móviles de las páginas de su sitio.
Agente de usuario: Adsbot-google
Registro en robots.txt:user-agent: AdsBot-Google
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
El robot verifica la efectividad y el cumplimiento de la publicidad en las páginas del sitio.
Agente de usuario: MediaPartners-Google
Registro en robots.txt:user-agent: Mediapartners-Google
Volviendo a la directiva *.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Visite su sitio para seleccionar publicidad relevante y su colocación en las páginas.
Agente de usuario: Seguridad en Google
Robots.txt: Es completamente ignorado
El robot sirve para identificar enlaces y abusos maliciosos en las páginas del sitio. No obedece robots.txtya que funciona exclusivamente por razones de seguridad.
A continuación se presentan agentes que ya no se usan, pero antes de que puedan estar presentes en los registros o el comportamiento de escaneo de influencia.
Agente de usuario: Adsbot-Google-Mobile (anticuado)
Robots.txt: Ignoré las reglas globales
Se utilizó para evaluar la calidad de la publicidad en las páginas abiertas desde dispositivos móviles.
Agente de usuario: Dúplexweb-google
Robots.txt: Podría ignorar la directiva *
Fue utilizado por servicios automatizados para interactuar con el contenido de las páginas del sitio.
Agente de usuario: Google Favicon
Robots.txt: Tokens estándar usados Googlebot-Image Y Googlebot
Fue responsable de la pantalla y elección del icono del sitio en las interfaces de búsqueda.
Agente de usuario: Adsbot-google-mobile-apps
Robots.txt: Siguió las reglas de Adsbot-Google, ignorando *
Analizó las páginas de las aplicaciones de Android para evaluar su cumplimiento de los requisitos publicitarios.
Agente de usuario: Google Wallight
Robots.txt: Ignoré las reglas, ya que estaba activo solo para una solicitud de usuario
Este agente proporcionó una versión simplificada de las páginas del sitio durante una conexión lenta, verificando la presencia de un encabezado no-transform.
Para todos los problemas de configuración de robots.txt, gestión de escáneres, así como por SEO-optimización, puede contactar SEO Company SEO.CUTER:info@seo.computer WhatsApp: +7 920 204-44-61
ID: 86
