dejar una solicitud
Los robots de búsqueda especiales son utilizados por servicios separados, mientras que se establecen acuerdos especiales entre el sitio y el servicio en condiciones de escaneo. Por ejemplo, un robot separado puede ignorar la regla general en robots.txt para todos los agentes (*) si hay consentimiento del propietario del sitio.
Dichos robots funcionan según otras bandas IP que los motores de búsqueda estándar. La lista de estas direcciones IP se coloca en un archivo JSON especial. El registro de DNS inverso de estos IP puede corresponder al proxy de velocidad limitada-***. ***. ***. ***. Google.com.
A continuación se muestra una lista de robots especiales utilizados por diferentes servicios, sus líneas de agente de usuario en verificaciones HTTP, designaciones para robots.txt, así como una descripción de la influencia de su configuración en el comportamiento de indexación. La lista no está completa, pero contiene los agentes más comunes en los registros del sitio web.
Agente de usuario en cheques HTTP: Apis-hooogle
Token de agente de usuario en robots.txt: Apis-hooogle
Reglas generales indicadas a través de *, no se tienen en cuenta por este robot.
Un ejemplo de configuración en robots.txt:
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
La configuración para este agente de usuario afecta la entrega de notificaciones push a través de la API.
Agente de usuario en cheques HTTP: Adsbot-google-mobile
Token de agente de usuario en robots.txt: Adsbot-google-mobile
Se ignoran las directivas generales.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Este agente verifica la calidad de la publicidad en las páginas de su sitio utilizada en productos publicitarios.
Agente de usuario en cheques HTTP: Adsbot-google
Token de agente de usuario en robots.txt: Adsbot-google
Se ignora el agente de usuario general.
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Utilizado para evaluar la calidad del contenido publicitario en las páginas del sitio.
Agente de usuario en cheques HTTP: MediaPartners-Google
Token de agente de usuario en robots.txt: MediaPartners-Google
Ignora las directivas generales en robots.txt.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Se utiliza para escanear el sitio para mostrar publicidad relevante.
Agente de usuario en cheques HTTP: Seguridad en Google
Token de agente de usuario en robots.txt: No aplicado: ignora las reglas.
Se utiliza para detectar enlaces maliciosos y otras actividades sospechosas en las páginas del sitio. Este agente no obedece la configuración de robots.txt, ya que sirve para proteger a los usuarios.
Los siguientes son agentes enumerados que se usaron anteriormente, pero que actualmente ya no están activos. La información se proporciona como referencia.
Agente de usuario: Adsbot-google-mobile
Token de agente de usuario: Adsbot-google-mobile
Se utilizó para evaluar la calidad de la publicidad en dispositivos móviles, por ejemplo, teléfonos inteligentes.
Agente de usuario: Dúplexweb-google
Token de agente de usuario: Dúplexweb-google
Este agente podría ignorar las reglas generales, utilizadas en servicios interactivos.
Agente de usuario: Google Favicon
Token de agente de usuario: Googlebot-Image, Googlebot
Fue responsable de la colección y la visualización del sitio de Faviko en varias interfaces.
Agente de usuario: Adsbot-google-mobile-apps
Token de agente de usuario: Adsbot-google-mobile-apps
Realizó páginas de escaneo de aplicaciones de Android para evaluar su calidad y cumplimiento de la publicidad.
Agente de usuario: Google Wallight
Token de agente de usuario: Google Wallight
Se usó solo en la transición de un usuario real a través de un modo de búsqueda especial. Ignoré robots.txt, ya que no se consideró un escáner automático.
Este agente verificó la disponibilidad del encabezado sin transformación en las páginas del sitio para optimizar su pantalla durante la conexión lenta.
Si necesita aclarar las reglas para configurar robots.txt, robots especiales o cualquier otra pregunta de SEO, comuníquese con SEO.COMPER Por correo electrónico: info@seo.computer o whatsapp: +7 920 204-44-61
ID: 86
