dejar una solicitud
Los coreleros generales del sitio se utilizan para buscar información y crear motores de búsqueda de Google. También se utilizan para tareas específicas de productos y analistas. Estos rastreadores siempre siguen reglas de robots.txt con bypass automático. Las características técnicas de los principales kralers del sitio se aplican al general Kraler.
Como regla general, los chulets generales del sitio funcionan con las direcciones IP enumeradas en la instalación especial de Googlebot.json, y las verificaciones de DNS inversas a sus Hostemams corresponden a Crawl-***-***-***-***. Googlebot.com o ***-***-***. Geo-Crawl-***-***-***-***. Geo.googlebot.com.
La lista muestra las cabañas generales del sitio, sus líneas de agente de usuario en las verificaciones HTTP, correspondientes a tokens de agente de usuario para robots.txt, así como productos que están influenciados por la configuración de civilización para cada kraler. Algunos Kralers tienen varios tokens de agentes de usuario, es suficiente para comparar una de ellas para aplicar las reglas. La lista no es exhaustiva, solo incluye las solicitudes más comunes y aquellas sobre las cuales surgieron preguntas.
ATENCIÓN: La línea de agente de usuario en la solicitud HTTP se puede falsificar. Se recomienda verificar si el visitante es realmente un cantante del sitio del motor de búsqueda de Google.
Las líneas de agente de usuario en las verificaciones HTTP para GoogleBot tienen dos tipos principales para teléfonos inteligentes y para dispositivos de escritorio. Ejemplo para teléfonos inteligentes: Mozilla/5.0 (Linux; Android) AppleWebkit/... Chrome/... Mobile Safari/... (Compatible; GoogleBot/2.1; ...). Para dispositivos de escritorio - Mozilla/5.0 AppleWebkit/... (Compatible; GoogleBot/2.1; ...).
Con menos frecuencia, hay opciones como Mozilla/5.0 (compatible; Googlebot/2.1; ...) o simplemente Googlebot/2.1 (...).
Robots.txt utiliza GoogleBot Token para administrar este rastreador del sitio.
La configuración de GoogleBot afecta a los productos de búsqueda de Google, incluidos la búsqueda, descubrimiento, búsqueda de imágenes y noticias, video y noticias.
Línea de usuario-agente: GoogleBot-Image/1.0.
Token en robots.txt: Googlebot-Image.
La gestión de cruzar por este kraler del sitio se refleja en la búsqueda de imágenes, descubrimiento, contenido de video y visualización de logotipos y favicones en los resultados de la búsqueda de Google.
El agente de usuario de cadena: GoogleBot-Video/1.0.
Token en robots.txt: Googlebot-Video.
Esta crauls del sitio afecta las funciones de la búsqueda de videos y productos relacionados con el contenido de video.
Este rastreador del sitio no utiliza un agente de usuario HTTP separado. El crutado del contenido de noticias se realiza utilizando diferentes líneas de agente de usuario de Googlebot.
Token en robots.txt: Googlebot-News.
La configuración de enrollamiento afecta los servicios de Google News, incluidas las noticias y las aplicaciones móviles.
Las líneas de agente de usuario son para dispositivos de escritorio y móviles que indican Storebot-Google.
Token en Robots.txt: Storebot- Google.
Este sitio se utiliza para recopilar datos para productos comerciales, como la sección de compras en la búsqueda de Google.
Las líneas USR-Agent para dispositivos de escritorio y móviles contienen Google-InfectionTool.
Token en Robots.txt: Google-InspectionTool.
Este sitio se utiliza para probar los resultados de búsqueda y no afecta los resultados generales de la búsqueda de Google.
Líneas de usuario-agente: Mozilla/... (compatible; Googleometer) para dispositivos móviles y de escritorio.
Token en Robots.txt: Googleother.
Este sitio se utiliza para varias tareas individuales o internas, sin afectar los resultados de la búsqueda de Google.
Línea de agente de usuario: Googleometer-Image/1.0.
Token en robots.txt: Googleometer-Image.
Crowler del sitio está optimizado para recopilar imágenes sin afectar productos específicos de Google.
Línea de agente de usuario: Googleometer-Video/1.0.
Token en robots.txt: Googleometer-Video.
Se utiliza para recopilar archivos de video sin afectar los resultados de búsqueda.
La línea de agente de usuario contiene Google CloudvertexBot.
Token en robots.txt: Google- Cloudvertexbot.
Se utiliza para el kraling relacionado con la construcción de agentes AI y no afecta los resultados de búsqueda de Google.
No tiene un agente de usuario HTTP String separado. Token en robots.txt: Google- extendido.
Permite a los propietarios del sitio controlar el uso de contenido para capacitar a los modelos de IA sin afectar la clasificación en la búsqueda de Google.
La designación Chrome/W.X.Y.Z en las líneas de agente de usuario es una plantilla que indica la versión del navegador Chrome utilizado por los crauls del sitio. El número de versión se actualiza con el tiempo.
Al buscar o filtrar por el agente de usuario en registros, se recomienda utilizar señales de sustitución para la versión en lugar de un número preciso.
Para cualquier pregunta, puede comunicarse con SEO SEO.CuPUTER por correo electrónico info@seo.computer O a través de whatsapp +79202044461.
ID 141
