dejar una solicitud
GoogleBot es un nombre común para dos tipos de robots web utilizados en la búsqueda de Google:
Puede determinar el subtipo de Googlebot mirando el encabezado HTTP del agente USR. Sin embargo, ambos tipos de robots están subordinados al mismo token de producto (token de agente de usuario) en Robots.txt, por lo que no puede elegir uno de ellos (GoogleBot Smartphone o GoogleBot Desktop) usando robots.txt.
Para la mayoría de los sitios, la búsqueda de Google en primer lugar indexa la versión móvil del contenido. Por lo tanto, la mayoría de las solicitudes de GoogleBot se realizarán utilizando un robot móvil y la minoría, utilizando un robot de escritorio.
Para la mayoría de los sitios de Googlebot, su sitio no debe visitar su sitio más de una vez cada pocos segundos en promedio. Sin embargo, debido a los retrasos, se puede esperar que este indicador sea ligeramente más alto en intervalos de tiempo cortos. Si su sitio no tiene tiempo para hacer frente a las solicitudes de GoogleBot, puede reducir la velocidad de omisión de TI.
GoogleBot puede escanear los primeros archivos de 15 MB o el archivo de texto compatible. Cada recurso que se refiere, como CSS o JavaScript, se carga por separado, y cada solicitud está limitada por el mismo límite en el tamaño del archivo. Después de los primeros 15 MB, el archivo deja de escanear, y solo estos 15 MB del archivo se transmiten para la indexación. El límite de tamaño se aplica a datos incomprimidos. Otros robots de Google, como GoogleBot Video y GoogleBot Image, pueden tener otras restricciones.
Cuando viaja desde las direcciones IP en los EE. UU., La zona horaria de Googlebot es un momento del Pacífico.
Otras características técnicas de GoogleBot se describen en la revisión de Google Robot.
Googlebot encuentra nuevas URL para un desvío principalmente a través de enlaces integrados en las páginas ya visitadas. Es casi imposible ocultar el sitio sin publicar enlaces a él. Por ejemplo, tan pronto como alguien cruza el enlace de su sitio "secreto" a otro sitio, la URL de su sitio "secreto" puede aparecer en la etiqueta de referencia y será preservada y publicada por otro sitio en sus registros.
Si desea evitar el bypass de Googlebot en su sitio, tiene varias opciones. Recuerde que hay una diferencia entre el bypass y la indexación: el bloqueo de Googlebot para ir a la página no evitará que la URL de esta página aparezca en los resultados de búsqueda:
El bloqueo de Googlebot afecta a Google Search (incluida Discover y todas las funciones de búsqueda de Google), así como otros productos como Google Images, Google Video y Google News.
Antes de decidir bloquear Googlebot, es importante comprender que la cabeza HTTP de agente USR utilizada por Googlebot a menudo es falsificada por otros robots. Por lo tanto, es importante verificar que la solicitud realmente viene de Google. La mejor manera de confirmar que la solicitud proviene de GoogleBot es ejecutar una publicación de DNS inversa en la dirección IP inicial de la solicitud o monitorear la dirección IP con las direcciones IP de GoogleBot.
Si tiene preguntas sobre SEO o necesita una consulta, puede comunicarse con nuestro compañero de SEO a través del correo electrónico info@seo.computer o whatsapp: +79202044461.
ID 59
