dejar una solicitud
Google usa Kraler y chalecos para realizar varias acciones para sus productos, tanto automáticamente como a solicitud del usuario. Crowler (a veces también llamado "robot" o "araña") es un nombre común para un programa que se utiliza para detectar y escanear automáticamente los sitios web. Los thets actúan como un programa similar a WGET, y generalmente realiza una sola solicitud en nombre del usuario. Los productos de Google se pueden dividir en tres categorías:
Kraler convencional utilizado para productos de Google (por ejemplo, Googlebot) siempre siga las reglas de robots.txt para escaneo automático.
Kraler especial es similar a los comunes, pero se utilizan en productos específicos donde existe un acuerdo entre el sitio escaneado y el producto de Google con respecto al proceso de escaneo. Por ejemplo, ADSBOT ignora los robots globales.txt agente de usuario con la resolución del propietario del sitio.
Los usuarios son parte de las funciones de producto y producto cuando el usuario final inicia la solicitud. Por ejemplo, el verificador del sitio de Google funciona a solicitud del usuario.
Google Craolers y Veters están diseñados para funcionar simultáneamente en miles de máquinas para aumentar el rendimiento y la escalabilidad a medida que Internet crece. Para optimizar el uso del ancho de banda, estos clientes se distribuyen de acuerdo con muchos centros de datos en todo el mundo, por lo que se encuentran más cerca de los sitios a los que pueden ser contactados. Por lo tanto, las visitas de varias direcciones IP se pueden indicar en sus registros. Google Egress se lleva a cabo principalmente con direcciones IP en los Estados Unidos. Si Google encuentra que el sitio bloquea las solicitudes de los Estados Unidos, puede intentar escanear desde direcciones IP ubicadas en otros países.
Google Craolers and Veters admite HTTP/1.1 y HTTP/2. Craolers utilizará la versión del protocolo, que proporciona el mejor rendimiento de escaneo, y pueden cambiar entre protocolos dependiendo de las estadísticas de las sesiones de escaneo anteriores. Por defecto, Google Kraler usa el protocolo HTTP/1.1. Escanear a través de HTTP/2 puede guardar recursos informáticos (por ejemplo, CP, RAM) tanto para su sitio como para GoogleBot, pero de lo contrario no ofrece ventajas específicas para el sitio (por ejemplo, esto no afecta la calificación en la búsqueda de Google). Para rechazar escaneo a través de HTTP/2, configure el servidor para que responda con el estado 421 cuando Google intente acceder a su sitio a través de HTTP/2. Si esto no es posible, puede enviar un mensaje al equipo de escaneo (aunque esta es una decisión temporal).
La infraestructura de Google Croilers también admite escaneo a través de FTP (como se define en RFC959 y sus actualizaciones) y FTP (como se define en RFC4217 y sus actualizaciones), sin embargo, escanear a través de estos protocolos es raro.
Google Craolers y los probadores admiten los siguientes métodos de compresión del contenido (codificación): GZIP, Deflate y Brotli (BR). La codificación de contenido compatible para cada agente de usuario de Google se indica en el encabezado de codificación de aceptación para cada solicitud que realicen. Por ejemplo: Aceptar-Ending: GZIP, Desinflar, Br.
Nuestro objetivo es escanear tantas páginas de su sitio como sea posible en cada visita sin sobrecargar el servidor. Si su sitio tiene dificultades para servir solicitudes de Google, puede reducir la velocidad de escaneo. Tenga en cuenta que enviar el estado HTTP incorrecto a Google Kraolers puede afectar cómo se mostrará su sitio en los productos de Google.
La infraestructura de Google Kraler admite los espectáculos HTTP heurísticos, según lo determinado por el estándar de caché HTTP, en particular a través de los titulares ETAG e IF-None-Match, así como a través de los últimos encabezados de ropa de cama modificados e si no modificados.
Nota: Se recomienda establecer los valores de ETAG y el último modificado, independientemente de las preferencias de Google Cruls. Estos encabezados también son utilizados por otras aplicaciones como CMS.
Si tanto los campos ETAG como los últimos modificados están presentes en los encabezados de retorno, Google Kraler usa el valor ETAG, como lo requiere el estándar HTTP. Para Google Croilers, recomendamos usar ETAG en lugar de los últimos modificados para indicar las preferencias del almacenamiento en caché, ya que ETAG no tiene problemas con el formateo de fechas.
Otras directivas del almacenamiento en caché HTTP no son compatibles.
Crowlers separados y los veteros de Google pueden o no usar el almacenamiento en caché dependiendo de las necesidades del producto con el que están asociados. Por ejemplo, GoogleBot admite almacenamiento en caché cuando las URL de escaneo repetidas para la búsqueda de Google, y StoreBot-Google admite almacenamiento en caché solo bajo ciertas condiciones.
Para implementar la codificación HTTP para su sitio, comuníquese con su proveedor de alojamiento o proveedor del sistema de administración de contenido.
La infraestructura de Google Craul admite ETAG e IF-None-Match, según lo determinado por el estándar de caché HTTP. Obtenga más información sobre el encabezado ETAG y su solicitud IF-None-Match.
La infraestructura de Google Kraler admite la última modificada e si modificada, según lo determine el estándar de caché HTTP, con las siguientes reservas:
Obtenga más información sobre el último encabezado modificado y su solicitud si modifica en el síndrome.
Google Craules se identifican de tres maneras:
Descubra cómo usar estos datos para verificar el cólera de Google y los frinces.
Si tiene preguntas sobre SEO o necesitará ayuda, comuníquese con nuestro SEO Companion por correo electrónico info@seo.computer o a través de whatsapp: +79202044461.
ID 61
