Deixe um pedido
O Google usa Kraler e Colets para executar várias ações para seus produtos, automaticamente e a pedido do usuário. Crowler (às vezes também chamado de "robô" ou "aranha") é um nome comum para um programa usado para detectar e digitalizar automaticamente sites. Os Thets atuam como um programa semelhante ao WGET e geralmente realizam uma única solicitação em nome do usuário. Os produtos do Google podem ser divididos em três categorias:
Kraler convencional usado para produtos do Google (por exemplo, Googlebot) sempre segue as regras robots.txt para digitalização automática.
O Special Kraler é semelhante aos comuns, mas são usados em produtos específicos, onde há um acordo entre o site digitalizado e o produto do Google sobre o processo de digitalização. Por exemplo, o ADSBOT ignora o Global Robots.txt User-Agent com a resolução do proprietário do site.
Os usuários fazem parte das funções do produto e do produto quando o usuário final inicia a solicitação. Por exemplo, o Google Site Verifier funciona a pedido do usuário.
O Google Craolers e os veteres são projetados para funcionar simultaneamente em milhares de máquinas, a fim de aumentar o desempenho e a escalabilidade à medida que a Internet cresce. Para otimizar o uso da largura de banda, esses clientes são distribuídos de acordo com muitos data centers em todo o mundo, para que estejam localizados mais próximos dos sites nos quais podem ser contatados. Portanto, as visitas de vários endereços IP podem ser indicadas em seus logs. A saída do Google ocorre principalmente com endereços IP nos Estados Unidos. Se o Google descobrir que o site bloqueia as solicitações dos Estados Unidos, ele poderá tentar examinar os endereços IP localizados em outros países.
O Google Craolers e Veters suportam HTTP/1.1 e HTTP/2. Os craolers usarão a versão do protocolo, que fornece o melhor desempenho de varredura, e pode alternar entre protocolos, dependendo das estatísticas das sessões anteriores de varredura. Por padrão, o Google Kraler usa o protocolo HTTP/1.1. Digitalizar através do HTTP/2 pode economizar recursos de computação (por exemplo, CP, RAM) para o seu site e o Googlebot, mas, caso contrário, ele não fornece nenhuma vantagem específica para o site (por exemplo, isso não afeta a classificação na pesquisa do Google). Para recusar a digitalização por meio do HTTP/2, defina o servidor para que ele responda com o status 421 quando o Google tente acessar seu site através do HTTP/2. Se isso não for possível, você pode enviar uma mensagem para a equipe de digitalização (embora essa seja uma decisão temporária).
A infraestrutura do Google Croilers também suporta a digitalização por meio de FTP (conforme definido no RFC959 e suas atualizações) e FTPs (conforme definido no RFC4217 e suas atualizações), no entanto, a examinação de esses protocolos é rara.
O Google Craolers e os testadores suportam os seguintes métodos de compactação de conteúdo (codificação): GZIP, deflate e brotli (BR). A codificação de conteúdo suportada para cada agente do usuário do Google é indicado no cabeçalho de codificação de aceitação para cada solicitação que eles fazem. Por exemplo: aceitar-se-codificação: gzip, esvaziar, br.
Nosso objetivo é digitalizar o maior número possível de páginas do seu site em todas as visitas sem sobrecarregar o servidor. Se o seu site tiver dificuldade em atender às solicitações do Google, você poderá reduzir a velocidade de varredura. Observe que o envio do status HTTP errado ao Google Kraolers pode afetar como seu site será exibido nos produtos do Google.
A infraestrutura do Google Kraler suporta os shows de HTTP heurísticos, conforme determinado pelo padrão de cache HTTP, em particular através das manchetes ETAG e IF-NONE-MATH, bem como através dos títulos de linho de última e modificado.
NOTA: Recomenda-se definir os valores de ETAG e último modificado, independentemente das preferências do Google Cruls. Esses cabeçalhos também são usados por outros aplicativos, como o CMS.
Se os campos ETAG e o último modificado estiverem presentes nos títulos de retorno, o Google Kraler usará o valor ETAG, conforme exigir o padrão HTTP. Para o Google Croilers, recomendamos o uso do ETAG em vez de último modificado para indicar as preferências do cache, pois o ETAG não tem problemas com a formatação das datas.
Outras diretrizes do cache HTTP não são suportadas.
Crowlers e Veters do Google separados podem ou não usar o cache, dependendo das necessidades do produto com o qual estão associados. Por exemplo, o Googlebot suporta cache quando repetidos URLs de digitalização para pesquisa do Google, e o StoreBot-Google suporta cache apenas sob certas condições.
Para implementar a codificação HTTP para o seu site, entre em contato com seu provedor de hospedagem ou fornecedor do sistema de gerenciamento de conteúdo.
A infraestrutura do Google Craul suporta o ETAG e o IF-None, conforme determinado pelo padrão HTTP-Caching. Saiba mais sobre o cabeçalho ETAG e sua solicitação de correspondência se não.
A infraestrutura do Google Kraler suporta a última modificação e se modificou-se--como determinado, conforme determinado pelo padrão HTTP-Caching, com as seguintes reservas:
Saiba mais sobre o título de última hora e sua solicitação se modificada.
O Google Craules se identifica de três maneiras:
Descubra como usar esses dados para verificar o Google Cholera e Frinders.
Se você tiver dúvidas sobre SEO ou precisará de ajuda, entre em contato com nosso companheiro de SEO por e -mail info@seo.computer ou através do WhatsApp: +79202044461.
Id 61
