Deixe um pedido
Os robôs de pesquisa especiais são usados por serviços separados, enquanto acordos especiais são estabelecidos entre o site e o serviço nas condições de digitalização. Por exemplo, um robô separado pode ignorar a regra geral no robots.txt para todos os agentes (*) se houver consentimento do proprietário do site.
Esses robôs funcionam de acordo com outras bandas IP que os mecanismos de pesquisa padrão. A lista desses endereços IP é colocada em um arquivo JSON especial. A gravação de DNS reversa desses IPs pode corresponder ao proxi com taxa limitada-***. ***. ***. ***. Google.com.
Abaixo está uma lista de robôs especiais usados por diferentes serviços, suas linhas agentes de usuário em verificações HTTP, designações para robots.txt, bem como uma descrição da influência de suas configurações no comportamento de indexação. A lista não está completa, mas contém os agentes mais comuns nos logs do site.
Agente de usuário em verificações HTTP: Apis-hooogle
Token de agente do usuário em robots.txt: Apis-hooogle
Regras gerais indicadas através *, não são levados em consideração por este robô.
Um exemplo de configurações em robots.txt:
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
As configurações para esse agente de usuário afetam a entrega de notificações por push através da API.
Agente de usuário em verificações HTTP: Adsbot-Google-Mobile
Token de agente do usuário em robots.txt: Adsbot-Google-Mobile
Diretivas gerais são ignoradas.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Este agente verifica a qualidade da publicidade nas páginas do seu site usadas em produtos de publicidade.
Agente de usuário em verificações HTTP: Adsbot-Google
Token de agente do usuário em robots.txt: Adsbot-Google
O agente do usuário geral é ignorado.
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Usado para avaliar a qualidade do conteúdo de publicidade nas páginas do site.
Agente de usuário em verificações HTTP: MediaPartners-Google
Token de agente do usuário em robots.txt: MediaPartners-Google
Ignora as diretivas gerais em robots.txt.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Usado para digitalizar o site para mostrar publicidade relevante.
Agente de usuário em verificações HTTP: Google-segurança
Token de agente do usuário em robots.txt: Não aplicado - ignora as regras.
É usado para detectar links maliciosos e outras atividades suspeitas nas páginas do site. Este agente não obedece às configurações do robots.txt, pois serve para proteger os usuários.
Os seguintes agentes listados foram usados anteriormente, mas atualmente não estão mais ativos. As informações são fornecidas para referência.
Agente de usuário: Adsbot-Google-Mobile
Token de agente de usuário: Adsbot-Google-Mobile
Foi usado para avaliar a qualidade da publicidade em dispositivos móveis, por exemplo, smartphones.
Agente de usuário: Duplexweb-Google
Token de agente de usuário: Duplexweb-Google
Esse agente pode ignorar as regras gerais, usadas em serviços interativos.
Agente de usuário: Google Favicon
Token de agente de usuário: GoogleBot-Image, GoogleBot
Ele foi responsável pela coleção e exibição do site Faviko em várias interfaces.
Agente de usuário: Adsbot-Google-Mobile-Apps
Token de agente de usuário: Adsbot-Google-Mobile-Apps
Realizou páginas de digitalização de aplicativos do Android para avaliar sua qualidade e conformidade com a publicidade.
Agente de usuário: Googleweblight
Token de agente de usuário: Googleweblight
Foi usado apenas na transição de um usuário real por meio de um modo de pesquisa especial. Eu ignorei o robots.txt, pois não era considerado um scanner automático.
Esse agente verificou a disponibilidade do cabeçalho sem transformação nas páginas do site para otimizar sua tela durante a conexão lenta.
Se você precisar esclarecer as regras para configurar robots.txt, robôs especiais ou qualquer outra pergunta de SEO, entre em contato SEO.computer Por e -mail: info@seo.computer ou whatsapp: +7 920 204-44-61
ID: 86
