Deixe um pedido
Alguns robôs de pesquisa não são usados por um sistema de indexação padrão, mas por produtos individuais com os quais os proprietários do seu site podem ter um contrato especial sobre os termos de digitalização. Por exemplo, um certo robô pode ignorar as diretrizes globais robots.txt, indicado para todos os agentes (*), se houver permissão.
Tais robôs especializados trabalham com outras bandas IP além dos mecanismos de pesquisa comuns. Os intervalos reais estão listados em um arquivo JSON de finalidade especial. Seus registros de DNS reversos têm um tipo de tipo rate-limited-proxy-***-***-***-***.google.com.
A lista de tais agentes é dada abaixo, suas linhas agentes do usuário, os valores usados para robots.txt E uma descrição da influência de suas configurações no trabalho dos serviços. A lista não é exaustiva, mas inclui os robôs que geralmente aparecem nos toras e levantam questões entre os proprietários do site.
Agente de usuário: Apis-hooogle
Registro em robots.txt:user-agent: APIs-Google
Ignora regras globais *.
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Usado pelos Serviços da API para controlar a entrega de mensagens push no seu site.
Agente de usuário: Adsbot-Google-Mobile
Registro em robots.txt:user-agent: AdsBot-Google-Mobile
Também ignora as regras globais.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
É usado para analisar a qualidade da publicidade nas versões móveis das páginas do seu site.
Agente de usuário: Adsbot-Google
Registro em robots.txt:user-agent: AdsBot-Google
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
O robô verifica a eficácia e a conformidade da publicidade nas páginas do site.
Agente de usuário: MediaPartners-Google
Registro em robots.txt:user-agent: Mediapartners-Google
Andando pela diretiva *.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Visite seu site para selecionar publicidade relevante e sua colocação nas páginas.
Agente de usuário: Google-segurança
Robots.txt: Está completamente ignorado
O robô serve para identificar links e abusos maliciosos nas páginas do site. Não obedece robots.txtcomo funciona exclusivamente por razões de segurança.
Abaixo estão agentes que não são mais usados, mas antes que possam estar presentes em toras ou influenciar o comportamento de varredura.
Agente de usuário: Adsbot-Google-Mobile (desatualizado)
Robots.txt: Eu ignorei as regras globais
Foi usado para avaliar a qualidade da publicidade nas páginas abertas a partir de dispositivos móveis.
Agente de usuário: Duplexweb-Google
Robots.txt: Poderia ignorar a diretiva *
Foi usado por serviços automatizados para interagir com o conteúdo das páginas do site.
Agente de usuário: Google Favicon
Robots.txt: Usados tokens padrão Googlebot-Image E Googlebot
Ele foi responsável pela exibição e escolha do ícone do site em interfaces de pesquisa.
Agente de usuário: Adsbot-Google-Mobile-Apps
Robots.txt: Seguiu as regras do adsbot-Google, ignorando *
Analisou as páginas dos aplicativos do Android para avaliar sua conformidade com os requisitos de publicidade.
Agente de usuário: Googleweblight
Robots.txt: Eu ignorei as regras, pois estava ativo apenas para uma solicitação de usuário
Este agente forneceu uma versão simplificada das páginas do site durante uma conexão lenta, verificando a presença de um cabeçalho no-transform.
Para todos os problemas de definir robots.txt, gerenciamento de scanners, bem como por otimização de SEO, você pode entrar em contato Seo Company Seo.computer:info@seo.computer WhatsApp: +7 920 204-44-61
ID: 86
