Como confirmar que o GoogleBot e outros robôs de pesquisa do Google realmente vão para o seu site através do Google

Você pode verificar se o robô da web que se volta para o seu servidor é um verdadeiro GoogleBot. Isso é útil se você estiver preocupado com o fato de os spammers ou outros atacantes acessarem seu site, fingindo ser o Googlebot.

Os robôs do Google são divididos em três categorias:

Google Robots, verifique no site do seu Google

Descrição dos robôs do Google que podem visitar seu site, bem como suas bandas IP correspondentes:

Robôs comuns do Google no site do Google

Estes são robôs usados para produtos do Google, como o GoogleBot. Esses robôs sempre seguem as regras robots.txt para desvios automáticos.

Exemplos de domínios: rastrear-***-***-***-***. Googlebot.com ou geo-crawl-***-***-***-***. Geo.googlebot.com

Exemplo JSON File: Googlebot.json

Robôs especiais do Google no seu site do Google

Esses robôs desempenham funções específicas para produtos do Google (por exemplo, ADSBOT) quando há um acordo entre o site e o produto no processo de desvio. Esses robôs podem ou não seguir o robots.txt Regras.

Exemplo: Taxa-Proxy-***-***-***-***. Google.com, Special-Crawlers.json

Robôs ativados pelo usuário no seu site no Google

Essas ferramentas e produtos de produtos em que o usuário final ativa a solicitação de dados. Por exemplo, o Google Site Verifier, que é lançado a pedido do usuário. Esses robôs ignoram as regras robots.txt.

Exemplo: ***-***-***-***. Gae.googleusercontent.com ou google-proxy-***-***-***-***. Google.com.

Métodos de teste do Googlebot no site do seu Google

Existem duas maneiras de verificar se o robô da web do Googlebot é:

Método manual: Para verificações únicas, use ferramentas de comando. Este método é adequado para a maioria dos casos.
Maneira automática: Para inspeções em massa, use uma solução automática para comparar o endereço IP do robô com as bandas IP publicadas Googlebot.

Usando ferramentas de comando para verificar o Googlebot no site do seu Google

Execute a solicitação DNS reversa para o endereço IP que endereça seu servidor usando o comando host.
Verifique se o nome de domínio corresponde a um dos seguintes: GoogleBot.com, Google.com ou GoogleUserContent.com.
Execute a solicitação DNS direta com o nome de domínio obtido na etapa anterior usando o comando host.
Verifique se o nome de domínio corresponde ao endereço IP original, que foi gravado em seus logs.

Exemplo 1:

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Exemplo 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Exemplo 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Usando soluções automáticas para verificar o Googlebot no site do seu Google

Você também pode identificar o GoogleBot por endereço IP comparando -o com endereços IP publicados para o GoogleBot e outros robôs do Google:

Robôs comuns como o Googlebot
Robôs especiais como adsbot
Solicitações ativadas pelo usuário (usuários)
Solicitações ativadas pelo usuário (Google)

Para outros endereços IP do Google, a partir do qual o acesso ao seu site (por exemplo, para aplicativos) pode ser feito, compare o endereço IP com a lista geral de endereços IP do Google. Observe que o endereço IP nos arquivos JSON é apresentado no formato CIDR.

Se você tiver dúvidas ou ajuda, entre em contato com a empresa de SEO "Seo.computer" por e -mail info@seo.computer Ou whatsapp +79202044461.

ID 41