Como criar e enviar um arquivo robots.txt para o google para o seu site

Se você usar o serviço de hospedagem para o seu site, por exemplo, Wix ou Blogger, talvez você não precise editar o arquivo robots.txt diretamente. Em vez disso, seu provedor pode fornecer uma página de configurações de pesquisa ou outros mecanismos para indicar mecanismos de pesquisa, quais páginas do site podem ser indexadas e quais não são.

Se você deseja ocultar ou abrir uma das páginas dos mecanismos de pesquisa, leia as instruções para alterar a visibilidade da página em sua hospedagem, por exemplo, com uma consulta de pesquisa "Como ocultar uma página dos mecanismos de pesquisa no Wix". Isso ajudará você a controlar quais arquivos podem estar disponíveis para ignorar os robôs de pesquisa usando o arquivo robots.txt.

Fundamentos de criar e usar o arquivo robots.txt para o seu site do Google

O arquivo robots.txt está localizado na raiz do seu site. Por exemplo, para www.example.com, o arquivo robots.txt estará localizado em www.example.com/robots.txt. Este é um arquivo de texto regular que segue o padrão de exceção padrão de exclusão de robôs.

O arquivo robots.txt consiste em uma ou mais diretivas, cada uma das quais bloqueia ou permite o acesso a um robô específico no caminho especificado no site. Por padrão, todos os arquivos no site são permitidos para desvio, a menos que especificado de outra forma.

Um exemplo do arquivo base robots.txt para o seu site do Google

Aqui está um exemplo de um arquivo simples robots.txt com duas regras:

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

O que esse arquivo significa:

• O robô do Googlebot não pode ignorar o URL começando com https://example.com/nogooglebot/.
• Todos os outros robôs podem ignorar todo o site. Essa regra pode ser omitida, pois, por padrão, todos os robôs podem ignorar o site.
• O site usa uma placa de site localizada em https://www.example.com/sitemap.xml.

Como criar e testar um arquivo robots.txt para o site do seu Google

Criar um arquivo robots.txt e seus testes consistem em várias etapas:

• Crie um arquivo chamado robots.txt.
• Adicione as regras de pesquisa relevantes ao arquivo.
• Faça o download do arquivo robots.txt na raiz do seu site.
• Verifique a disponibilidade do arquivo para os mecanismos de pesquisa e sua correção.

Como escrever regras para rabots.txt no site do seu Google

As regras no arquivo robots.txt foram projetadas para especificar robôs quais partes do seu site podem ser ignoradas. Aqui estão algumas recomendações para escrever as regras:

• Cada regra começa com uma indicação de agente de usuário, que determina a qual o robô de pesquisa as regras são aplicadas.
• Cada regra também pode conter não permitir (para proibir o desvio) e permitir (para resolver o desvio). Por exemplo:

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Teste robots.txt para o seu site do Google

Depois de baixar o arquivo robots.txt no site, teste que ele esteja disponível para robôs de pesquisa. Para fazer isso, abra a janela Incognito no seu navegador e vá para o seu robots.txt, por exemplo, https://example.com/robots.txt. Se você vir o conteúdo do seu arquivo, significa que ele está disponível para processamento.

Para testar e eliminar problemas com as marcas, você pode usar:

• Relatório robots.txt no console de pesquisa do Google (se o arquivo estiver disponível no seu site).
• Usando a biblioteca do Google para testar os arquivos locais robots.txt.

Como enviar um arquivo robots.txt para o google

Depois que o arquivo robots.txt for enviado e testado, o Google Robots o encontrará automaticamente e começará a usá -lo. Não há necessidade de enviar manualmente o arquivo. No entanto, se você atualizou o arquivo e deseja que o Google o atualize rapidamente no cache, pode usar a função de atualização robots.txt no console de pesquisa do Google.

Útil robots.txt Regras para o seu site do Google

Aqui estão alguns exemplos úteis do arquivo robots.txt:

• Para proibir o desvio de todo o site:

 User-agent: *
 Disallow: /
 

• Para proibir um desvio de um diretório específico:

 User-agent: *
 Disallow: /private/
 

• Para resolver o desvio apenas para um robô específico:

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /
 

Contatos para esclarecimentos sobre robots.txt e SEO para o seu site no Google

Se você tiver dúvidas sobre como configurar o arquivo robots.txt ou outros problemas de SEO, entre em contato com o nosso companheiro de SEO info@seo.computer ou através do WhatsApp por número +79202044461.

ID: 4