Deixe um pedido
O arquivo robots.txt informa aos mecanismos de pesquisa quais URLs em seu site podem estar disponíveis para a indexação. Este arquivo é usado principalmente para evitar sobrecarregar seu site com solicitações; Não é um meio de excluir uma página da web dos resultados da pesquisa do Google. Se você deseja excluir uma página dos resultados da pesquisa no Google, use o Noindex Methag ou proteja a página com uma senha.
Se você usar o CMS, como Wix ou Blogger, talvez não precise (ou impossível) editar o arquivo robots.txt diretamente. Em vez disso, seu CMS pode fornecer uma página de configurações de pesquisa ou outro mecanismo para especificar mecanismos de pesquisa, se sua página deve ser digitalizada.
Se você deseja ocultar ou abrir uma de suas páginas para os mecanismos de pesquisa, procure instruções para alterar a visibilidade da página nos mecanismos de pesquisa no seu CMS (por exemplo, procure "Wix ocultar uma página dos mecanismos de pesquisa").
O arquivo robots.txt é usado principalmente para controlar o tráfego dos mecanismos de pesquisa no seu site e, geralmente, para excluir o arquivo da indexação do Google, dependendo do tipo de arquivo:
Você pode usar o arquivo robots.txt para páginas da web (, PDF ou outros formatos que o Google pode ler) para controlar o tráfego de indexação se você acha que seu servidor será sobrecarregado com solicitações do robô de pesquisa do Google ou para evitar as páginas pré-longa ou duplicar no seu site.
Aviso: Não use o arquivo robots.txt como uma maneira de ocultar uma página da web (incluindo PDF e outros formatos de texto suportados pelo Google) a partir dos resultados da pesquisa do Google.
Se outras páginas se referirem à sua página com texto descritivo, o Google poderá indexar o URL sem visitar a página. Se você deseja excluir completamente a página dos resultados da pesquisa, use outros métodos, como proteção de senha ou noindex metatheg.
Se sua página da web estiver bloqueada no arquivo robots.txt, seu URL ainda poderá aparecer nos resultados da pesquisa, mas a descrição não será exibida nos resultados. Arquivos de mídia, vídeos, PDF e outros arquivos incorporados na página bloqueada também não serão digitalizados se não forem mencionados em outras páginas permitidas para a indexação. Se você vir esse resultado de pesquisa para sua página e deseja corrigi -la, exclua robots.txt. Se você deseja ocultar completamente a página da pesquisa no Google, use outro método.
Você pode usar o arquivo robots.txt para controlar a indexação de tráfego e impedir a aparência de imagens, arquivos de vídeo e áudio nos resultados da pesquisa do Google. Isso não impedirá os links para seus arquivos de mídia de outras páginas ou usuários.
Você pode usar o arquivo robots.txt para bloquear arquivos de recursos, como imagens, scripts ou estilos insignificantes, se você acha que as páginas sem esses recursos não serão alteradas significativamente. No entanto, se a ausência desses recursos complicar a indexação do Google Robot, não os bloquear, caso contrário, o Google não poderá analisar corretamente as páginas que dependem desses recursos.
Antes de criar ou editar o arquivo robots.txt, você deve entender as restrições neste método de bloqueio de URL. Dependendo de seus objetivos e da situação, pode ser necessário considerar outros mecanismos para garantir que seus URLs não sejam encontrados na Internet.
Atenção: A combinação de várias regras para kraling e indexação pode causar um conflito entre as regras. Descubra como combinar regras de kraling com indexação e exibição.
Se você decidir que precisa de um arquivo robots.txt, descubra como criá -lo. Se o arquivo já existir, descubra como atualizá -lo.
O arquivo robots.txt deve estar na raiz do seu site. Descubra como criar um arquivo robots.txt, consulte Exemplos e estude as regras do arquivo robots.txt.
Usando o relatório robots.txt, você pode verificar facilmente se o Google pode processar seus arquivos robots.txt. Siga estas etapas para enviar arquivos robots.txt atualizados para o Google.
Explore os detalhes das várias regras para o arquivo robots.txt e como o Google interpreta a especificação do arquivo robots.txt.
Se você tiver dúvidas sobre o arquivo robots.txt para o seu site do Google ou outros aspectos do SEO, entre em contato com a empresa de SEO "Seo.computer" por e -mail: info@seo.computer ou através do WhatsApp: +79202044461.
Id 25
