Deixe um pedido
Robôs automáticos dos mecanismos de pesquisa seguem as regras do Robots Exclusão Protocol (REP), o que significa: Antes de digitalizar o site, o mecanismo de pesquisa lê o arquivo robots.txtPara determinar quais seções do Site são permitidas ou proibidas para indexação. Esse protocolo não se aplica a ferramentas controladas por usuários ou funcionários de metas de segurança (por exemplo, digitalizando software malicioso).
Este material explica em detalhes como as diretivas do representante são interpretadas. A especificação original pode ser encontrada no RFC 9309.
Se você não deseja que algumas partes do seu site sejam indexadas pelos mecanismos de pesquisa, crie um arquivo robots.txt com as regras necessárias. Este é um documento de texto simples, que indica qual pesquisa inicializa o acesso é permitido e qual é proibido. Um exemplo de uma estrutura de arquivo:
User-agent: * Disallow: /includes/ User-agent: Googlebot Allow: /includes/ Sitemap: https://вашдомен.ру/sitemap.xml
Se você encontrar pela primeira vez robots.txt, comece estudando o básico e as dicas práticas para sua criação.
O arquivo robots.txt deve estar no catálogo raiz do site e estar disponível no protocolo suportado. O mecanismo de pesquisa leva em consideração o protocolo, a porta e o nome de domínio. Por exemplo, o arquivo será usado apenas para o mesmo host que sua localização, incluindo o protocolo e a porta.
Aqui estão exemplos das maneiras corretas para o arquivo e sua ação:
www.O comportamento do robô de pesquisa depende do código HTTP recebido quando o arquivo é solicitado:
O conteúdo está em cache de até 24 horas, às vezes mais longo - com erros de carregamento. Título Cache-Control pode afetar o período de armazenamento de uma cópia.
O arquivo deve estar na codificação UTF-8, texto simples. As traduções de linhas são permitidas em qualquer formato (CR, LF, CRLF). Linhas errôneas são ignoradas, como, nascidas, símbolos não suportados.
O tamanho máximo de arquivo permitido é de 500 kib. Tudo o que excede este volume é ignorado.
Cada linha inclui um campo, cólon e valor. Os seguintes campos são suportados:
user-agent - determina qual bot pertence à regra;disallow - proíbe o acesso a um determinado caminho;allow - permite o acesso ao caminho (mesmo que existam regras proibindo);sitemap -Indica a localização do site XML do site.Este é o nome do bot de pesquisa, que inclui essas regras. O valor não é sensível ao registro.
Proíbe o acesso a certos caminhos. Se o caminho não for indicado, a regra será ignorada. Valor sensível ao registro.
Permite acesso ao URL. Funciona em conjunto com outras regras, com um conflito, o menos restritivo é selecionado.
O site do URL do site é completamente indicado. O campo pode ser repetido. Pode estar em outro domínio. Não anexado a um bot específico.
Você pode indicar vários grupos com diferente ou o mesmo agente de usuário. Por exemplo:
user-agent: a disallow: /private user-agent: b disallow: /temp user-agent: c user-agent: d disallow: /files
Cada bot usa apenas um grupo de regras-o agente de usuário mais adequado. Regras gerais p * Eles são usados se não houver mais específicos.
user-agent: bot-news disallow: /news-private user-agent: * disallow: / user-agent: bot disallow: /all
Robô bot-news Usa o primeiro grupo, bot - O terceiro, todos os outros são o segundo.
Uma comparação do caminho com o URL leva em consideração o registro, bem como os símbolos especiais. Suportado:
* - corresponde a qualquer número de caracteres;$ - indica o fim do URL./ - corresponde a todas as páginas;/$ - apenas raiz;/fish - tudo o que começa com /fish;/*.php$ - URL, terminando em .php.No conflito de regras com diferentes comprimentos de caminho, um mais longo é usado. Com igual comprimento - menos restritivo.
Exemplos:
Para todas as questões do robots.txt Configurações do seu site, bem como outros aspectos do SEO, você pode entrar em contato com a equipe Empresas de SEO "SEO.computer" Por e -mail: info@seo.computer ou através do WhatsApp: +79202044461
ID: 159
