Introduction à robots.txt pour votre site dans Google

Le fichier robots.txt indique aux moteurs de recherche quelles URL sur votre site peuvent être disponibles pour leur indexation. Ce fichier est utilisé principalement afin d'éviter de surcharger votre site avec des demandes; Ce n'est pas un moyen d'exclure une page Web des résultats de la recherche Google. Si vous souhaitez exclure une page des résultats de la recherche dans Google, utilisez le NOINDEX Methag ou protégez la page avec un mot de passe.

Si vous utilisez CMS, comme WIX ou Blogger, vous n'avez peut-être pas besoin (ou impossible) de modifier directement le fichier robots.txt. Au lieu de cela, votre CMS peut fournir une page de paramètres de recherche ou un autre mécanisme pour spécifier les moteurs de recherche, si votre page doit être analysée.

Si vous souhaitez masquer ou ouvrir l'une de vos pages pour les moteurs de recherche, recherchez des instructions sur la modification de la visibilité de la page dans les moteurs de recherche dans votre CMS (par exemple, recherchez "Wix Masquer une page des moteurs de recherche").

Qu'est-ce qu'un fichier robots.txt et comment est-il utilisé pour votre site Google?

Le fichier robots.txt est principalement utilisé pour contrôler le trafic des moteurs de recherche vers votre site, et généralement pour exclure le fichier de l'indexation de Google, selon le type de fichier:

Comment robots.txt affecte différents types de fichiers pour votre site Google

Pages Web

Vous pouvez utiliser le fichier robots.txt pour les pages Web (, PDF ou d'autres formats que Google peut lire) pour contrôler le trafic d'indexation si vous pensez que votre serveur sera surchargé de demandes du robot de recherche Google, ou pour éviter les pages pré-longs ou en double de votre site.

Avertissement: N'utilisez pas le fichier robots.txt comme moyen de masquer une page Web (y compris le PDF et d'autres formats de texte pris en charge par Google) à partir des résultats de la recherche Google.

Si d'autres pages se réfèrent à votre page avec du texte descriptif, Google peut indexer l'URL sans visiter la page. Si vous souhaitez exclure complètement la page des résultats de la recherche, utilisez d'autres méthodes, telles que la protection par mot de passe ou NOINDEX Metatheg.

Si votre page Web est bloquée dans le fichier robots.txt, son URL peut toujours apparaître dans les résultats de recherche, mais la description ne sera pas affichée dans les résultats. Les fichiers multimédias, les vidéos, le PDF et d'autres fichiers intégrés dans la page bloqués ne seront pas non plus analysés s'ils ne sont pas mentionnés sur d'autres pages autorisées pour l'indexation. Si vous voyez ce résultat de recherche pour votre page et souhaitez le réparer, supprimez Robots.txt. Si vous souhaitez masquer complètement la page de la recherche dans Google, utilisez une autre méthode.

Fichiers multimédias

Vous pouvez utiliser le fichier robots.txt pour contrôler l'indexation du trafic et empêcher l'apparition des images, des fichiers vidéo et audio dans les résultats de la recherche Google. Cela n'empêchera pas les liens vers vos fichiers multimédias d'autres pages ou des utilisateurs.

En savoir plus sur la façon d'empêcher l'apparition d'images dans Google.
En savoir plus sur la façon de supprimer ou de limiter les fichiers vidéo de l'apparition dans Google.

Fichiers de ressources

Vous pouvez utiliser le fichier robots.txt pour bloquer les fichiers de ressources, tels que des images, scripts ou styles insignifiants, si vous pensez que les pages sans ces ressources ne seront pas considérablement modifiées. Cependant, si l'absence de ces ressources complique l'indexation du robot Google, ne les bloquez pas, sinon Google ne sera pas en mesure d'analyser correctement les pages qui dépendent de ces ressources.

Comprendre les restrictions sur le fichier robots.txt pour votre site Google

Avant de créer ou de modifier le fichier robots.txt, vous devez comprendre les restrictions sur cette méthode de verrouillage URL. Selon vos objectifs et la situation, vous devrez peut-être considérer d'autres mécanismes pour vous assurer que vos URL ne seront pas trouvées sur Internet.

Les règles de fichiers robots.txt ne peuvent pas être prises en charge par tous les moteurs de recherche. Les instructions dans le fichier robots.txt ne peuvent pas affecter de force le comportement des robots; Cela dépend de savoir si le robot doit suivre ces instructions. Bien que Googlebot et d'autres Crauls Web respectés suivent les règles de fichiers robots.txt, d'autres Kralers peuvent ne pas le faire. Par conséquent, si vous souhaitez enregistrer les informations de sécurité de Web Crauls, il est préférable d'utiliser d'autres méthodes de verrouillage, par exemple, protégez les fichiers avec un mot de passe.
Différents crawles peuvent interpréter la syntaxe de différentes manières. Malgré le fait que Dear Web Crauls suit les règles du fichier robots.txt, chaque KRALER peut interpréter ces règles différemment. Vous devez connaître la syntaxe correcte pour faire référence à différents drestilleurs Web, car certains d'entre eux peuvent ne pas comprendre certaines instructions.
La page interdite dans le fichier robots.txt peut toujours être indexée s'il y a des liens provenant d'autres sites. Bien que Google ne numérise pas et n'indexe pas le contenu bloqué dans Robots.txt, il peut toujours trouver et indexer l'URL interdite s'il existe des liens provenant d'autres pages sur Internet. En conséquence, l'adresse URL et, éventuellement, d'autres données accessibles au public, telles que le texte des liens vers la page, peuvent toujours apparaître dans les résultats de la recherche Google. Pour éviter complètement l'apparence de votre URL dans les résultats de la recherche Google, utilisez la protection par mot de passe, NOINDEX Methag ou supprimez la page.

Attention: La combinaison de plusieurs règles pour Kraling et Indexation peut provoquer un conflit entre les règles. Découvrez comment combiner les règles de kraLing avec l'indexation et l'affichage.

Création ou mise à jour du fichier robots.txt pour votre site Google

Si vous décidez que vous avez besoin d'un fichier robots.txt, découvrez comment le créer. Si le fichier existe déjà, découvrez comment le mettre à jour.

Informations recommandées pour votre site dans Google

Création et envoi du fichier robots.txt à Google

Le fichier robots.txt doit être à l'origine de votre site. Découvrez comment créer un fichier robots.txt, voir des exemples et étudier les règles de fichiers robots.txt.

Envoi du fichier robots.txt mis à jour sur Google

À l'aide du rapport robots.txt, vous pouvez facilement vérifier si Google peut traiter vos fichiers robots.txt. Suivez ces étapes pour envoyer des fichiers robots.txt mis à jour sur Google.

Comment Google interprète la spécification du fichier robots.txt

Explorez les détails des différentes règles du fichier robots.txt et comment Google interprète la spécification du fichier robots.txt.

Si vous avez des questions sur le fichier robots.txt pour votre site Google ou d'autres aspects du référencement, vous pouvez contacter la société de référencement "SEO.computer" par e-mail: info@seo.computer ou via WhatsApp: +79202044461.

ID 25