Comment créer et envoyer un fichier robots.txt à Google pour votre site

Si vous utilisez le service d'hébergement pour votre site, par exemple Wix ou Blogger, vous n'aurez peut-être pas à modifier directement le fichier robots.txt. Au lieu de cela, votre fournisseur peut fournir une page de paramètres de recherche ou d'autres mécanismes pour indiquer les moteurs de recherche, quelles pages du site peuvent être indexées et lesquelles ne sont pas.

Si vous souhaitez masquer ou ouvrir l'une des pages des moteurs de recherche, lisez les instructions pour modifier la visibilité de la page à votre hébergement, par exemple, avec une requête de recherche «Comment masquer une page à des moteurs de recherche dans WIX». Cela vous aidera à contrôler quels fichiers peuvent être disponibles pour contourner les robots de recherche à l'aide du fichier robots.txt.

Fondamentaux de la création et de l'utilisation du fichier robots.txt pour votre site Google

Le fichier robots.txt est situé à la racine de votre site. Par exemple, pour www.example.com, le fichier robots.txt sera situé à www.example.com/robots.txt. Il s'agit d'un fichier texte régulier qui suit la norme d'exception de la norme d'exclusion des robots.

Le fichier robots.txt se compose d'une ou plusieurs directives, chacune bloque ou permet d'accéder à un robot particulier sur le chemin spécifié sur le site. Par défaut, tous les fichiers du site sont autorisés pour le contournement, sauf indication contraire.

Un exemple du fichier de base robots.txt pour votre site Google

Voici un exemple d'un fichier robots.txt simple avec deux règles:

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Que signifie ce fichier:

• Le robot Googlebot ne peut pas contourner l'URL à commencer par https://example.com/nogooglebot/.
• Tous les autres robots peuvent contourner l'ensemble du site. Cette règle pourrait être omise, car par défaut, tous les robots peuvent contourner le site.
• Le site utilise une carte de site située sur https://www.example.com/sitemap.xml.

Comment créer et tester un fichier robots.txt pour votre site Web Google

Création d'un fichier robots.txt et de ses tests se compose de plusieurs étapes:

• Créez un fichier nommé robots.txt.
• Ajoutez les règles de recherche pertinentes au fichier.
• Téléchargez le fichier robots.txt sur la racine de votre site.
• Vérifiez la disponibilité du fichier pour les moteurs de recherche et son exactitude.

Comment rédiger des règles pour Rabots.txt sur votre site Web Google

Les règles du fichier robots.txt sont conçues pour spécifier les robots quelles parties de votre site peuvent être contournées. Voici quelques recommandations pour rédiger les règles:

• Chaque règle commence par une indication d'agent utilisateur, qui détermine pour quel robot de recherche les règles sont appliquées.
• Chaque règle peut également contenir l'interdiction (pour une interdiction de contourner) et permettre de résoudre le contournement). Par exemple:

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Test de robots.txt pour votre site Google

Après avoir téléchargé le fichier robots.txt sur le site, assurez-vous de tester qu'il est disponible pour les robots de recherche. Pour ce faire, ouvrez la fenêtre Incognito dans votre navigateur et accédez à votre robots.txt, par exemple, https://example.com/robots.txt. Si vous voyez le contenu de votre fichier, cela signifie qu'il est disponible pour le traitement.

Pour tester et éliminer les problèmes de marquage, vous pouvez utiliser:

• RAPPORT ROBOTS.TXT sur Google Search Console (si le fichier est disponible sur votre site).
• Utilisation de la bibliothèque Google pour tester les fichiers locaux robots.txt.

Comment envoyer un fichier robots.txt à Google

Une fois le fichier robots.txt téléchargé et testé, Google Robots le trouvera automatiquement et commencera à l'utiliser. Il n'est pas nécessaire d'envoyer manuellement le fichier. Cependant, si vous avez mis à jour le fichier et souhaitez que Google le mette rapidement à niveau dans le cache, vous pouvez utiliser la fonction ROBOTS.TXT Mise à jour dans la console de recherche Google.

Règles utiles de robots.txt pour votre site Google

Voici quelques exemples utiles du fichier robots.txt:

• Pour interdire le contournement de l'ensemble du site:

 User-agent: *
 Disallow: /
 

• Pour interdire le détour d'un répertoire particulier:

 User-agent: *
 Disallow: /private/
 

• Pour résoudre le contournement uniquement à un robot particulier:

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /
 

Contacts pour clarifications sur Robots.txt et SEO pour votre site dans Google

Si vous avez des questions sur la mise en place du fichier robots.txt ou d'autres problèmes de référencement, vous pouvez contacter notre compagnon de référencement info@seo.computer ou via WhatsApp par numéro +79202044461.

ID: 4