Hoe u een robots.txt -bestand naar Google kunt maken en verzenden

Als u de hostingservice voor uw site gebruikt, bijvoorbeeld WIX of Blogger, hoeft u mogelijk het Robots.txt -bestand niet rechtstreeks te bewerken. In plaats daarvan kan uw provider een pagina met zoekinstellingen of andere mechanismen opgeven voor het aangeven van zoekmachines, welke pagina's van de site kunnen worden geïndexeerd en welke niet.

Als u een van de pagina's van zoekmachines wilt verbergen of openen, lees dan de instructies voor het wijzigen van de zichtbaarheid van de pagina bij uw hosting, bijvoorbeeld met een zoekopdracht "Hoe een pagina te verbergen voor zoekmachines in Wix". Dit helpt u te bepalen welke bestanden beschikbaar kunnen zijn voor het omzeilen van zoekobots met behulp van het bestand Robots.txt.

Fundamentals van het maken en gebruiken van het Robots.txt -bestand voor uw Google -site

Het bestand robots.txt bevindt zich in de root van uw site. Voor www.example.com bevindt zich bijvoorbeeld het Robots.txt -bestand op www.example.com/robots.txt. Dit is een normaal tekstbestand dat de standaard uitzonderingsstandaard van de robots uitsluiting volgt.

Het bestand robots.txt bestaat uit een of meer richtlijnen, die elk blokkeert of toegang biedt voor een bepaalde robot tot het opgegeven pad op de site. Standaard zijn alle bestanden op de site toegestaan voor bypass, tenzij anders aangegeven.

Een voorbeeld van het basisbestand van Robots.txt voor uw Google -site

Hier is een voorbeeld van een eenvoudig robots.txt -bestand met twee regels:

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Wat betekent dit bestand:

• De GoogleBot -robot kan de URL niet omzeilen die begint met https://example.com/nogoogebot/.
• Alle andere robots kunnen de hele site omzeilen. Deze regel kan worden weggelaten, omdat standaard alle robots de site kunnen omzeilen.
• De site maakt gebruik van een sitekaart die zich bevindt op https://www.example.com/sitemap.xml.

Hoe u een robots.txt -bestand voor uw Google -website maakt en testen

Het maken van een robots.txt -bestand en het testen ervan bestaat uit verschillende fasen:

• Maak een bestand met de naam robots.txt.
• Voeg de relevante zoekregels toe aan het bestand.
• Download het Robots.txt -bestand naar de root van uw site.
• Controleer de beschikbaarheid van het bestand voor zoekmachines en de juistheid ervan.

Hoe regels te schrijven voor rabots.txt op uw Google -website

De regels in het bestand Robots.txt zijn ontworpen om robots op te geven welke delen van uw site kunnen worden omzeild. Hier zijn enkele aanbevelingen voor het schrijven van de regels:

• Elke regel begint met een indicatie van de gebruikersagent, die bepaalt waarvoor de zoekobot de regels worden toegepast.
• Elke regel kan ook niet toestaan (voor een verbod op bypass) en toestaan (om bypass op te lossen). Bijvoorbeeld:

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Robots.txt testen voor uw Google -site

Na het downloaden van het Robots.txt -bestand naar de site, moet u testen dat het beschikbaar is voor zoekobots. Open hiervoor het Incognito -venster in uw browser en ga naar uw robots.txt, bijvoorbeeld https://example.com/robots.txt. Als u de inhoud van uw bestand ziet, betekent dit dat deze beschikbaar is voor verwerking.

Om problemen met markeringen te testen en te elimineren, kunt u gebruiken:

• Robots.txt Report op Google Search Console (als het bestand beschikbaar is op uw site).
• De Google -bibliotheek gebruiken voor het testen van lokale bestanden Robots.txt.

Hoe u een robots.txt -bestand naar Google verzendt

Nadat het bestand robots.txt is geüpload en getest, zullen Google Robots het automatisch vinden en beginnen te gebruiken. Het is niet nodig om het bestand handmatig te verzenden. Als u het bestand echter hebt bijgewerkt en wilt dat Google het snel in de cache upgrade, kunt u de functie Robots.txt Update gebruiken in de Google Search Console.

Nuttige robots.txt regels voor uw Google -site

Hier zijn enkele nuttige voorbeelden van het bestand robots.txt:

• Om de bypass van de hele site te verbieden:

 User-agent: *
 Disallow: /
 

• Om een omweg van een bepaalde map te verbieden:

 User-agent: *
 Disallow: /private/
 

• Om bypass alleen op te lossen voor een bepaalde robot:

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /
 

Contacten voor verduidelijkingen op Robots.txt en SEO voor uw site in Google

Als u vragen heeft over het instellen van het robots.txt -bestand of andere SEO -problemen, kunt u contact opnemen met onze SEO -metgezel info@seo.computer of via WhatsApp op nummer +79202044461.

ID: 4