Inleiding tot robots.txt voor uw site in Google

Het bestand robots.txt vertelt zoekmachines welke URL's op uw site beschikbaar kunnen zijn voor hun indexering. Dit bestand wordt voornamelijk gebruikt om uw site te voorkomen met verzoeken; Het is geen middel om een webpagina uit te sluiten van de resultaten van de Google -zoekopdracht. Als u een pagina wilt uitsluiten van de zoekresultaten in Google, gebruikt u de NoIndex Methag of beschermt u de pagina met een wachtwoord.

Als u CMS gebruikt, zoals Wix of Blogger, heeft u mogelijk niet (of onmogelijk) nodig om het Robots.txt -bestand rechtstreeks te bewerken. In plaats daarvan kan uw CMS een pagina met zoekinstellingen of een ander mechanisme bieden om zoekmachines op te geven, of uw pagina moet worden gescand.

Als u een van uw pagina's voor de zoekmachines wilt verbergen of openen, zoek dan naar instructies voor het wijzigen van de zichtbaarheid van de pagina in zoekmachines in uw CMS (zoek bijvoorbeeld naar "Wix verberg een pagina voor zoekmachines").

Wat is een robots.txt -bestand en hoe wordt het gebruikt voor uw Google -site?

Het bestand robots.txt wordt voornamelijk gebruikt om het verkeer van zoekmachines naar uw site te regelen, en meestal om het bestand uit te sluiten van de Google -indexatie, afhankelijk van het type bestand:

Hoe robots.txt invloed heeft op verschillende soorten bestanden voor uw Google -site

Webpagina's

U kunt het Robots.txt-bestand gebruiken voor webpagina's (, PDF of andere formaten die Google kan lezen) om het indexatieverkeer te besturen als u denkt dat uw server zal worden overbelast met verzoeken van de Google Search Robot of om de voorlange of dubbele pagina's op uw site te vermijden.

Waarschuwing: Gebruik het bestand Robots.txt niet als een manier om een webpagina (inclusief PDF en andere tekstindelingen ondersteund door Google) te verbergen uit de resultaten van de Google -zoekopdracht.

Als andere pagina's naar uw pagina verwijzen met beschrijvende tekst, kan Google de URL indexeren zonder de pagina te bezoeken. Als u de pagina volledig wilt uitsluiten van de zoekresultaten, gebruikt u andere methoden, zoals wachtwoordbeveiliging of NoIndex Metatheg.

Als uw webpagina is geblokkeerd in het bestand Robots.txt, kan de URL nog steeds in de zoekresultaten verschijnen, maar de beschrijving wordt niet weergegeven in de resultaten. Mediabestanden, video's, PDF en andere bestanden ingebouwd in de geblokkeerde pagina worden ook niet gescand als ze niet worden vermeld op andere pagina's die zijn toegestaan voor indexering. Als u dit zoekresultaat voor uw pagina ziet en deze wilt repareren, verwijdert u robots.txt. Als u de pagina volledig wilt verbergen voor de zoekopdracht in Google, gebruik dan een andere methode.

Mediabestanden

U kunt het Robots.txt -bestand gebruiken om de verkeersindexering te regelen en om te voorkomen dat afbeeldingen, video- en audiobestanden in de resultaten van de Google -zoekopdracht worden voorkomen. Dit voorkomt geen links naar uw mediabestanden van andere pagina's of van gebruikers.

Meer informatie over hoe u het verschijnen van afbeeldingen in Google kunt voorkomen.
Meer informatie over het verwijderen of beperken van videobestanden uit het uiterlijk in Google.

Resource -bestanden

U kunt het robots.txt -bestand gebruiken om resource -bestanden te blokkeren, zoals onbeduidende afbeeldingen, scripts of stijlen, als u denkt dat pagina's zonder deze bronnen niet significant worden gewijzigd. Als de afwezigheid van deze bronnen echter de indexering van de Google -robot compliceert, blokkeert deze dan niet, anders kan Google de pagina's die van deze bronnen afhangen niet correct analyseren.

Inzicht in de beperkingen op het Robots.txt -bestand voor uw Google -site

Voordat u het Robots.txt -bestand maakt of bewerkt, moet u de beperkingen op deze URL -vergrendelingsmethode begrijpen. Afhankelijk van uw doelen en de situatie, moet u mogelijk andere mechanismen overwegen om ervoor te zorgen dat uw URL's niet op internet worden gevonden.

Robots.txt Bestandsregels worden mogelijk niet ondersteund door alle zoekmachines. Instructies in het bestand Robots.txt kunnen het gedrag van robots niet met geweld beïnvloeden; Het hangt ervan af of de robot deze instructies moet volgen. Hoewel GoogleBot en andere gerespecteerde webcrauls de Robots.txt -bestandsregels volgen, doen andere Kralers dit mogelijk niet. Daarom, als u beveiligingsinformatie wilt opslaan van webcrauls, is het daarom beter om andere vergrendelingsmethoden te gebruiken, bijvoorbeeld, de bestanden beschermen met een wachtwoord.
Verschillende crawles kunnen de syntaxis op verschillende manieren interpreteren. Ondanks het feit dat lieve webcrauls de regels van het robots.txt -bestand volgen, kan elke Kraler deze regels anders interpreteren. U moet de juiste syntaxis weten voor het verwijzen naar verschillende webkrawers, omdat sommige van hen bepaalde instructies mogelijk niet begrijpen.
De pagina verboden in het bestand Robots.txt kan nog steeds worden geïndexeerd als er links van andere sites naar zijn. Hoewel Google de inhoud in Robots.txt niet zal scannen en indexeren, kan hij de verboden URL nog steeds vinden en indexeren als er links van andere pagina's op internet zijn. Als gevolg hiervan kunnen het URL -adres en, mogelijk, andere openbaar beschikbare gegevens, zoals de tekst van links naar de pagina, nog steeds verschijnen in de resultaten van de Google -zoekopdracht. Gebruik wachtwoordbescherming, gebruik je wachtwoordmethag of verwijder de pagina helemaal om volledig te voorkomen dat je URL in de resultaten van de Google -zoekopdracht wordt gebracht.

Aandacht: Het combineren van verschillende regels voor Kralise en indexatie kan een conflict tussen de regels veroorzaken. Ontdek hoe u Kraling -regels kunt combineren met indexering en weergave.

Creatie of update van het robots.txt -bestand voor uw Google -site

Als u besluit dat u een robots.txt -bestand nodig hebt, ontdekt u hoe u het kunt maken. Als het bestand al bestaat, ontdek dan hoe het bij te werken.

Aanbevolen informatie voor uw site in Google

Creatie en het verzenden van het robots.txt -bestand naar Google

Het bestand robots.txt moet in de root van uw site staan. Ontdek hoe u een Robots.txt -bestand kunt maken, zie voorbeelden en bestudeer de Robots.txt -bestandsregels.

Het bijgewerkte robots.txt -bestand naar Google verzenden

Met behulp van het Robots.txt -rapport kunt u eenvoudig controleren of Google uw robots.txt -bestanden kan verwerken. Volg deze stappen om bijgewerkte robots.txt -bestanden naar Google te verzenden.

Hoe Google de specificatie van het robots.txt -bestand interpreteert

Verken de details van de verschillende regels voor het Robots.txt -bestand en hoe Google de specificatie van het Robots.txt -bestand interpreteert.

Als u vragen heeft over het bestand Robots.txt voor uw Google -site of andere aspecten van SEO, kunt u per e -mail contact opnemen met het SEO -bedrijf "Seo.Computer": info@seo.computer of via WhatsApp: +79202044461.

ID 25