Technische SEO-rankingfactoren: deel twee

Eerste deel van het artikel.

Als u niet in details wilt treden, neem dan contact op met de specialisten en laat ons systeem gratis testen!

Het robots.txt-bestand beheren

Het robots.txt-bestand wordt gebruikt om te bepalen hoe uw site wordt geïndexeerd door zoekmachines. Hiermee kunt u opgeven welke pagina's of mappen van de site moeten worden geïndexeerd en welke niet.

Hier zijn de basisregels voor het werken met dit bestand:

• Dit is een tekstbestand dat moet worden opgeslagen in platte tekst (ASCII of UTF-8) en de naam robots.txt heeft.
• Het bestand wordt gemaakt in teksteditors zoals Kladblok in plaats van eigen formaateditors zoals Microsoft Word.
• Het robots.txt-bestand moet zich in de hoofdmap van uw site bevinden. Bijvoorbeeld voor een site op http://voorbeeld.com, zou het bestand beschikbaar moeten zijn op http://example.com/robots.txt.
• Voor sites die met bepaalde CMS'en zijn gebouwd, kan automatisch een robots.txt-bestand worden gegenereerd.

Binnen het robots.txt-bestand controleert de crawler op richtlijnen die beginnen met het veld User-agent. Dit veld geeft de specifieke zoekmachinerobot aan waarop de bijbehorende indexeringsregel van toepassing is.

Bij het beschrijven van adressen op een website kunt u het universele symbool “*” gebruiken, dat elke reeks tekens aangeeft. Hiermee kunt u een voor- of achtervoegsel opgeven van het pad naar een map of pagina.

Hier zijn enkele basisrichtlijnen die kunnen worden gebruikt in een robots.txt-bestand:

• Disalov: Specificeert welke pagina's of mappen niet door de zoekrobot mogen worden geïndexeerd. Als er een mapnaam is opgegeven, moet het pad eindigen met een schuine streep.
• Allov: Deze richtlijn maakt het indexeren van specifieke pagina's of mappen mogelijk die mogelijk beperkt zijn door de Disallow-richtlijn. Het symbool "*" wordt ondersteund om verschillende paden aan te duiden.
• Sitemap: Specificeert het pad naar het sitemapbestand. Het kan optioneel zijn en in meerdere exemplaren verschijnen. Een sitemap helpt zoekmachines sitepagina's sneller te indexeren.
• Onbekende richtlijnen worden genegeerd, waardoor commentaar in het bestand kan worden toegevoegd.

Het is ook vermeldenswaard dat de vereisten voor het robots.txt-bestand enigszins kunnen variëren, afhankelijk van de zoekmachine. Bekijk hun officiële bronnen voor de nieuwste aanbevelingen voor populaire systemen zoals Yandex of Google.

Als u vragen heeft, kunt u altijd contact opnemen met de specialisten van onze SEO-studio door te schrijven naar info@seo.computer.

Identiteitskaart 9119