Techniczne czynniki rankingowe SEO: część druga

Pierwsza część artykułu.

Jeśli nie chcesz wdawać się w szczegóły, skontaktuj się ze specjalistami i umów się na darmowy test naszego systemu!

Zarządzanie plikiem robots.txt

Plik robots.txt służy do kontrolowania sposobu indeksowania Twojej witryny przez wyszukiwarki. Pozwala określić, które strony lub katalogi serwisu mają być indeksowane, a które nie.

Oto podstawowe zasady pracy z tym plikiem:

• Jest to plik tekstowy, który należy zapisać w formacie zwykłego tekstu (ASCII lub UTF-8) i nazwać go robots.txt.
• Plik jest tworzony w edytorach tekstu, takich jak Notatnik, a nie w zastrzeżonych edytorach formatów, takich jak Microsoft Word.
• Plik robots.txt powinien znajdować się w katalogu głównym Twojej witryny. Na przykład dla witryny pod adresem http://przyklad.com, plik powinien być dostępny pod adresem http://example.com/robots.txt.
• W przypadku witryn zbudowanych przy użyciu niektórych systemów CMS plik robots.txt może zostać wygenerowany automatycznie.

Wewnątrz pliku robots.txt robot indeksujący sprawdza dyrektywy, zaczynając od pola User-agent. To pole wskazuje konkretnego robota wyszukiwarki, do którego odnosi się odpowiednia reguła indeksowania.

Opisując adresy na stronie internetowej, można zastosować uniwersalny symbol „*”, który oznacza dowolny ciąg znaków. Umożliwia to określenie przedrostka lub przyrostka ścieżki do katalogu lub strony.

Oto kilka podstawowych dyrektyw, których można użyć w pliku robots.txt:

• Disałow: Określa, które strony lub katalogi nie powinny być indeksowane przez robota wyszukiwania. Jeśli określono nazwę katalogu, ścieżka musi kończyć się ukośnikiem.
• Allow: Ta dyrektywa umożliwia indeksowanie określonych stron lub katalogów, które mogły zostać ograniczone przez dyrektywę Disallow. Obsługiwany jest symbol „*” w celu oznaczenia różnych ścieżek.
• Mapa witryny: Określa ścieżkę do pliku mapy witryny. Może być opcjonalny i pojawiać się w wielu kopiach. Mapa witryny pomaga wyszukiwarkom szybciej indeksować strony witryny.
• Nieznane dyrektywy są ignorowane, co pozwala na dodawanie komentarzy w pliku.

Warto również zaznaczyć, że wymagania dotyczące pliku robots.txt mogą się nieznacznie różnić w zależności od wyszukiwarki. Aby poznać najnowsze rekomendacje dla popularnych systemów takich jak Yandex czy Google, sprawdź ich oficjalne źródła.

Jeśli masz jakiekolwiek pytania, zawsze możesz skontaktować się ze specjalistami naszego studia SEO, pisząc na adres info@seo.computer.

Identyfikator 9119