Jak utworzyć i wysłać plik robot.txt do Google dla Twojej witryny

Jeśli korzystasz z usługi hostingowej dla swojej witryny, na przykład WIX lub Bloggera, być może nie musisz bezpośrednio edytować pliku robots.txt. Zamiast tego dostawca może podać stronę Ustawienia wyszukiwania lub inne mechanizmy wskazywania wyszukiwarek, które strony witryny mogą być indeksowane, a które nie.

Jeśli chcesz ukryć lub otworzyć jedną ze stron z wyszukiwarek, przeczytaj instrukcje dotyczące zmiany widoczności strony w hostingu, na przykład z zapytaniem „jak ukryć stronę przed wyszukiwarkami w Wix”. Pomoże to kontrolować, które pliki mogą być dostępne do ominięcia robotów wyszukiwania za pomocą pliku Robots.txt.

Podstawy tworzenia i korzystania z pliku robots.txt dla Twojej witryny Google

Plik robots.txt znajduje się w głównym miejscu witryny. Na przykład dla www.example.com plik robots.txt zostanie zlokalizowany pod adresem www.example.com/robots.txt. Jest to zwykły plik tekstowy, który jest zgodny ze standardem wyjątku standardowego wykluczenia robotów.

Plik robots.txt składa się z jednej lub więcej dyrektyw, z których każda blokuje lub umożliwia dostęp do konkretnego robota do określonej ścieżki na stronie. Domyślnie wszystkie pliki w Witrynie są dozwolone dla obejścia, chyba że określono inaczej.

Przykład pliku podstawowego robots.txt dla Twojej witryny Google

Oto przykład prostego pliku robots.txt z dwoma regułami:

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Co oznacza ten plik:

Robot GoogleBot nie może ominąć adresu URL, zaczynając od https://example.com/nogooglebot/.
Wszystkie pozostałe roboty mogą ominąć całą witrynę. Zasada tej można pominąć, ponieważ domyślnie wszystkie roboty mogą ominąć witrynę.
Witryna korzysta z karty witryny znajdującej się pod adresem https://www.example.com/sitemap.xml.

Jak utworzyć i przetestować plik robots.txt dla Twojej witryny Google

Tworzenie pliku robots.txt i jego testowanie składa się z kilku etapów:

Utwórz plik o nazwie Robots.txt.
Dodaj odpowiednie reguły wyszukiwania do pliku.
Pobierz plik Robots.txt do głównego korzenia witryny.
Sprawdź dostępność pliku pod kątem wyszukiwarek i jego poprawność.

Jak pisać reguły dla rabots.txt na swojej stronie Google

Reguły w pliku robots.txt są zaprojektowane w celu określenia robotów, które części witryny można ominąć. Oto kilka zaleceń dotyczących pisania zasad:

Każda reguła zaczyna się od wskazania użytkownika-agenta, które określa, do którego robota wyszukiwania stosowane są reguły.
Każda reguła może również zawierać zabezpieczenie (w przypadku zakazu obejścia) i pozwolić (rozwiązać obejście). Na przykład:

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Robots.txt Testowanie dla Twojej witryny Google

Po pobraniu pliku Robots.txt na stronę, należy sprawdzić, czy jest on dostępny dla robotów wyszukiwania. Aby to zrobić, otwórz okno Incognito w przeglądarce i przejdź do swoich Robots.txt, na przykład https://example.com/robots.txt. Jeśli zobaczysz zawartość pliku, oznacza to, że jest on dostępny do przetwarzania.

Aby przetestować i wyeliminować problemy z oznaczeniami, możesz użyć:

Robots.txt Raport w konsoli Google Search (jeśli plik jest dostępny w Twojej witrynie).
Korzystanie z biblioteki Google do testowania lokalnych plików robots.txt.

Jak wysłać plik robots.txt do Google

Po przesłaniu i przetestowaniu pliku robots.txt, Google Robots automatycznie go znajdzie i zaczną go używać. Nie ma potrzeby ręcznego wysyłania pliku. Jeśli jednak zaktualizowałeś plik i chcesz, aby Google szybko zaktualizował go w pamięci podręcznej, możesz użyć funkcji aktualizacji Robots.txt w konsoli wyszukiwania Google.

Przydatne reguły robots.txt dla Twojej witryny Google

Oto kilka przydatnych przykładów pliku Robots.txt:

Aby zakazać obejścia całej strony:

 User-agent: *
 Disallow: /

Zabranianie objazdu konkretnego katalogu:

 User-agent: *
 Disallow: /private/

Aby rozwiązać obejście tylko dla konkretnego robota:

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /

Kontakty w celu wyjaśnienia robots.txt i SEO dla Twojej witryny w Google

Jeśli masz pytania dotyczące konfigurowania pliku robots.txt lub innych problemów SEO, możesz skontaktować się z naszym towarzyszem SEO info@seo.computer lub przez WhatsApp według numeru +79202044461.

ID: 4