Zostaw prośbę
Plik robots.txt informuje wyszukiwarki, które adresy URL w Twojej witrynie mogą być dostępne do ich indeksu. Ten plik jest używany przede wszystkim w celu uniknięcia przeciążenia witryny za pomocą żądań; Nie jest to sposób na wykluczenie strony internetowej z wyników wyszukiwania Google. Jeśli chcesz wykluczyć stronę z wyników wyszukiwania w Google, użyj NoIndex Methag lub chroń stronę hasłem.
Jeśli używasz CMS, takich jak Wix lub Blogger, możesz nie potrzebować (lub niemożliwego) do bezpośredniej edycji plik robots.txt. Zamiast tego Twoje CMS może podać stronę Ustawienia wyszukiwania lub inny mechanizm określania wyszukiwarek, niezależnie od tego, czy Twoja strona powinna zostać zeskanowana.
Jeśli chcesz ukryć lub otworzyć jedną ze swoich stron w wyszukiwarkach, poszukaj instrukcji dotyczących zmiany widoczności strony w wyszukiwarkach w CMS (na przykład poszukaj „Wix ukryj stronę przed wyszukiwarkami”).
Plik robots.txt służy przede wszystkim do kontrolowania ruchu wyszukiwarek w Twojej witrynie i zwykle w celu wykluczenia pliku z indeksuy Google, w zależności od rodzaju pliku:
Możesz użyć pliku Robots.txt dla stron internetowych (PDF lub innych formatów, które Google może odczytać), aby kontrolować ruch indeksowy, jeśli uważasz, że Twój serwer zostanie przeciążony żądaniami z robota wyszukiwania Google lub aby uniknąć przed długimi lub zduplikowymi stronami w Twojej witrynie.
Ostrzeżenie: Nie używaj pliku Robots.txt jako sposobu ukrycia strony internetowej (w tym PDF i innych formatów tekstowych obsługiwanych przez Google) z wyników wyszukiwania Google.
Jeśli inne strony patrz Twoja strona z tekstem opisowym, Google może indeksować adres URL bez odwiedzania strony. Jeśli chcesz całkowicie wykluczyć stronę z wyników wyszukiwania, użyj innych metod, takich jak ochrona hasła lub metatheg noindex.
Jeśli Twoja strona jest zablokowana w pliku Robots.txt, jej adres URL może nadal pojawiać się w wynikach wyszukiwania, ale opis nie będzie wyświetlany w wynikach. Pliki multimedialne, filmy, PDF i inne pliki wbudowane na zablokowaną stronę również nie będą skanowane, jeśli nie zostaną wymienione na innych stronach, które są dozwolone do indeksacji. Jeśli zobaczysz ten wynik wyszukiwania dla swojej strony i chcesz ją naprawić, usuń robots.txt. Jeśli chcesz całkowicie ukryć stronę przed wyszukiwaniem w Google, użyj innej metody.
Możesz użyć pliku Robots.txt do kontrolowania indeksacji ruchu i zapobiegania wyglądowi obrazów, wideo i plików audio w wynikach wyszukiwania Google. Nie zapobiegnie to linkom do plików multimedialnych z innych stron lub użytkowników.
Możesz użyć pliku Robots.txt do blokowania plików zasobów, takich jak nieistotne obrazy, skrypty lub style, jeśli uważasz, że strony bez tych zasobów nie zostaną znacząco zmienione. Jeśli jednak brak tych zasobów komplikuje indeksowanie robota Google, nie blokuj ich, w przeciwnym razie Google nie będzie w stanie poprawnie przeanalizować stron zależnych od tych zasobów.
Przed utworzeniem lub edytowaniem pliku robots.txt należy zrozumieć ograniczenia tej metody blokowania adresu URL. W zależności od twoich celów i sytuacji może być konieczne rozważenie innych mechanizmów, aby upewnić się, że twoje adresy URL nie będą znalezione w Internecie.
Uwaga: Połączenie kilku zasad dotyczących Kraling i indeksacji może powodować konflikt między zasadami. Dowiedz się, jak połączyć reguły Kraling z indeksowaniem i wyświetlaniem.
Jeśli zdecydujesz, że potrzebujesz pliku robots.txt, dowiedz się, jak go utworzyć. Jeśli plik już istnieje, dowiedz się, jak go zaktualizować.
Plik robots.txt powinien znajdować się w korzeni Twojej witryny. Dowiedz się, jak utworzyć plik robots.txt, zobacz przykłady i przestudiuj reguły pliku Robots.txt.
Korzystając z raportu Robots.txt, możesz łatwo sprawdzić, czy Google może przetworzyć pliki robots.txt. Wykonaj następujące kroki, aby wysłać zaktualizowane pliki robots.txt do Google.
Zbadaj szczegóły różnych reguł pliku robots.txt i sposób interpretacji specyfikacji pliku robots.txt.
Jeśli masz pytania dotyczące pliku Robots.txt dla witryny Google lub innych aspektów SEO, możesz skontaktować się z firmą SEO „SEO.COMPUTER” za pomocą e -maila: info@seo.computer lub przez WhatsApp: +79202044461.
ID 25
