Zostaw prośbę
Niektóre roboty wyszukiwania nie są używane przez standardowy system indeksowania, ale przez poszczególne produkty, z którymi właściciele Twojej witryny mogą mieć specjalną umowę na warunki skanowania. Na przykład pewien robot może ominąć globalne dyrektywy robots.txt, wskazane dla wszystkich agentów (*), jeśli istnieje pozwolenie.
Takie wyspecjalizowane roboty współpracują z innymi zespołami IP niż zwykłe wyszukiwarki. Rzeczywiste zakresy są wymienione w pliku JSON w specjalnym przeznaczeniu. Ich odwrotne rekordy DNS mają rodzaj typu rate-limited-proxy-***-***-***-***.google.com.
Lista takich agentów podano poniżej, ich linie użytkownika-agenta, wartości używane robots.txt Oraz opis wpływu ich ustawień na pracę usług. Lista nie jest wyczerpująca, ale zawiera roboty, które najczęściej pojawiają się w dziennikach i rodzą pytania wśród właścicieli witryn.
Agent użytkownika: Apis-hooogle
Nagryj w Robots.txt:user-agent: APIs-Google
Ignoruje globalne zasady *.
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Używane przez usługi API do kontrolowania dostarczania wiadomości push do Twojej witryny.
Agent użytkownika: Adsbot-Google-Mobile
Nagryj w Robots.txt:user-agent: AdsBot-Google-Mobile
Ignoruje także globalne zasady.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Służy do analizy jakości reklam na mobilnych wersjach stron Twojej witryny.
Agent użytkownika: Adsbot-Google
Nagryj w Robots.txt:user-agent: AdsBot-Google
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Robot sprawdza skuteczność i zgodność reklamy na stronach witryny.
Agent użytkownika: MediaPartners-Google
Nagryj w Robots.txt:user-agent: Mediapartners-Google
Obejście dyrektywy *.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Odwiedź swoją stronę, aby wybrać odpowiednie reklamy i jej umieszczenie na stronach.
Agent użytkownika: Google Safety
Robots.txt: Jest całkowicie zignorowany
Robot służy do identyfikacji złośliwych linków i nadużycia na stronach witryny. Nie jest posłuszny robots.txtponieważ działa wyłącznie ze względów bezpieczeństwa.
Poniżej znajdują się czynniki, które nie są już używane, ale zanim mogą być obecni w dziennikach lub wpływać na zachowanie skanowania.
Agent użytkownika: Adsbot-Google-Mobile (przestarzały)
Robots.txt: Zignorowałem globalne zasady
Został użyty do oceny jakości reklamy na stronach otwartych z urządzeń mobilnych.
Agent użytkownika: DuplexWeb-Google
Robots.txt: Może zignorować dyrektywa *
Został wykorzystywany przez zautomatyzowane usługi do interakcji z treścią stron witryny.
Agent użytkownika: Google Favicon
Robots.txt: Użyte standardowe tokeny Googlebot-Image I Googlebot
Był odpowiedzialny za wyświetlanie i wybór ikony witryny w interfejsach wyszukiwania.
Agent użytkownika: Adsbot-Google-Mobile-Apps
Robots.txt: Postępował zgodnie z zasadami AdSbot-Google, ignorując *
Przeanalizował strony aplikacji na Androida w celu oceny ich zgodności z wymogami reklamowymi.
Agent użytkownika: Googleweblight
Robots.txt: Zignorowałem reguły, ponieważ było to aktywne tylko dla żądania użytkownika
Ten agent dostarczył uproszczoną wersję stron witryny podczas powolnego połączenia, sprawdzając obecność nagłówka no-transform.
W przypadku wszystkich problemów ustawiania Robots.txt, Scaners Management, a także przez SEO-optymalizacja, możesz się skontaktować SEO Company SEO.COMPUTER:info@seo.computer WhatsApp: +7 920 204-44-61
ID: 86
