Zostaw prośbę
Specjalne roboty wyszukiwania są używane przez osobne usługi, podczas gdy umowy specjalne są ustanawiane między witryną a usługą w warunkach skanowania. Na przykład osobny robot może zignorować ogólną zasadę w Robots.txt dla wszystkich agentów (*), jeśli istnieje zgoda właściciela witryny.
Takie roboty działają zgodnie z innymi pasmami IP niż standardowe wyszukiwarki. Lista tych adresów IP znajduje się w specjalnym pliku JSON. RECER RECTING DNS tych IPS może odpowiadać z ograniczoną szybkością-proksydą-***. ***. ***. ***. Google.com.
Poniżej znajduje się lista specjalnych robotów używanych przez różne usługi, ich linie użytkowników w kontrolach HTTP, oznaczenia robots.txt, a także opis wpływu ich ustawień na zachowanie indeksowania. Lista nie jest kompletna, ale zawiera najczęstszych agentów w dziennikach witryny.
Agent użytkownika w kontrolach HTTP: Apis-hooogle
Użytkownik Token na robots.txt: Apis-hooogle
Ogólne zasady wskazane przez *, nie są brane pod uwagę ten robot.
Przykład ustawień w Robots.txt:
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Ustawienia tego agenta użytkownika wpływają na dostarczanie powiadomień push za pośrednictwem interfejsu API.
Agent użytkownika w kontrolach HTTP: Adsbot-Google-Mobile
Użytkownik Token na robots.txt: Adsbot-Google-Mobile
Ogólne dyrektywy są ignorowane.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Ten agent sprawdza jakość reklamy na stronach Twojej witryny używanej w produktach reklamowych.
Agent użytkownika w kontrolach HTTP: Adsbot-Google
Użytkownik Token na robots.txt: Adsbot-Google
Ogólny agent użytkownika jest ignorowany.
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Służy do oceny jakości treści reklamowych na stronach witryny.
Agent użytkownika w kontrolach HTTP: MediaPartners-Google
Użytkownik Token na robots.txt: MediaPartners-Google
Ignoruje ogólne dyrektywy w Robots.txt.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Służy do skanowania witryny, aby pokazać odpowiednie reklamy.
Agent użytkownika w kontrolach HTTP: Google Safety
Użytkownik Token na robots.txt: Nie stosowane - ignoruje zasady.
Służy do wykrywania złośliwych linków i innych podejrzanych aktywności na stronach witryny. Ten agent nie przestrzega ustawień Robots.txt, ponieważ służy do ochrony użytkowników.
Poniżej wymieniono agentów, które były wcześniej używane, ale obecnie nie są już aktywni. Informacje są podane w celach informacyjnych.
Agent użytkownika: AdsBot-Google-Mobile
Token użytkownika-agenta: Adsbot-Google-Mobile
Został użyty do oceny jakości reklam na urządzeniach mobilnych, na przykład smartfonów.
Agent użytkownika: DuplexWeb-Google
Token użytkownika-agenta: DuplexWeb-Google
Ten agent może zignorować ogólne zasady, używane w interaktywnych usługach.
Agent użytkownika: Google Favicon
Token użytkownika-agenta: GoogleBot-Image, GoogleBot
Był odpowiedzialny za zbieranie i wyświetlanie strony Faviko w różnych interfejsach.
Agent użytkownika: Adsbot-Google-Mobile-Apps
Token użytkownika-agenta: Adsbot-Google-Mobile-Apps
Przeprowadził strony skanowania aplikacji na Androida w celu oceny ich jakości i zgodności z reklamą.
Agent użytkownika: Googleweblight
Token użytkownika-agenta: Googleweblight
Został używany tylko w przejściu prawdziwego użytkownika za pośrednictwem specjalnego trybu wyszukiwania. Zignorowałem Robots.txt, ponieważ nie był uważany za automatyczny skaner.
Ten agent sprawdził dostępność nagłówka bez transformacji na stronach witryny, aby zoptymalizować swój wyświetlacz podczas powolnego połączenia.
Jeśli chcesz wyjaśnić zasady konfigurowania robots.txt, specjalnych robotów lub innych pytań SEO, skontaktuj się Seo.computer E -mailem: info@seo.computer lub WhatsApp: +7 920 204-44-61
ID: 86
