Laat een verzoek achter
Sommige zoekrabots worden niet gebruikt door een standaard indexeringssysteem, maar door individuele producten waarmee de eigenaren van uw site een speciale overeenkomst hebben over scanvoorwaarden. Een bepaalde robot kan bijvoorbeeld wereldwijde richtlijnen omzeilen robots.txt, aangegeven voor alle agenten (*), als er toestemming is.
Dergelijke gespecialiseerde robots werken met andere IP -bands dan gewone zoekmachines. Werkelijke bereiken worden vermeld in een JSON -bestand met speciaal doel. Hun omgekeerde DNS-records hebben een type type rate-limited-proxy-***-***-***-***.google.com.
De lijst met dergelijke agenten wordt hieronder gegeven, hun gebruikersagentregels, de waarden die worden gebruikt voor robots.txt En een beschrijving van de invloed van hun instellingen op het werk van diensten. De lijst is niet uitputtend, maar omvat die robots die meestal in de logboeken verschijnen en vragen oproepen bij site -eigenaren.
Gebruikersagent: Apis-Hooogle
Record in robots.txt:user-agent: APIs-Google
Negeert de wereldregels *.
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Gebruikt door API -services om de levering van push -berichten aan uw site te regelen.
Gebruikersagent: Adsbot-Google-Mobile
Record in robots.txt:user-agent: AdsBot-Google-Mobile
Het negeert ook de wereldwijde regels.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Het wordt gebruikt om de kwaliteit van advertenties op mobiele versies van de pagina's van uw site te analyseren.
Gebruikersagent: Adsbot-Google
Record in robots.txt:user-agent: AdsBot-Google
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
De robot controleert de effectiviteit en naleving van reclame op de pagina's van de site.
Gebruikersagent: MediaPartners-Google
Record in robots.txt:user-agent: Mediapartners-Google
Rond de richtlijn gaan *.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Bezoek uw site voor het selecteren van relevante advertenties en de plaatsing ervan op de pagina's.
Gebruikersagent: Google-veiligheid
Robots.txt: Het wordt volledig genegeerd
De robot dient om kwaadaardige links en misbruiken op de pagina's van de site te identificeren. Gehoorzaamt niet robots.txtomdat het om veiligheidsredenen uitsluitend werkt.
Hieronder staan agenten die niet langer worden gebruikt, maar voordat ze aanwezig kunnen zijn in logs of invloedsscansgedrag.
Gebruikersagent: Adsbot-Google-Mobile (verouderd)
Robots.txt: Ik negeerde de wereldregels
Het werd gebruikt om de kwaliteit van advertenties op pagina's te beoordelen die worden geopend van mobiele apparaten.
Gebruikersagent: DuplexWeb-Google
Robots.txt: Zou de richtlijn kunnen negeren *
Het werd door geautomatiseerde services gebruikt om te communiceren met de inhoud van de sitepagina's.
Gebruikersagent: Google Favicon
Robots.txt: Gebruikte standaardtokens Googlebot-Image En Googlebot
Hij was verantwoordelijk voor het display en de keuze van het sitepictogram in zoekinterfaces.
Gebruikersagent: ADSBOT-GOOLE-MOBILE-APPS
Robots.txt: Volgde de regels van ADSBOT-Google, negerend *
De pagina's van Android -toepassingen geanalyseerd om hun naleving van advertentievereisten te evalueren.
Gebruikersagent: Googleweblight
Robots.txt: Ik negeerde de regels, omdat het alleen actief was voor een gebruikersverzoek
Deze agent bood een vereenvoudigde versie van de sitepagina's tijdens een langzame verbinding, waarbij de aanwezigheid van een header werd gecontroleerd no-transform.
Voor alle kwesties van het instellen van robots.txt, scanners management, evenals door seo-optimalisatie, kun je contact opnemen SEO -bedrijf Seo.computer:info@seo.computer WhatsApp: +7 920 204-44-61
ID: 86
