Lijst met speciale zoekmachines van de site in Google

Speciale zoekrobots worden gebruikt door afzonderlijke services, terwijl speciale overeenkomsten worden vastgesteld tussen de site en de service onder de scanvoorwaarden. Een afzonderlijke robot kan bijvoorbeeld de algemene regel in robots.txt voor alle agenten (*) negeren als er toestemming is van de site -eigenaar.

Dergelijke robots werken volgens andere IP -banden dan standaard zoekmachines. De lijst van deze IP -adressen wordt in een speciaal JSON -bestand geplaatst. De omgekeerde DNS-opname van deze IP's kan overeenkomen met de snelheidsbeperkte proxy-***. ***. ***. ***. Google.com.

Hieronder vindt u een lijst met speciale robots die door verschillende services worden gebruikt, hun gebruikersagentregels in HTTP-controles, aanduidingen voor robots.txt, evenals een beschrijving van de invloed van hun instellingen op het indexeren. De lijst is niet compleet, maar bevat de meest voorkomende agenten in de website -logboeken.

Zoekagent van de site in Google voor API

Gebruikersagent in HTTP-controles: Apis-Hooogle

User-agent token op robots.txt: Apis-Hooogle

Algemene regels aangegeven via *, worden niet in aanmerking genomen door deze robot.

Een voorbeeld van instellingen in robots.txt:

user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/

De instellingen voor deze gebruikersagent beïnvloeden de levering van pushmeldingen via de API.

Zoekagent van de mobiele website in Google

Gebruikersagent in HTTP-controles: Adsbot-Google-Mobile

User-agent token op robots.txt: Adsbot-Google-Mobile

Algemene richtlijnen worden genegeerd.

user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/

Deze agent controleert de kwaliteit van adverteren op de pagina's van uw site die worden gebruikt in advertentieproducten.

Zoek robot van de site van de site in Google

Gebruikersagent in HTTP-controles: Adsbot-Google

User-agent token op robots.txt: Adsbot-Google

Het algemene gebruikersagent wordt genegeerd.

user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/

Gebruikt om de kwaliteit van advertentie -inhoud op de pagina's van de site te beoordelen.

Site Content Scanning Agent in Google voor advertentieblokken

Gebruikersagent in HTTP-controles: MediaPartners-Google

User-agent token op robots.txt: MediaPartners-Google

Negeert algemene richtlijnen in robots.txt.

user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/

Wordt gebruikt om de site te scannen om relevante advertenties te tonen.

Zoek robotsite in Google

Gebruikersagent in HTTP-controles: Google-veiligheid

User-agent token op robots.txt: Niet toegepast - negeert de regels.

Het wordt gebruikt om kwaadaardige links en andere verdachte activiteiten op de pagina's van de site te detecteren. Deze agent gehoorzaamt de robots. TXT -instellingen niet, omdat deze dient om gebruikers te beschermen.

Verouderde speciale site -robots in Google

De volgende zijn vermelde agenten die eerder zijn gebruikt, maar momenteel niet langer actief zijn. Informatie wordt ter referentie gegeven.

Actie mobiele agent van de site in Google

Gebruikersagent: Adsbot-Google-Mobile

User-agent token: Adsbot-Google-Mobile

Het werd gebruikt om de kwaliteit van advertenties op mobiele apparaten te beoordelen, bijvoorbeeld smartphones.

Zoekagent van de Google -site voor geautomatiseerde services

Gebruikersagent: DuplexWeb-Google

User-agent token: DuplexWeb-Google

Deze agent zou algemene regels kunnen negeren, gebruikt in interactieve diensten.

Zoekagent Favicon -site op Google

Gebruikersagent: Google Favicon

User-agent token: GoogleBot-Image, GoogleBot

Hij was verantwoordelijk voor het verzamelen en weergeven van de Faviko -site in verschillende interfaces.

Zoekagent van mobiele applicaties van de site in Google

Gebruikersagent: ADSBOT-GOOLE-MOBILE-APPS

User-agent token: ADSBOT-GOOLE-MOBILE-APPS

Scanning pagina's van Android -applicaties uitgevoerd om hun kwaliteit en naleving van advertenties te evalueren.

Lichte versie van de zoekagent van de site in Google

Gebruikersagent: Googleweblight

User-agent token: Googleweblight

Het werd alleen gebruikt bij de overgang van een echte gebruiker via een speciale zoekmodus. Ik negeerde robots.txt, omdat het niet werd beschouwd als een automatische scanner.

Deze agent controleerde de beschikbaarheid van de No-Transform-header op de pagina's van de site om hun display te optimaliseren tijdens de langzame verbinding.

Als u de regels moet verduidelijken voor het instellen van robots.txt, speciale robots of andere SEO -vragen, neem dan contact op met Seo.computer Per e -mail: info@seo.computer of whatsapp: +7 920 204-44-61

ID: 86