Lascia una richiesta
Alcuni robot di ricerca non sono utilizzati da un sistema di indicizzazione standard, ma da singoli prodotti con cui i proprietari del tuo sito possono avere un accordo speciale sulle condizioni di scansione. Ad esempio, un certo robot può bypassare le direttive globali robots.txt, indicato per tutti gli agenti (*), in caso di permesso.
Tali robot specializzati funzionano con altre bande IP rispetto ai normali motori di ricerca. Gli intervalli effettivi sono elencati in un file JSON a scopo speciale. Le loro registrazioni DNS inverse hanno un tipo di tipo rate-limited-proxy-***-***-***-***.google.com.
L'elenco di tali agenti è riportato di seguito, le loro linee utente-agente, i valori utilizzati per robots.txt E una descrizione dell'influenza delle loro impostazioni sul lavoro dei servizi. L'elenco non è esaustivo, ma include quei robot che più spesso appaiono nei registri e sollevano domande tra i proprietari dei siti.
Utente-agente: Apis-hooogle
Record in robots.txt:user-agent: APIs-Google
Ignora le regole globali *.
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Utilizzato dai servizi API per controllare la consegna dei messaggi push al tuo sito.
Utente-agente: Adsbot-Google-mobile
Record in robots.txt:user-agent: AdsBot-Google-Mobile
Ignora anche le regole globali.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Viene utilizzato per analizzare la qualità della pubblicità sulle versioni mobili delle pagine del tuo sito.
Utente-agente: Adsbot-google
Record in robots.txt:user-agent: AdsBot-Google
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Il robot controlla l'efficacia e la conformità della pubblicità sulle pagine del sito.
Utente-agente: MediaPartners-Google
Record in robots.txt:user-agent: Mediapartners-Google
Andare in giro per la direttiva *.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Visita il tuo sito per selezionare la pubblicità pertinente e il suo posizionamento sulle pagine.
Utente-agente: Sicurezza di Google
Robots.txt: È completamente ignorato
Il robot serve a identificare collegamenti e abusi dannosi sulle pagine del sito. Non obbedisce robots.txtpoiché funziona esclusivamente per motivi di sicurezza.
Di seguito sono riportati gli agenti che non vengono più utilizzati, ma prima che possano essere presenti nei registri o influenzano il comportamento di scansione.
Utente-agente: Adsbot-Google-Mobile (obsoleto)
Robots.txt: Ho ignorato le regole globali
È stato utilizzato per valutare la qualità della pubblicità sulle pagine aperte dai dispositivi mobili.
Utente-agente: DuplexWeb-Google
Robots.txt: Potrebbe ignorare la direttiva *
È stato utilizzato dai servizi automatizzati per interagire con il contenuto delle pagine del sito.
Utente-agente: Google Favicon
Robots.txt: Token standard utilizzati Googlebot-Image E Googlebot
Era responsabile del display e della scelta dell'icona del sito nelle interfacce di ricerca.
Utente-agente: Adsbot-Google-mobile-apps
Robots.txt: Seguito le regole di adsbot-google, ignorando *
Analizzato le pagine delle applicazioni Android per valutare la loro conformità ai requisiti pubblicitari.
Utente-agente: GoogleWeblight
Robots.txt: Ho ignorato le regole, in quanto era attiva solo per una richiesta dell'utente
Questo agente ha fornito una versione semplificata delle pagine del sito durante una connessione lenta, controllando la presenza di un'intestazione no-transform.
Per tutte le questioni di impostazione di robot.txt, gestione degli scanner e mediante ottimizzazione, è possibile contattare SEO Company SEO.Computer:info@seo.computer Whatsapp: +7 920 204-44-61
ID: 86
