Lascia una richiesta
I robot di ricerca speciali sono utilizzati da servizi separati, mentre sono stabiliti accordi speciali tra il sito e il servizio nelle condizioni di scansione. Ad esempio, un robot separato può ignorare la regola generale in robot.txt per tutti gli agenti (*) in caso di consenso del proprietario del sito.
Tali robot funzionano secondo altre bande IP rispetto ai motori di ricerca standard. L'elenco di questi indirizzi IP è inserito in uno speciale file JSON. La registrazione DNS inversa di questi IP può corrispondere alla Proxy a velocità limitata-***. ***. ***. ***. Google.com.
Di seguito è riportato un elenco di robot speciali utilizzati da diversi servizi, le loro linee utente-agente nei controlli HTTP, designazioni per robot.txt, nonché una descrizione dell'influenza delle loro impostazioni sul comportamento di indicizzazione. L'elenco non è completo, ma contiene gli agenti più comuni nei registri del sito Web.
Agente utente nei controlli HTTP: Apis-hooogle
Token dell'agente utente su robot.txt: Apis-hooogle
Regole generali indicate attraverso *, non sono presi in considerazione da questo robot.
Un esempio di impostazioni in robot.txt:
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Le impostazioni per questo agente utente influiscono sulla consegna delle notifiche push tramite l'API.
Agente utente nei controlli HTTP: Adsbot-Google-mobile
Token dell'agente utente su robot.txt: Adsbot-Google-mobile
Le direttive generali vengono ignorate.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Questo agente controlla la qualità della pubblicità sulle pagine del tuo sito utilizzate nei prodotti pubblicitari.
Agente utente nei controlli HTTP: Adsbot-google
Token dell'agente utente su robot.txt: Adsbot-google
L'agente utente generale viene ignorato.
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Utilizzato per valutare la qualità dei contenuti pubblicitari sulle pagine del sito.
Agente utente nei controlli HTTP: MediaPartners-Google
Token dell'agente utente su robot.txt: MediaPartners-Google
Ignora le direttive generali in robot.txt.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Utilizzato per scansionare il sito per mostrare pubblicità pertinente.
Agente utente nei controlli HTTP: Sicurezza di Google
Token dell'agente utente su robot.txt: Non applicato: ignora le regole.
Viene utilizzato per rilevare collegamenti dannosi e altre attività sospette sulle pagine del sito. Questo agente non obbedisce alle impostazioni robot.txt, poiché serve a proteggere gli utenti.
Di seguito sono riportati agenti elencati precedentemente utilizzati, ma attualmente non sono più attivi. Le informazioni sono fornite per riferimento.
Utente-agente: Adsbot-Google-mobile
Token per agente utente: Adsbot-Google-mobile
È stato utilizzato per valutare la qualità della pubblicità sui dispositivi mobili, ad esempio smartphone.
Utente-agente: DuplexWeb-Google
Token per agente utente: DuplexWeb-Google
Questo agente potrebbe ignorare le regole generali, utilizzate nei servizi interattivi.
Utente-agente: Google Favicon
Token per agente utente: GoogleBot-Image, GoogleBot
Era responsabile della raccolta e della visualizzazione del sito Faviko in varie interfacce.
Utente-agente: Adsbot-Google-mobile-apps
Token per agente utente: Adsbot-Google-mobile-apps
Hanno effettuato pagine di scansione di applicazioni Android per valutare la loro qualità e conformità con la pubblicità.
Utente-agente: GoogleWebright
Token per agente utente: GoogleWebright
È stato utilizzato solo nella transizione di un utente reale attraverso una modalità di ricerca speciale. Ho ignorato i robot.txt, in quanto non era considerato uno scanner automatico.
Questo agente ha verificato la disponibilità dell'intestazione senza trasformata sulle pagine del sito per ottimizzare il loro display durante la lenta connessione.
Se è necessario chiarire le regole per la configurazione di robot.txt, robot speciali o altre domande SEO, contattare SEO.computer Tramite e -mail: info@seo.computer o whatsapp: +7 920 204-44-61
ID: 86
