Liste des moteurs de recherche spéciaux du site dans Google

Les robots de recherche spéciaux sont utilisés par des services distincts, tandis que des accords spéciaux sont établis entre le site et le service dans les conditions de numérisation. Par exemple, un robot séparé peut ignorer la règle générale dans robots.txt pour tous les agents (*) s'il y a le consentement du propriétaire du site.

Ces robots fonctionnent selon les autres bandes IP que les moteurs de recherche standard. La liste de ces adresses IP est placée dans un fichier JSON spécial. L'enregistrement DNS inversé de ces IPS peut correspondre au taux de charité de taux limitée - ***. ***. ***. ***. Google.com.

Vous trouverez ci-dessous une liste de robots spéciaux utilisés par différents services, leurs lignes d'agent utilisateur dans les vérifications HTTP, les désignations de robots.txt, ainsi qu'une description de l'influence de leurs paramètres sur le comportement d'indexation. La liste n'est pas complète, mais contient les agents les plus courants dans les journaux du site Web.

Agent de recherche du site dans Google pour l'API

Utilisateur-agent dans HTTP Checks: API-HOOOGLE

Token d'agent utilisateur sur robots.txt: API-HOOOGLE

Règles générales indiquées à travers *, ne sont pas pris en compte par ce robot.

Un exemple de paramètres dans robots.txt:

user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/

Les paramètres de cet agent utilisateur affectent la livraison des notifications push via l'API.

Agent de recherche du site Web mobile dans Google

Utilisateur-agent dans HTTP Checks: Adsbot-google-mobile

Token d'agent utilisateur sur robots.txt: Adsbot-google-mobile

Les directives générales sont ignorées.

user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/

Cet agent vérifie la qualité de la publicité sur les pages de votre site utilisé dans les produits publicitaires.

Rechercher le robot du site du site dans Google

Utilisateur-agent dans HTTP Checks: Adsbot-google

Token d'agent utilisateur sur robots.txt: Adsbot-google

L'agent utilisateur général est ignoré.

user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/

Utilisé pour évaluer la qualité du contenu publicitaire sur les pages du site.

Agent de numérisation de contenu du site dans Google pour les blocs publicitaires

Utilisateur-agent dans HTTP Checks: Mediapartners-google

Token d'agent utilisateur sur robots.txt: Mediapartners-google

Ignore les directives générales dans robots.txt.

user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/

Utilisé pour scanner le site afin d'afficher la publicité pertinente.

Rechercher le site de robot dans Google

Utilisateur-agent dans HTTP Checks: Google-sécurité

Token d'agent utilisateur sur robots.txt: Non appliqué - ignore les règles.

Il est utilisé pour détecter des liens malveillants et d'autres activités suspectes sur les pages du site. Cet agent n'obéit pas aux paramètres Robots.txt, car il sert à protéger les utilisateurs.

Robots de sites spéciaux obsolètes dans Google

Les agents énumérés suivants sont des agents répertoriés qui ont été utilisés auparavant, mais qui ne sont actuellement plus actifs. Des informations sont fournies pour référence.

Action Mobile Agent du site dans Google

Agent utilisateur: Adsbot-google-mobile

Jeton d'agent utilisateur: Adsbot-google-mobile

Il a été utilisé pour évaluer la qualité de la publicité sur les appareils mobiles, par exemple, les smartphones.

Agent de recherche du site Google pour les services automatisés

Agent utilisateur: Duplexweb-google

Jeton d'agent utilisateur: Duplexweb-google

Cet agent pourrait ignorer les règles générales, utilisées dans les services interactifs.

Site de recherche d'agent de recherche FAVICON sur Google

Agent utilisateur: Google Favicon

Jeton d'agent utilisateur: Googlebot-Image, Googlebot

Il était responsable de la collection et de l'affichage du site Faviko dans diverses interfaces.

Agent de recherche des applications mobiles du site dans Google

Agent utilisateur: ADSBOT-GOOGLE-MOBILE-APPS

Jeton d'agent utilisateur: ADSBOT-GOOGLE-MOBILE-APPS

Effectué des pages de numérisation d'applications Android pour évaluer leur qualité et leur conformité à la publicité.

Version légère de l'agent de recherche du site dans Google

Agent utilisateur: Googleblight

Jeton d'agent utilisateur: Googleblight

Il n'a été utilisé que dans la transition d'un réel utilisateur via un mode de recherche spécial. J'ai ignoré Robots.txt, car il n'était pas considéré comme un scanner automatique.

Cet agent a vérifié la disponibilité de l'en-tête sans transformation sur les pages du site pour optimiser leur affichage pendant la connexion lente.

Si vous devez clarifier les règles de mise en place de robots.txt, de robots spéciaux ou de toute autre question de référencement, contactez Seo. Par e-mail: info@seo.computer ou WhatsApp: +7 920 204-44-61

ID: 86