Laisser une demande
Certains robots de recherche ne sont pas utilisés par un système d'indexation standard, mais par des produits individuels avec lesquels les propriétaires de votre site peuvent avoir un accord spécial sur les conditions de numérisation. Par exemple, un certain robot peut contourner les directives mondiales robots.txt, indiqué pour tous les agents (*), en cas d'autorisation.
Ces robots spécialisés fonctionnent avec d'autres bandes IP que les moteurs de recherche ordinaires. Les gammes réelles sont répertoriées dans un fichier JSON à usage spécial. Leurs records DNS inverses ont un type de type rate-limited-proxy-***-***-***-***.google.com.
La liste de ces agents est donnée ci-dessous, leurs lignes d'agent utilisateur, les valeurs utilisées pour robots.txt Et une description de l'influence de leurs contextes sur le travail des services. La liste n'est pas exhaustive, mais comprend les robots qui apparaissent le plus souvent dans les journaux et soulèvent des questions parmi les propriétaires de sites.
Agent utilisateur: API-HOOOGLE
Enregistrer dans robots.txt:user-agent: APIs-Google
Ignore les règles mondiales *.
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Utilisé par les services API pour contrôler la livraison des messages push sur votre site.
Agent utilisateur: Adsbot-google-mobile
Enregistrer dans robots.txt:user-agent: AdsBot-Google-Mobile
Il ignore également les règles mondiales.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Il est utilisé pour analyser la qualité de la publicité sur les versions mobiles des pages de votre site.
Agent utilisateur: Adsbot-google
Enregistrer dans robots.txt:user-agent: AdsBot-Google
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Le robot vérifie l'efficacité et la conformité de la publicité sur les pages du site.
Agent utilisateur: Mediapartners-google
Enregistrer dans robots.txt:user-agent: Mediapartners-Google
Faire le tour de la directive *.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Visitez votre site pour sélectionner la publicité pertinente et son placement sur les pages.
Agent utilisateur: Google-sécurité
Robots.txt: Il est complètement ignoré
Le robot sert à identifier les liens et les abus malveillants sur les pages du site. N'obéisse pas robots.txtcar il fonctionne exclusivement pour des raisons de sécurité.
Vous trouverez ci-dessous des agents qui ne sont plus utilisés, mais avant qu'ils ne puissent être présents dans les journaux ou influencent le comportement de balayage.
Agent utilisateur: ADSBOT-GOOGLE-MOBILE (obsolète)
Robots.txt: J'ai ignoré les règles mondiales
Il a été utilisé pour évaluer la qualité de la publicité sur les pages ouvertes à partir d'appareils mobiles.
Agent utilisateur: Duplexweb-google
Robots.txt: Pourrait ignorer la directive *
Il a été utilisé par les services automatisés pour interagir avec le contenu des pages du site.
Agent utilisateur: Google Favicon
Robots.txt: Jetons standard utilisés Googlebot-Image Et Googlebot
Il était responsable de l'affichage et du choix de l'icône du site dans les interfaces de recherche.
Agent utilisateur: ADSBOT-GOOGLE-MOBILE-APPS
Robots.txt: A suivi les règles d'Adsbot-Google, ignorant *
Analysé les pages des applications Android pour évaluer leur conformité aux exigences publicitaires.
Agent utilisateur: Googleblight
Robots.txt: J'ai ignoré les règles, car elle n'était active que pour une demande d'utilisateur
Cet agent a fourni une version simplifiée des pages du site lors d'une connexion lente, vérifiant la présence d'un en-tête no-transform.
Pour tous les problèmes de définition de robots.txt, de gestion des scanners, ainsi que par SEO-Optimisation, vous pouvez contacter SEO Company SEO.:info@seo.computer WhatsApp: +7 920 204-44-61
ID: 86
