Laisser une demande
Les chorers généraux du site sont utilisés pour rechercher des informations et créer des moteurs de recherche Google. Ils sont également utilisés pour des tâches spécifiques de produits et d'analystes. Ces Crawlers suivent toujours les règles Robots.TXT avec le contournement automatique. Les caractéristiques techniques des principaux Kralers du site s'appliquent au général Kraler.
En règle générale, les produits généraux du site fonctionnent avec les adresses IP répertoriées dans l'installation spéciale Googlebot.json, et les vérifications DNS inversées à leurs hostémams correspondent à Crawl - *** - *** - *** - ***. Googlebot.com ou *** - *** - ***. Geo-Crawl - *** - *** - *** - ***. Geo.googlebot.com.
La liste montre les huttes générales du site, leurs lignes d'agent utilisateur dans les vérifications HTTP, correspondant à des jetons d'agent utilisateur pour les directives Robots.txt, ainsi que les produits influencés par des paramètres effondrés pour chaque Kraler. Certains Kralers ont plusieurs jetons d'agent utilisateur, il suffit de comparer l'un d'eux pour appliquer les règles. La liste n'est pas exhaustive, il ne comprend que les demandes les plus courantes et celles sur lesquelles les questions sont apparues.
ATTENTION: La ligne utilisateur-agent dans la demande HTTP peut être truquée. Il est recommandé de vérifier si le visiteur est vraiment un chuleur du site de moteur de recherche Google.
Les lignes d'agent utilisateur dans les vérifications HTTP pour Googlebot ont deux smartphones principaux pour les appareils de bureau. Exemple pour les smartphones: Mozilla / 5.0 (Linux; Android) Applewebkit / ... Chrome / ... Mobile Safari / ... (compatible; GoogleBot / 2.1; ...). Pour les appareils de bureau - Mozilla / 5.0 Applewebkit / ... (compatible; Googlebot / 2.1; ...).
Moins souvent, il existe des options telles que Mozilla / 5.0 (compatible; GoogleBot / 2.1; ...) ou simplement GoogleBot / 2.1 (...).
Robots.txt utilise le jeton Googlebot pour gérer cet explication du site.
Les paramètres de Googlebot affectent les produits de recherche Google, y compris la recherche, la découverte, l'image et la recherche de nouvelles, la vidéo et les nouvelles.
Ligne User-Agent: GoogleBot-Image / 1.0.
Token in robots.txt: googlebot-iMage.
La gestion de la mise en œuvre par ce kraler du site se reflète dans la recherche d'images, de découvertes, de contenu vidéo et d'affichage de logos et de phavicons dans les résultats de la recherche Google.
L'agent utilisateur de chaîne: googlebot-video / 1.0.
Token in robots.txt: googlebot-video.
Ce Crauls du site affecte les fonctions de recherche de vidéo et de produits liées au contenu vidéo.
Ce robot du site n'utilise pas d'agent utilisateur HTTP distinct. Le mise en œuvre du contenu d'actualités est effectué à l'aide de différentes lignes d'agent utilisateur GoogleBot.
Token in robots.txt: googlebot-news.
Les paramètres de Crowling affectent les services d'information Google, y compris les nouvelles et les applications mobiles.
Les lignes d'agent utilisateur sont destinées aux appareils de bureau et mobiles indiquant StoreBot-Google.
Token in robots.txt: storebot- google.
Ce site est utilisé pour collecter des données pour les produits de trading, tels que la section des achats dans la recherche de Google.
Les lignes USR-Agent pour les appareils de bureau et mobiles contiennent Google-InfectionTool.
Token sur robots.txt: google-inspectiontool.
Ce site est utilisé pour tester les résultats de la recherche et n'affecte pas les résultats généraux de la recherche Google.
Lignes d'utilisateur-agent: Mozilla / ... (compatible; Googleomètre) pour les appareils mobiles et de bureau.
Token sur robots.txt: googleother.
Ce site est utilisé pour diverses tâches uniques ou internes, sans affecter les résultats de la recherche Google.
Ligne utilisateur-agent: Googleomètre-IMAGE / 1.0.
Token in robots.txt: googleomètre-image.
Crowler du site est optimisé pour collecter des images sans affecter des produits Google spécifiques.
Ligne d'agent utilisateur: Googleomètre-video / 1.0.
Token in robots.txt: googleomètre-video.
Utilisé pour collecter des fichiers vidéo sans affecter les résultats de la recherche.
La ligne utilisateur-agent contient Google-Cloudvertexbot.
Token in robots.txt: google- cloudvertexbot.
Il est utilisé pour Kraling lié à la construction d'Ai-Agents et n'affecte pas les résultats de recherche de Google.
Il n'a pas d'agent utilisateur HTTP String HTTP distinct. Token in robots.txt: google- étendu.
Permet aux propriétaires du site de contrôler l'utilisation du contenu pour la formation des modèles d'IA sans affecter le classement dans la recherche de Google.
La désignation chrome / w.x.y.z dans les lignes utilisateur-agent est un modèle indiquant la version du navigateur Chrome utilisé par les Crauls du site. Le numéro de version est mis à jour au fil du temps.
Lors de la recherche ou du filtrage par agent utilisateur dans les journaux, il est recommandé d'utiliser des panneaux de substitution pour la version au lieu d'un numéro précis.
Pour toutes les questions, vous pouvez contacter SEO SEO.com Puter, par e-mail info@seo.computer Ou via WhatsApp +79202044461.
ID 141
