Hinterlassen Sie eine Anfrage
Generalchoreler der Website werden verwendet, um nach Informationen zu suchen und Google -Suchmaschinen zu erstellen. Sie werden auch für bestimmte Aufgaben von Produkten und Analysten verwendet. Diese Crawler folgen immer Robots.txt -Regeln mit automatischem Bypass. Die technischen Merkmale der Haupt -Kraler des Standorts gelten für General Kraler.
In der Regel arbeiten die allgemeinen Chulets der Website mit den IP-Adressen, die in der Special GoogleBot.json-Einrichtung aufgeführt sind, und die umgekehrten DNS-Überprüfungen zu ihren Hostemams entsprechen Crawl-***-***-***-***. GoogleBot.com oder ***-***-***. Geo-Crawl-***-***-***-***. Geo.googlebot.com.
Die Liste zeigt die allgemeinen Hütten der Site, ihre Benutzer-Agent-Zeilen in HTTP-Überprüfungen, die den Nutzer-Agent-Token für Robots.txt-Direktiven entsprechen, sowie Produkte, die durch Krasteneinstellungen für jeden Kraler beeinflusst werden. Einige Kralers haben mehrere Tokens-Agent-Token-es reicht aus, um eine davon zu vergleichen, um die Regeln anzuwenden. Die Liste ist nicht erschöpfend, sie enthält nur die häufigsten Anfragen und diejenigen, auf denen Fragen kamen.
Achtung: Die Benutzer-Agent-Linie in der HTTP-Anforderung kann gefälscht werden. Es wird empfohlen zu überprüfen, ob der Besucher wirklich ein Chuler der Google -Suchmaschinen -Site ist.
Benutzer-Agent-Zeilen in HTTP-Überprüfungen für GoogleBot verfügen über zwei Haupttypen für Smartphones und für Desktop-Geräte. Beispiel für Smartphones: Mozilla/5.0 (Linux; Android) Applewebkit/... Chrome/... Mobile Safari/... (kompatibel; GoogleBot/2.1; ...). Für Desktop -Geräte - Mozilla/5.0 Applewebkit/... (kompatibel; GoogleBot/2.1; ...).
Weniger häufig gibt es Optionen wie Mozilla/5.0 (kompatibel; GoogleBot/2.1; ...) oder nur GoogleBot/2.1 (...).
Robots.txt verwendet GoogleBot Token, um diesen Crawler der Website zu verwalten.
GoogleBot -Einstellungen wirken sich auf Google -Suchprodukte aus, einschließlich Such-, Entdeckungs-, Bild- und Nachrichtensuche, Video und Nachrichten.
Line User-Agent: GoogleBot-Image/1.0.
Token in Robots.txt: GoogleBot-Image.
Das CRAULING -Management durch diesen Kraler der Website spiegelt sich in der Suche nach Bildern, Erkennen, Videoinhalten und Anzeige von Logos und Phavicons in den Ergebnissen der Google -Suche wider.
Der String User-Agent: GoogleBot-Video/1.0.
Token in Robots.txt: GoogleBot-Video.
Diese Crauls der Website wirkt sich auf die Funktionen der Suche nach Video und Produkten im Zusammenhang mit Videoinhalten aus.
Dieser Crawler der Website verwendet keine separate HTTP-Benutzer-Agent. Die Kraulung von Nachrichteninhalten wird mit verschiedenen GoogleBot-Benutzer-Agent-Zeilen durchgeführt.
Token in Robots.txt: GoogleBot-News.
Crowling -Einstellungen wirken sich auf Google News -Dienste aus, einschließlich Nachrichten und mobiler Anwendungen.
Benutzer-Agent-Zeilen sind für Desktop- und Mobilgeräte gelten, die Storebot-Google anzeigen.
Token in Robots.txt: Storebot- Google.
Diese Website wird verwendet, um Daten für Handelsprodukte zu sammeln, z. B. den Kaufabschnitt bei der Suche nach Google.
Die USR-Agent-Linien für Desktop- und Mobilgeräte enthalten Google-Infektionstool.
Token bei Robots.txt: Google-InspectionTool.
Diese Website wird verwendet, um die Suchergebnisse zu testen und wirkt sich nicht auf die allgemeinen Ergebnisse der Google -Suche aus.
Linien Benutzer-Agent: Mozilla/... (kompatibel; Googleometer) für Mobil- und Desktop-Geräte.
Token bei Robots.txt: Googleother.
Diese Website wird für verschiedene einzelne oder interne Aufgaben verwendet, ohne die Ergebnisse der Google -Suche zu beeinflussen.
Benutzer-Agent-Zeile: Googleometer-Image/1.0.
Token in Robots.txt: Googleometer-Image.
Crowler von der Website ist für das Sammeln von Bildern optimiert, ohne sich auf bestimmte Google -Produkte auszuwirken.
Benutzer-Agent-Zeile: Googleometer-Video/1.0.
Token in Robots.txt: Googleometer-Video.
Wird verwendet, um Videodateien zu sammeln, ohne die Suchergebnisse zu beeinflussen.
Die Benutzer-Agent-Zeile enthält Google-Cloudvertexbot.
Token in Robots.txt: Google-Cloudvertexbot.
Es wird für Kraling verwendet, die sich auf die Konstruktion von AI-Agents beziehen, und wirkt sich nicht auf die Suchergebnisse von Google aus.
Es gibt keine separate HTTP-String-Benutzer-Agent. Token in Robots.txt: Google Extended.
Ermöglicht es den Eigentümern der Website, die Verwendung von Inhalten für Schulungs -KI -Modelle zu steuern, ohne das Ranking bei der Suche nach Google zu beeinflussen.
Die Bezeichnung Chrome/W.x.y.z in den Benutzer-Agent-Linien ist eine Vorlage, die die Version des Chrom-Browsers angibt, das von den Crauls der Site verwendet wird. Die Versionsnummer wird im Laufe der Zeit aktualisiert.
Bei der Suche oder Filterung durch Benutzer-Agent in Protokollen wird empfohlen, Substitutionszeichen für die Version anstelle einer genauen Nummer zu verwenden.
Für Fragen können Sie sich per E -Mail an seo seo.computer wenden info@seo.computer Oder durch WhatsApp +79202044461.
ID 141
