Hinterlassen Sie eine Anfrage
Einige Suchroboter werden nicht von einem Standardindexierungssystem verwendet, sondern von einzelnen Produkten, mit denen die Eigentümer Ihrer Website eine besondere Vereinbarung über Scanbedingungen haben. Zum Beispiel kann ein bestimmter Roboter globale Richtlinien umgehen robots.txt, für alle Agenten (*) angegeben, wenn die Erlaubnis vorliegt.
Solche spezialisierten Roboter arbeiten mit anderen IP -Bändern als gewöhnliche Suchmaschinen. Die tatsächlichen Bereiche sind in einer speziellen JSON -Datei aufgeführt. Ihre umgekehrten DNS-Rekords haben eine Art Art von Typ rate-limited-proxy-***-***-***-***.google.com.
Die Liste solcher Agenten ist unten angegeben, ihre Benutzer-Agent-Zeilen, die verwendet für die verwendeten Werte robots.txt Und eine Beschreibung des Einflusses ihrer Einstellungen auf die Arbeit der Dienste. Die Liste ist nicht erschöpfend, enthält jedoch die Roboter, die am häufigsten in den Protokollen auftreten und Fragen unter den Eigentümern von Site aufwerfen.
Benutzer-Agent: Apis-hooogle
Aufzeichnung in Robots.txt:user-agent: APIs-Google
Ignoriert globale Regeln *.
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Wird von API -Diensten verwendet, um die Lieferung von Push -Nachrichten an Ihre Website zu steuern.
Benutzer-Agent: Adsbot-Google-Mobile
Aufzeichnung in Robots.txt:user-agent: AdsBot-Google-Mobile
Es ignoriert auch globale Regeln.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Es wird verwendet, um die Qualität der Werbung auf mobilen Versionen der Seiten Ihrer Website zu analysieren.
Benutzer-Agent: Adsbot-Google
Aufzeichnung in Robots.txt:user-agent: AdsBot-Google
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Der Roboter überprüft die Effektivität und Einhaltung der Werbung auf den Seiten der Website.
Benutzer-Agent: MediaPartners-Google
Aufzeichnung in Robots.txt:user-agent: Mediapartners-Google
Um die Richtlinie herumgehen *.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Besuchen Sie Ihre Website, um relevante Werbung und ihre Platzierung auf den Seiten auszuwählen.
Benutzer-Agent: Google-Safety
Robots.txt: Es wird völlig ignoriert
Der Roboter dient dazu, böswillige Links und Missbräuche auf den Seiten der Website zu identifizieren. Gehorcht nicht robots.txtwie es ausschließlich aus Sicherheitsgründen funktioniert.
Im Folgenden finden Sie Agenten, die nicht mehr verwendet werden, aber bevor sie in Protokollen vorhanden sein oder das Scanverhalten beeinflussen.
Benutzer-Agent: ADSBOT-Google-Mobile (veraltet)
Robots.txt: Ich habe globale Regeln ignoriert
Es wurde verwendet, um die Qualität der Werbung auf Seiten von Mobilgeräten zu bewerten.
Benutzer-Agent: Duplexweb-Google
Robots.txt: Könnte die Richtlinie ignorieren *
Es wurde von automatisierten Diensten verwendet, um mit dem Inhalt der Site -Seiten zu interagieren.
Benutzer-Agent: Google Favicon
Robots.txt: Verwendete Standard -Token Googlebot-Image Und Googlebot
Er war für die Anzeige und Auswahl des Site -Symbols in Suchschnittstellen verantwortlich.
Benutzer-Agent: Adsbot-Google-Mobile-Apps
Robots.txt: Befolgte die Regeln von Adsbot-Google und ignorierte *
Analysierte die Seiten von Android -Anwendungen, um ihre Einhaltung der Werbeanforderungen zu bewerten.
Benutzer-Agent: GoogleWeblight
Robots.txt: Ich habe die Regeln ignoriert, da sie nur für eine Benutzeranforderung aktiv war
Dieser Agent lieferte eine vereinfachte Version der Site -Seiten während einer langsamen Verbindung, in der das Vorhandensein eines Headers überprüft wurde no-transform.
Für alle Probleme des Setzens von Robots.txt, Scanners Management sowie durch SEO-Optimierung können Sie sich wenden SEO Company seo.computer:info@seo.computer WhatsApp: +7 920 204-44-61
ID: 86
