Hinterlassen Sie eine Anfrage
Spezialseuchroboter werden von separaten Diensten verwendet, während zwischen der Website und dem Dienst unter den Scanbedingungen spezielle Vereinbarungen festgestellt werden. Beispielsweise kann ein separater Roboter die allgemeine Regel in Robots.txt für alle Agenten (*) ignorieren, wenn der Site -Eigentümer die Zustimmung vorliegt.
Solche Roboter funktionieren nach anderen IP -Bändern als Standard -Suchmaschinen. Die Liste dieser IP -Adressen wird in einer speziellen JSON -Datei platziert. Die umgekehrte DNS-Aufzeichnung dieser IPs kann dem geschwindigkeitsbegrenzten Proxy entsprechen-***. ***. ***. ***. Google.com.
Im Folgenden finden Sie eine Liste spezieller Roboter, die von verschiedenen Diensten verwendet werden, deren Benutzer-Agent-Linien in HTTP-Überprüfungen, Bezeichnungen für Robots.txt sowie eine Beschreibung des Einflusses ihrer Einstellungen auf das Indexierungsverhalten. Die Liste ist nicht vollständig, enthält jedoch die häufigsten Agenten in den Website -Protokollen.
Benutzer-Agent in HTTP-Überprüfungen: Apis-hooogle
User-Agent-Token bei Robots.txt: Apis-hooogle
Allgemeine Regeln durch angegeben *, werden von diesem Roboter nicht berücksichtigt.
Ein Beispiel für Einstellungen in Robots.txt:
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Die Einstellungen für diesen Benutzer-Agent beeinflussen die Bereitstellung von Push-Benachrichtigungen durch die API.
Benutzer-Agent in HTTP-Überprüfungen: Adsbot-Google-Mobile
User-Agent-Token bei Robots.txt: Adsbot-Google-Mobile
Allgemeine Richtlinien werden ignoriert.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Dieser Agent überprüft die Qualität der Werbung auf den Seiten Ihrer Website, die in Werbeprodukten verwendet werden.
Benutzer-Agent in HTTP-Überprüfungen: Adsbot-Google
User-Agent-Token bei Robots.txt: Adsbot-Google
Der allgemeine Benutzer-Agent wird ignoriert.
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Wird verwendet, um die Qualität der Werbeinhalte auf den Seiten der Website zu bewerten.
Benutzer-Agent in HTTP-Überprüfungen: MediaPartners-Google
User-Agent-Token bei Robots.txt: MediaPartners-Google
Ignoriert allgemeine Richtlinien in Robots.txt.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Wird verwendet, um die Website zu scannen, um relevante Werbung anzuzeigen.
Benutzer-Agent in HTTP-Überprüfungen: Google-Safety
User-Agent-Token bei Robots.txt: Nicht angewendet - ignoriert die Regeln.
Es wird verwendet, um böswillige Links und andere verdächtige Aktivitäten auf den Seiten der Website zu erkennen. Dieser Agent befolgt den Einstellungen von Robots.txt nicht, da er zum Schutz von Benutzern dient.
Im Folgenden sind die zuvor verwendeten Agenten aufgeführt, aber derzeit nicht mehr aktiv. Informationen werden als Referenz gegeben.
Benutzer-Agent: Adsbot-Google-Mobile
Benutzer-Agent-Token: Adsbot-Google-Mobile
Es wurde verwendet, um die Qualität der Werbung auf mobilen Geräten zu bewerten, z. B. Smartphones.
Benutzer-Agent: Duplexweb-Google
Benutzer-Agent-Token: Duplexweb-Google
Dieser Agent könnte allgemeine Regeln ignorieren, die in interaktiven Diensten verwendet werden.
Benutzer-Agent: Google Favicon
Benutzer-Agent-Token: GoogleBot-Image, GoogleBot
Er war für die Sammlung und Anzeige der Faviko -Website in verschiedenen Schnittstellen verantwortlich.
Benutzer-Agent: Adsbot-Google-Mobile-Apps
Benutzer-Agent-Token: Adsbot-Google-Mobile-Apps
Durchführende Scan -Seiten von Android -Anwendungen, um ihre Qualität und Einhaltung von Werbung zu bewerten.
Benutzer-Agent: GoogleWeblight
Benutzer-Agent-Token: GoogleWeblight
Es wurde nur im Übergang eines echten Benutzers über einen speziellen Suchmodus verwendet. Ich ignorierte Robots.txt, da es nicht als automatischer Scanner angesehen wurde.
Dieser Agent überprüfte die Verfügbarkeit des Headers ohne Transformation auf den Seiten des Standorts, um ihre Anzeige während der langsamen Verbindung zu optimieren.
Wenn Sie die Regeln für die Einrichtung von Robots.txt, speziellen Robotern oder anderen SEO -Fragen klären müssen, wenden Sie sich an Seo.computer Per E-Mail: info@seo.computer oder WhatsApp: +7 920 204-44-61
ID: 86
