Hinterlassen Sie eine Anfrage
Google verwendet Kraler und Westen, um verschiedene Aktionen für seine Produkte automatisch und auf Anfrage des Benutzers auszuführen. Crowler (manchmal auch als „Roboter“ oder „Spinne“ bezeichnet) ist ein gebräuchlicher Name für ein Programm, mit dem Websites automatisch erfasst und scannen. THETE fungiert als ein Programm ähnlich wie WGet und führt normalerweise eine einzige Anfrage im Namen des Benutzers durch. Google -Produkte können in drei Kategorien unterteilt werden:
Konventioneller Kraler, der für Google -Produkte verwendet wird (z. B. GoogleBot), folgt immer Robots.txt -Regeln für das automatische Scannen.
Special Kraler ähnelt den normalen, werden jedoch in bestimmten Produkten verwendet, bei denen zwischen der gescannten Website und dem Google -Produkt über den Scanprozess eine Vereinbarung besteht. Beispielsweise ignoriert ADSBOT global Robots.txt User-Agent mit der Auflösung des Site-Eigentümers.
Die Benutzer sind Teil der Produkt- und Produktfunktionen, wenn der endgültige Benutzer die Anfrage initiiert. Beispielsweise arbeitet die Google Site Verifier auf Anfrage des Benutzers.
Google Craoler und Veters sind so konzipiert, dass sie gleichzeitig auf Tausenden von Maschinen arbeiten, um die Leistung und Skalierbarkeit im Internet zu erhöhen. Um die Verwendung der Bandbreite zu optimieren, werden diese Kunden nach vielen Rechenzentren auf der ganzen Welt verteilt, sodass sie näher an den Standorten liegen, an denen sie kontaktiert werden können. Daher können Besuche verschiedener IP -Adressen in Ihren Protokollen angegeben werden. Google Egress findet hauptsächlich mit IP -Adressen in den USA statt. Wenn Google feststellt, dass die Site -Blöcke Anfragen aus den USA blockiert, kann er versuchen, nach IP -Adressen in anderen Ländern zu scannen.
Google Craoler und Veters unterstützen HTTP/1.1 und HTTP/2. Craoler verwenden die Version des Protokolls, die die beste Scanleistung liefert, und kann je nach Statistik früherer Scan -Sitzungen zwischen Protokollen wechseln. Standardmäßig verwendet Google Kraler das HTTP/1.1 -Protokoll. Durch Scannen von HTTP/2 können Sie Rechenressourcen (z. B. CP, RAM) sowohl für Ihre Website als auch für GoogleBot speichern. Andernfalls gibt es jedoch keine spezifischen Vorteile für die Website (z. B. wirkt sich dies nicht auf die Bewertung in Google Search aus). Um das Scannen durch HTTP/2 zu verweigern, setzen Sie den Server so ein, dass er mit dem Status 421 reagiert, wenn Google versucht, über http/2 auf Ihre Website zuzugreifen. Wenn dies nicht möglich ist, können Sie eine Nachricht an das Scan -Team senden (obwohl dies eine vorübergehende Entscheidung ist).
Die Infrastruktur von Google Coilers unterstützt auch das Scannen über FTP (wie in RFC959 und seine Aktualisierungen definiert) und FTPs (wie in RFC4217 und seinen Aktualisierungen definiert). Das Scannen dieser Protokolle ist jedoch selten.
Google Craoler und Tester unterstützen die folgenden Methoden zur Komprimierung von Inhalten (Codierung): GZIP, Deflate und Brotli (BR). Unterstützte Inhaltscodierung für jeden Google-Benutzeragenten ist für jede von ihm gestellte Anfrage in der Anerkennung angegeben. Zum Beispiel: Akzeptanzkodierung: Gzip, Deflate, Br.
Unser Ziel ist es, bei jedem Besuch so viele Seiten Ihrer Website wie möglich zu scannen, ohne den Server zu überladen. Wenn Ihre Website Schwierigkeiten hat, Anfragen von Google zu stellen, können Sie die Scangeschwindigkeit reduzieren. Bitte beachten Sie, dass das Senden des falschen HTTP -Status an Google Kraoler die Art und Weise, wie Ihre Website in Google -Produkten angezeigt wird, beeinflussen kann.
Die Infrastruktur von Google Kraler unterstützt die heuristischen HTTP-Shows, die durch den HTTP-Caching-Standard bestimmt wird, insbesondere über die Überschriften für ETAG und IF-None-Match sowie über die letztmodifizierten und modifizierten Wäsche-Überschriften.
HINWEIS: Es wird empfohlen, die Werte von ETAG festzulegen und unabhängig von den Vorlieben von Google Cruls zuletzt modifiziert. Diese Header werden auch von anderen Anwendungen wie CMS verwendet.
Wenn sowohl die ETAG- als auch die letzten modifizierten Felder in den Rücksendungen vorhanden sind, verwendet Google Kraler den ETAG-Wert, wie der HTTP-Standard erfordert. Für Google Coiler empfehlen wir die Verwendung von ETAG anstelle von Last-modifiziert, um die Präferenzen des Caching anzugeben, da ETAG keine Probleme mit der Formatierung von Daten aufweist.
Andere Richtlinien des HTTP -Caching werden nicht unterstützt.
Separate Crowlers und Google -Veter können abhängig von den Anforderungen des Produkts, mit dem sie zugeordnet sind, das Caching verwenden oder nicht. Beispielsweise unterstützt GoogleBot das Caching bei wiederholten Scan-URLs für die Google-Suche, und Storebot-Google unterstützt das Caching nur unter bestimmten Bedingungen.
Um die HTTP -Codierung für Ihre Website zu implementieren, wenden Sie sich an Ihren Hosting -Anbieter oder Lieferanten des Content -Management -Systems.
Die Google CRAL-Infrastruktur unterstützt ETAG und IF-None-Match, wie durch den HTTP-Caching-Standard bestimmt. Erfahren Sie mehr über den ETAG-Header und seine Anfrage des If-None-Match.
Die Infrastruktur von Google Kraler unterstützt mit den folgenden Reservierungen mit den folgenden Reservierungen:
Erfahren Sie mehr über die Last-modifizierte Überschrift und ihre Anfrage in der Modified-Modified-Since.
Google CRAULES identifizieren sich auf drei Arten:
Finden Sie heraus, wie Sie diese Daten verwenden, um Google Cholera und Frinders zu überprüfen.
Wenn Sie Fragen zu SEO haben oder Hilfe benötigen, wenden Sie sich per E -Mail an unseren SEO -Begleiter info@seo.computer oder durch WhatsApp: +79202044461.
ID 61
