Zostaw prośbę
Google używa Kralera i kamizelki do wykonywania różnych działań dla swoich produktów, zarówno automatycznie, jak i na żądanie użytkownika. Crowler (czasami nazywany również „robotem” lub „pająkiem”) jest wspólną nazwą programu używanego do automatycznego wykrywania i skanowania stron internetowych. TETY działają jako program podobny do WGET i zwykle wykonują jedno żądanie w imieniu użytkownika. Produkty Google można podzielić na trzy kategorie:
Konwencjonalny Kraler używany do produktów Google (na przykład GoogleBot) zawsze obserwuj ROBOT.TXT Reguły do automatycznego skanowania.
Specjalny Kraler jest podobny do zwykłych, ale są używane w określonych produktach, w których istnieje umowa między zeskanowaną witryną a produktem Google w sprawie procesu skanowania. Na przykład ADSBOT ignoruje globalny agent użytkownika roboty.
Użytkownicy są częścią funkcji produktu i produktu, gdy użytkownik końcowy inicjuje żądanie. Na przykład weryfikator strony Google działa na żądanie użytkownika.
Google Craolers i weterynarze są zaprojektowane tak, aby działały jednocześnie na tysiącach maszyn w celu zwiększenia wydajności i skalowalności w miarę wzrostu Internetu. Aby zoptymalizować wykorzystanie przepustowości, klienci ci są dystrybuowani zgodnie z wieloma centrami danych na całym świecie, więc znajdują się bliżej witryn, z którymi można się skontaktować. Dlatego w dziennikach można wskazać wizyty z różnych adresów IP. Wyjście Google odbywa się głównie z adresami IP w Stanach Zjednoczonych. Jeśli Google stwierdzi, że strona blokuje żądania ze Stanów Zjednoczonych, może spróbować skanować z adresów IP zlokalizowanych w innych krajach.
Google Craolers and Veters obsługuje HTTP/1.1 i HTTP/2. Craolers użyją wersji protokołu, który zapewnia najlepszą wydajność skanowania, i może przełączać się między protokołami w zależności od statystyk poprzednich sesji skanowania. Domyślnie Google Kraler używa protokołu HTTP/1.1. Skanowanie za pośrednictwem HTTP/2 może zapisać zasoby obliczeniowe (na przykład CP, RAM) zarówno dla Twojej witryny, jak i GoogleBot, ale poza tym nie daje żadnych konkretnych zalet dla witryny (na przykład nie wpływa to na ocenę w wyszukiwarce Google). Aby odmówić skanowania za pośrednictwem HTTP/2, ustaw serwer, aby odpowiadał statusem 421, gdy Google próbuje uzyskać dostęp do Twojej witryny za pośrednictwem HTTP/2. Jeśli nie jest to możliwe, możesz wysłać wiadomość do zespołu skanowania (chociaż jest to decyzja tymczasowa).
Infrastruktura Google Croillers obsługuje również skanowanie za pośrednictwem FTP (zgodnie z definicją w RFC959 i jego aktualizacjach) i FTP (zgodnie z definicją w RFC4217 i jej aktualizacjach), jednak skanowanie tych protokołów jest rzadkie.
Google Craolers and Testerzy obsługują następujące metody kompresji treści (kodowanie): GZIP, deflate i Brotli (BR). Obsługiwane kodowanie treści dla każdego agenta użytkownika Google są wskazane w nagłówku akceptującego dla każdego złożonego żądania. Na przykład: akceptuj: gzip, deflate, br.
Naszym celem jest skanowanie jak największej liczby stron Twojej witryny podczas każdej wizyty bez przeciążenia serwera. Jeśli Twoja witryna ma trudności z obsługą żądań Google, możesz zmniejszyć prędkość skanowania. Należy pamiętać, że wysłanie niewłaściwego statusu HTTP do Google Kraolers może wpłynąć na sposób wyświetlania Twojej witryny w produktach Google.
Infrastruktura Google Kralera obsługuje heurystyczne show HTTP, zgodnie z ustaleniami standardu pobierania HTTP, w szczególności poprzez nagłówki ETAG i IF-None-Match, a także przez ostatnie zmodyfikowane i modyfikowane nagłówki lniane.
Uwaga: Zaleca się ustawienie wartości ETAG i ostatniej modyfikowanej, niezależnie od preferencji Google Cruls. Te nagłówki są również używane przez inne aplikacje, takie jak CMS.
Jeśli zarówno pola ETAG, jak i ostatnie modyfikowane są obecne w nagłówkach powrotu, Google Kraler używa wartości ETAG, jak wymaga standard HTTP. W przypadku Crojlerów Google zalecamy użycie ETAG zamiast ostatniej modyfikowanej, aby wskazać preferencje buforowania, ponieważ ETAG nie ma problemów z formatowaniem dat.
Inne dyrektywy buforowania HTTP nie są obsługiwane.
Oddzielne Crowlers i Google Veters mogą lub nie mogą korzystać z buforowania w zależności od potrzeb produktu, z którym są powiązane. Na przykład GoogleBot obsługuje buforowanie podczas powtarzających się adresów URL skanowania w celu wyszukiwania Google, a StoreBot-Google obsługuje buforowanie tylko w określonych warunkach.
Aby wdrożyć kodowanie HTTP dla Twojej witryny, skontaktuj się z dostawcą hostingowym lub dostawcą systemu zarządzania treścią.
Infrastruktura Google Craul obsługuje ETAG i IF-NONE, zgodnie z standardem pobierania HTTP. Dowiedz się więcej o nagłówku ETAG i jego żądaniu IF-None-Match.
Infrastruktura Google Kraler obsługuje ostatnią modyfikowaną i modyfikowaną scenę, zgodnie z ustaleniem standardu pobierania HTTP, z następującymi zastrzeżeniami:
Dowiedz się więcej o nagłówku ostatniej modyfikowanej i jego prośbie o modyfikowane.
Google Craules identyfikuje się na trzy sposoby:
Dowiedz się, jak korzystać z tych danych do sprawdzenia Google Cholera i Frinders.
Jeśli masz pytania dotyczące SEO lub będziesz potrzebować pomocy, skontaktuj się z naszym towarzyszem SEO przez e -mail info@seo.computer lub przez WhatsApp: +79202044461.
ID 61
