Zostaw prośbę
Ogólne krawędźce witryny służą do wyszukiwania informacji i tworzenia wyszukiwarek Google. Są one również używane do określonych zadań produktów i analityków. Te roboty zawsze przestrzegają reguł Robots.txt z automatycznym obejściem. Charakterystyka techniczna głównych kralerów witryny dotyczą ogólnego Kralera.
Z reguły ogólne chulety witryny działają z adresami IP wymienionymi w specjalnym obiekcie GoogleBot.json, a odwrotne kontrole DNS do ich hostemamów odpowiadają Crawl-***-***-***-***. GoogleBot.com lub ***-***-***. Geo-Crawl-***-***-***-***. Geo.googlebot.com.
Lista pokazuje ogólne chaty witryny, ich linie użytkownika-agenta w kontrolach HTTP, odpowiadające tokenom agentów użytkownika dla dyrektyw robotów. Niektóre Krallery mają kilka tokenów użytkownika-agenta-wystarczy, aby porównać jeden z nich do zastosowania zasad. Lista nie jest wyczerpująca, zawiera tylko najczęstsze prośby i te, na których pojawiły się pytania.
Uwaga: linia użytkownika-agenta w żądaniu HTTP można sfałszować. Zaleca się sprawdzenie, czy gość jest naprawdę chulerem witryny wyszukiwarki Google.
Linie użytkownika-agenta w czekach HTTP dla GoogleBot mają dwa główne typy smartfonów i urządzenia stacjonarne. Przykład dla smartfonów: Mozilla/5.0 (Linux; Android) AppleWebkit/... Chrome/... Mobile Safari/... (kompatybilny; GoogleBot/2.1; ...). W przypadku urządzeń stacjonarnych - Mozilla/5.0 AppleWebKit/... (kompatybilny; GoogleBot/2.1; ...).
Rzadziej istnieją takie opcje, jak Mozilla/5.0 (kompatybilny; GoogleBot/2.1; ...) lub po prostu GoogleBot/2.1 (...).
Robots.txt używa tokenu GoogleBot do zarządzania tym bokiem witryny.
Ustawienia GoogleBot wpływają na produkty wyszukiwania Google, w tym wyszukiwanie, odkrywanie, wyszukiwanie obrazów i wiadomości, wideo i wiadomości.
Agent użytkownika linii: GoogleBot-Image/1.0.
Token in Robots.txt: GoogleBot-Image.
Zarządzanie Crauling przez ten Kraler witryny znajduje odzwierciedlenie w wyszukiwaniu zdjęć, odkrywaniu, treści wideo i wyświetlaniu logo i phaviconów w wynikach wyszukiwania Google.
String User-Agent: GoogleBot-Video/1.0.
Token in Robots.txt: GoogleBot-Video.
Ta krai witryny wpływają na funkcje wyszukiwania wideo i produktów związanych z treścią wideo.
Ten szczupłek witryny nie używa osobnego agenta użytkownika HTTP. Kraulowanie treści wiadomości jest wykonywane przy użyciu różnych linii użytkownika GoogleBot.
Token in Robots.txt: GoogleBot-News.
Ustawienia Clinling wpływają na usługi informacyjne Google, w tym wiadomości i aplikacje mobilne.
Linie użytkownika-agenta dotyczą urządzeń komputerowych i mobilnych wskazujących StoreBot-Google.
Token in Robots.txt: Storebot- Google.
Ta strona służy do gromadzenia danych do handlu produktami, takimi jak sekcja zakupów w wyszukiwaniu Google.
Linie USR-Agent dla urządzeń stacjonarnych i mobilnych zawierają Google-InfectionTool.
Token w Robots.txt: Google-InsspectionTool.
Ta strona jest używana do testowania wyników wyszukiwania i nie wpływa na ogólne wyniki wyszukiwania Google.
Linie użytkownika-agent: Mozilla/... (kompatybilny; Googleometr) dla urządzeń mobilnych i komputerowych.
Token w Robots.txt: Googleother.
Ta strona jest używana do różnych zadań pojedynczych lub wewnętrznych, bez wpływu na wyniki wyszukiwania Google.
Linia użytkownika-agenta: Googleometr-Image/1.0.
Token in Robots.txt: Googleometr-Image.
Crowler witryny jest zoptymalizowany do zbierania obrazów bez wpływu na określone produkty Google.
Linia użytkownika-agenta: Googleometr-Video/1.0.
Token in Robots.txt: Googleometr-Video.
Służy do zbierania plików wideo bez wpływu na wyniki wyszukiwania.
Linia agentów użytkownika zawiera Google-CloudverXBot.
Token in Robots.txt: Google- CloudverTexBot.
Służy do Kraling związany z budową AI-Agents i nie wpływa na wyniki wyszukiwania Google.
Nie ma oddzielnego agenta użytkownika HTTP String. Token in Robots.txt: Google-rozszerzony.
Pozwala właścicielom witryny kontrolować wykorzystanie treści do szkolenia modeli AI bez wpływu na ranking w wyszukiwaniu Google.
Oznaczenie Chrome/W.X.Y.Z w liniach użytkownika-agenta jest szablonem wskazującym wersję chromowanej przeglądarki używanej przez Crauls of Witryny. Numer wersji jest aktualizowany z czasem.
Podczas wyszukiwania lub filtrowania przez użytkownika-agenta w dziennikach zaleca się użycie znaków podstawienia dla wersji zamiast dokładnej liczby.
W przypadku pytań możesz skontaktować się z SEO SEO.COMPUTER za pośrednictwem poczty e -mail info@seo.computer Lub przez WhatsApp +79202044461.
ID 141
