Что такое Гугл (Google)bot и как он влияет на ваш сайт в Гугл (Google)

Гугл (Google)bot — это общее название для двух типов веб-роботов, используемых в Гугл (Google) Search:

Гугл (Google)bot Smartphone: мобильный робот, который симулирует пользователя на мобильном устройстве.
Гугл (Google)bot Desktop: десктопный робот, который симулирует пользователя на компьютере.

Вы можете определить подтип Гугл (Google)bot, посмотрев в HTTP-заголовок запроса user-agent. Однако оба типа роботов подчиняются одному и тому же токену продукта (токену user-agent) в robots.txt, поэтому нельзя выбрать один из них (Гугл (Google)bot Smartphone или Гугл (Google)bot Desktop) с помощью robots.txt.

Для большинства сайтов Гугл (Google) Search в первую очередь индексирует мобильную версию контента. Поэтому большинство запросов от Гугл (Google)bot будут сделаны с использованием мобильного робота, а меньшинство — с использованием десктопного робота.

Как Гугл (Google)bot взаимодействует с вашим сайтом в Гугл (Google)

Для большинства сайтов Гугл (Google)bot не должен посещать ваш сайт чаще, чем раз в несколько секунд в среднем. Однако из-за задержек можно ожидать, что этот показатель будет немного выше за короткие промежутки времени. Если ваш сайт не успевает справляться с запросами Гугл (Google)bot, вы можете уменьшить скорость его обхода.

Гугл (Google)bot может сканировать первые 15 МБ -файла или поддерживаемого текстового файла. Каждый ресурс, на который ссылается , такой как CSS или JavaScript, загружается отдельно, и каждый запрос ограничен тем же пределом по размеру файла. После первых 15 МБ файл перестает сканироваться, и только эти 15 МБ файла передаются для индексации. Предел по размеру применяется к некомпрессированным данным. Другие роботы Гугл (Google), такие как Гугл (Google)bot Video и Гугл (Google)bot Image, могут иметь другие ограничения.

При обходе с IP-адресов в США часовой пояс Гугл (Google)bot — это Тихоокеанское время.

Другие технические характеристики Гугл (Google)bot описаны в обзоре роботов Гугл (Google).

Как заблокировать Гугл (Google)bot от посещения вашего сайта в Гугл (Google)

Гугл (Google)bot находит новые URL для обхода в первую очередь через ссылки, встроенные в уже посещенные страницы. Почти невозможно скрыть сайт, не публикуя на него ссылки. Например, как только кто-то перейдет по ссылке с вашего «секретного» сайта на другой сайт, URL вашего «секретного» сайта может появиться в теге referrer и будет сохранен и опубликован другим сайтом в его логах.

Если вы хотите предотвратить обход Гугл (Google)bot на вашем сайте, у вас есть несколько вариантов. Помните, что есть разница между обходом и индексацией: блокировка Гугл (Google)bot от обхода страницы не помешает URL этой страницы появиться в поисковых результатах:

Чтобы запретить Гугл (Google)bot обходить страницу, используйте файл robots.txt.
Если вы не хотите, чтобы Гугл (Google) индексировал страницу, используйте noindex.
Чтобы полностью заблокировать доступ к странице как для роботов, так и для пользователей, используйте другие методы, такие как защита паролем.

Блокировка Гугл (Google)bot влияет на Гугл (Google) Search (включая Discover и все функции Гугл (Google) Search), а также на другие продукты, такие как Гугл (Google) Images, Гугл (Google) Video и Гугл (Google) News.

Как проверять запросы от Гугл (Google)bot для вашего сайта в Гугл (Google)

Прежде чем решать заблокировать Гугл (Google)bot, важно понимать, что HTTP-заголовок user-agent, используемый Гугл (Google)bot, часто подделывается другими роботами. Поэтому важно проверить, что запрос действительно поступает от Гугл (Google). Лучший способ подтвердить, что запрос исходит от Гугл (Google)bot — это выполнить обратный DNS-поиск на исходный IP-адрес запроса или сверить IP-адрес с диапазонами IP-адресов Гугл (Google)bot.

Если у вас возникнут вопросы по SEO или вам нужна консультация, вы можете связаться с нашей SEO-компанией через email info@seo.computer или WhatsApp: +79202044461.

id 59