Как подтвердить, что Гугл (Google)bot и другие поисковые роботы Гугл (Google) на самом деле заходят на ваш сайт через Гугл (Google)

Вы можете проверить, является ли веб-робот, который обращается к вашему серверу, настоящим Гугл (Google)bot. Это полезно, если вы беспокоитесь, что спамеры или другие злоумышленники могут получать доступ к вашему сайту, притворяясь Гугл (Google)bot.

Роботы Гугл (Google) делятся на три категории:

Типы роботов Гугл (Google), проверка на вашем сайте в Гугл (Google)

Описание типов роботов Гугл (Google), которые могут посещать ваш сайт, а также их соответствующие IP-диапазоны:

Обычные роботы Гугл (Google) на вашем сайте в Гугл (Google)

Это роботы, которые используются для продуктов Гугл (Google), таких как Гугл (Google)bot. Эти роботы всегда соблюдают правила robots.txt для автоматических обходов.

Примеры доменов: crawl-***-***-***-***.googlebot.com или geo-crawl-***-***-***-***.geo.googlebot.com

Пример JSON файла: googlebot.json

Особые роботы Гугл (Google) на вашем сайте в Гугл (Google)

Эти роботы выполняют специфические функции для продуктов Гугл (Google) (например, AdsBot), когда есть соглашение между веб-сайтом и продуктом о процессе обхода. Эти роботы могут или не могут соблюдать правила robots.txt.

Пример: rate-limited-proxy-***-***-***-***.google.com, special-crawlers.json

Роботы, активируемые пользователем на вашем сайте в Гугл (Google)

Эти инструменты и функции продуктов, где конечный пользователь активирует запрос на получение данных. Например, Гугл (Google) Site Verifier, который запускается по запросу пользователя. Эти роботы игнорируют правила robots.txt.

Пример: ***-***-***-***.gae.googleusercontent.com или google-proxy-***-***-***-***.google.com.

Методы проверки Гугл (Google)bot на вашем сайте в Гугл (Google)

Существует два способа для проверки, является ли веб-робот Гугл (Google)bot:

Ручной способ: Для единичных проверок используйте командные инструменты. Этот метод подходит для большинства случаев.
Автоматический способ: Для массовых проверок используйте автоматическое решение для сопоставления IP-адреса робота с опубликованными IP-диапазонами Гугл (Google)bot.

Использование командных инструментов для проверки Гугл (Google)bot на вашем сайте в Гугл (Google)

Запустите обратный DNS-запрос на IP-адрес, обращающийся к вашему серверу, с помощью команды host.
Убедитесь, что доменное имя соответствует одному из следующих: googlebot.com, google.com или googleusercontent.com.
Запустите прямой DNS-запрос на доменное имя, полученное на предыдущем шаге, с помощью команды host.
Убедитесь, что доменное имя соответствует исходному IP-адресу, который был зафиксирован в ваших логах.

Пример 1:

host 66.249.66.11
66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Пример 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Пример 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.
host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Использование автоматических решений для проверки Гугл (Google)bot на вашем сайте в Гугл (Google)

Также вы можете идентифицировать Гугл (Google)bot по IP-адресу, сопоставив его с опубликованными диапазонами IP-адресов для Гугл (Google)bot и других роботов Гугл (Google):

Обычные роботы, такие как Гугл (Google)bot
Особые роботы, такие как AdsBot
Запросы, активируемые пользователем (пользователи)
Запросы, активируемые пользователем (Гугл (Google))

Для других IP-адресов Гугл (Google), с которых может быть осуществлен доступ к вашему сайту (например, для приложений), сопоставьте IP-адрес с общим списком IP-адресов Гугл (Google). Обратите внимание, что IP-адреса в JSON-файлах представлены в формате CIDR.

Если у вас возникнут вопросы или потребуется помощь, вы можете связаться с SEO компанией "seo.computer" по email info@seo.computer или по whatsapp +79202044461.

id 41