Как снизить частоту обхода вашего сайта в Гугл

Инфраструктура обхода Гугл использует сложные алгоритмы для определения оптимальной частоты обхода вашего сайта. Наша цель — обходить как можно больше страниц на каждом посещении, не перегружая сервер. Однако в некоторых случаях частота обхода может создавать нагрузку на вашу инфраструктуру или привести к нежелательным расходам в случае аварии. Чтобы уменьшить нагрузку, вы можете принять решение о снижении количества запросов от Гугл-краулера.

Что вызывает резкое увеличение частоты обхода в Гугл

Резкое увеличение частоты обхода может быть связано с неэффективной структурой вашего сайта или другими проблемами. На основании отчётов, которые мы получали, наиболее распространённые причины таковы:

• Неэффективная настройка URL на сайте, что чаще всего связано с определёнными функциями сайта:
  • Фасетная навигация или другие функции сортировки и фильтрации
  • Календарь с множеством URL для конкретных дат
• Целевая страница для динамических поисковых объявлений

Мы настоятельно рекомендуем вам проверить доступные логи доступа вашего сервера, чтобы выяснить источник трафика и проверить, подходит ли он под описанные причины резкого увеличения частоты обхода. Затем ознакомьтесь с нашими руководствами по управлению обходом фасетных URL и оптимизации эффективности обхода.

Как срочно уменьшить частоту обхода в Гугл (для экстренных случаев)

Предупреждение: Если вы решите снизить частоту обхода, имейте в виду, что это окажет широкое влияние. Для поиска, Гугл будет обнаруживать меньше новых страниц, а обновления существующих страниц будут происходить реже (например, цены и доступность товаров будут дольше отображаться в поисковой выдаче), а удалённые страницы будут оставаться в индексе дольше. Для Гугл Рекламы ваши кампании могут быть отменены или приостановлены, а объявления не будут показываться.

Если вам нужно срочно снизить частоту обхода на короткий срок (например, на несколько часов или 1-2 дня), то можете отправить ответ с кодами состояния HTTP 500, 503 или 429 вместо 200 на запросы обхода. Инфраструктура Гугл автоматически уменьшит частоту обхода сайта, если столкнётся с значительным количеством URL с ошибками 500, 503 или 429 (например, если вы отключите сайт). Уменьшенная частота обхода будет касаться всего домена вашего сайта (например, subdomain.example.com), как URL с ошибками, так и тех, что возвращают контент. Когда количество этих ошибок уменьшится, частота обхода автоматически начнёт увеличиваться.

Предупреждение: мы не рекомендуем использовать этот метод на длительный период времени (более 1-2 дней), так как это может негативно сказаться на том, как ваш сайт отображается в Гугл Продуктах. Например, если Гугл-бот наблюдает эти ошибки на одном и том же URL несколько дней подряд, этот URL может быть удалён из индекса Гугл.

Особые запросы на снижение частоты обхода в Гугл

Если по каким-то причинам вы не можете отправить ошибку на запросы Гугл-краулера, подайте специальный запрос, чтобы сообщить о проблеме с чрезмерно высокой частотой обхода, указав оптимальную частоту для вашего сайта. Невозможно запросить увеличение частоты обхода, и может потребоваться несколько дней для обработки и выполнения вашего запроса.

Если у вас возникли дополнительные вопросы или потребности, вы можете обратиться в SEO-компанию "seo.computer" по любому вопросу на email info@seo.computer, WhatsApp +79202044461.

id 63