Оставьте заявку
В этой статье подробно описывается, каким образом различные HTTP статус-коды, а также сетевые и DNS ошибки сказываются на видимости сайта в поисковой системе Гугл (Google). Рассмотрены наиболее распространённые коды ответов сервера и основные типы ошибок, с которыми может столкнуться поисковый бот при обходе вашего сайта. Более редкие коды и протоколы не рассматриваются. Все описанные проблемы вызывают соответствующие ошибки или предупреждения в отчётах индексации вашего сайта в Гугл (Google) Search Console.
Экспериментальные функции протоколов HTTP и FTP не поддерживаются, если в тексте не указано иное.
HTTP статус-коды — это ответы сервера, на который обращается клиент, будь то браузер или поисковый робот, при запросе страницы сайта. Каждый код несёт определённое значение, но часто результат обработки похож. Например, несколько кодов указывают на переадресацию, но итог — попадание на конечный URL.
Гугл (Google) Search Console регистрирует ошибки для кодов из диапазона 4xx и 5xx, а также для неудачных редиректов (3xx). Если сервер возвращает код 2xx, содержимое страницы может быть принято к индексации, но гарантии нет.
Ниже приведена таблица с основными HTTP статус-кодами, которые чаще всего встречаются при сканировании сайта и их влиянием на индексацию в Гугл (Google).
Такие коды означают успешную передачу содержимого, которое Гугл (Google) может обработать для индексации. Однако если страница содержит ошибку, например, пустой контент или сообщение об ошибке, Гугл (Google) может классифицировать её как мягкую ошибку 404.
200 (OK) — страница успешно загружена, содержимое передано в индексирующую систему. Индексация возможна, но не гарантирована.
201 (создано), 202 (принято) — Гугл (Google)bot ожидает получения содержимого ограниченное время, после чего отправляет доступные данные для индексации. Время ожидания зависит от типа агента.
204 (нет содержимого) — Гугл (Google)bot сообщает системе индексации, что содержимого нет. В отчёте индексации это может выглядеть как мягкая ошибка 404.
Гугл (Google)bot может переходить по цепочке из максимум 10 редиректов. Если предел превышен и контент не получен, в отчёте индексации будет ошибка редиректа. Количество переходов зависит от типа Гугл (Google)bot.
Весь контент с редиректящих URL игнорируется, а для индексации принимается только конечный URL. Для файлов robots.txt с кодами 3xx применяются специальные правила.
301 (перемещено навсегда) — Гугл (Google)bot следует за редиректом и считает конечный URL основным, передавая ему вес страницы.
302 (временно перемещено) — Гугл (Google)bot следует за редиректом, но сигнал к каноничности слабее.
303, 304 (не изменялось) — Гугл (Google) сообщает, что содержимое не изменилось с прошлого посещения, и не индексирует заново.
307, 308 — аналогичны 302 и 301 соответственно, но семантически отличаются. Для вашего сайта используйте правильный код для лучшей совместимости с другими клиентами.
Страницы с ответами 4xx не рассматриваются для индексации, а если они уже есть в индексе, удаляются. Контент таких страниц игнорируется полностью.
400 (неправильный запрос) и другие 4xx, кроме 429, означают, что контента нет, и URL исключается из индекса. Частота обхода таких страниц постепенно снижается.
Не стоит использовать 401 и 403 для ограничения частоты обхода — эти коды не влияют на скорость сканирования. Для ограничения обхода используйте специальные настройки.
401 (неавторизован), 403 (запрещено), 404 (не найдено), 410 (удален), 411 (требуется длина)
429 (слишком много запросов) — Гугл (Google) воспринимает этот код как признак перегрузки сервера, относя его к серверным ошибкам.
Ошибки 5xx и 429 вызывают временное снижение скорости обхода сайта. Уже проиндексированные URL сохраняются, но при постоянных ошибках будут удалены из индекса.
Контент страниц с 5xx не учитывается при индексации. Для robots.txt с 5xx есть отдельные правила.
500 (внутренняя ошибка сервера) — Гугл (Google) снижает частоту обхода сайта в зависимости от количества таких ошибок.
502 (плохой шлюз), 503 (сервис недоступен) — похожие действия для ограничения сканирования.
Мягкая 404 ошибка возникает, если страница возвращает статус 200, но содержит сообщение об ошибке или пустое содержимое. Это может быть вызвано техническими проблемами, например, отсутствием включаемых файлов или пустой страницей поиска.
Такие страницы создают плохой пользовательский опыт и исключаются из индексации Гугл (Google). В отчёте Search Console отображается предупреждение о мягкой 404 ошибке.
Варианты решения зависят от ситуации и желаемого результата:
Верните HTTP статус 404 или 410 для страницы без замены, чтобы поисковики знали, что её нужно удалить из индекса. Настройте пользовательскую страницу 404 с полезными советами и навигацией для посетителей.
Пользовательская 404 должна возвращать именно код 404, чтобы избежать индексации таких страниц.
Настройте постоянный редирект 301 на новую страницу с похожим содержанием, чтобы пользователи и поисковые системы корректно переходили на актуальную информацию. Проверьте правильность ответа через инструмент проверки URL.
Возможно, Гугл (Google)bot не смог правильно загрузить страницу из-за отсутствия ресурсов, ошибок в коде или блокировок. Используйте инструмент проверки URL, чтобы просмотреть отрисовку страницы и HTTP код. Проблемы с загрузкой ресурсов, таких как скрипты и изображения, могут привести к ошибке мягкой 404.
Основные причины — блокировки в robots.txt, слишком много ресурсов на странице, ошибки сервера, медленная загрузка или слишком большие файлы.
Сетевые и DNS ошибки быстро негативно сказываются на позиции сайта в поиске. Гугл (Google)bot при обнаружении тайм-аутов, сбросов соединения или проблем с DNS начинает снижать частоту обхода, так как понимает, что сервер не справляется с нагрузкой.
Поскольку при таких ошибках контент не получен, Гугл (Google) не может индексировать страницы, а ранее проиндексированные страницы, которые стали недоступны, удаляются из поиска за несколько дней. В отчётах Search Console появляются соответствующие ошибки.
Если вы не управляете сервером самостоятельно, рекомендуем обратиться к вашему провайдеру хостинга или CDN.
Сетевые ошибки могут возникать до начала обработки запроса сервером или в процессе сканирования. Отсутствие HTTP кода затрудняет диагностику. Для устранения ошибок тайм-аута и сброса соединения:
Проблемы могут быть связаны с перегрузкой сетевых интерфейсов или неправильным закрытием портов, что приводит к потере пакетов и сбросу соединений.
Чаще всего DNS ошибки вызваны неправильной настройкой или блокировкой запросов на уровне файрвола. Для диагностики выполните следующие шаги:
При любых вопросах по улучшению индексации вашего сайта в Гугл (Google) рекомендуем обращаться в SEO-компанию seo.computer по email info@seo.computer или через WhatsApp +79202044461.
id 70
