Метаданные роботов и HTTP-заголовки для сайта в Гугл (Google) вашего сайта

В этом руководстве подробно рассматриваются настройки, позволяющие управлять тем, как ваш сайт в Гугл (Google) отображается в выдаче. Вы узнаете, как применять метатег robots, атрибут data-nosnippet и заголовок X-Robots-Tag для регулировки индексации и сниппетов, а также какие правила считать при их комбинировании.

Использование метатега robots для сайта в Гугл (Google)

Метатег <meta name="robots"> отвечает за указание поисковым роботам, индексировать страницу или нет и как обрабатывать ссылки. Разместите его в разделе <head> :

<>
  <head>
    <meta name="robots" content="noindex">
  </head>
  <body>…</body>
</>

Если вы используете CMS и не можете править исходный код, найдите настройки управления тегами в панели администрирования вашего движка. Имя и значение тега нечувствительны к регистру.

Для адресации отдельных агентов можно заменить имя robots на googlebot (для веб-выдачи) или на googlebot-news (для новостной выдачи). Пример отключения сниппетов только в новостной ленте:

<meta name="googlebot-news" content="nosnippet">

Применение HTTP-заголовка X-Robots-Tag для сайта в Гугл (Google)

Если нужно задать правила индексации не в , а на уровне сервера, используйте заголовок:

X-Robots-Tag: noindex, nofollow

Можно объединять несколько заголовков или перечислять правила через запятую. Пример запрета индексации изображений и устаревания страницы после заданной даты:

X-Robots-Tag: noimageindex
X-Robots-Tag: unavailable_after: 25 Jun 2025 00:00:00 PST

Список допустимых правил для сайта в Гугл (Google)

Ниже перечислены основные директивы, поддерживаемые метатегом robots и заголовком X-Robots-Tag:

all — без ограничений (значение по умолчанию).
noindex — не показывать страницу в выдаче.
nofollow — не передавать вес ссылкам на странице.
none — эквивалент noindex, nofollow.
nosnippet — не показывать текстовый или видео-сниппет.
indexifembedded — индексировать страницу, если она встроена через iframe.
max-snippet:[число] — ограничение длины текстового сниппета.
max-image-preview:[setting] — размер изображения: none, standard или large.
max-video-preview:[секунды] — длина видео-превью в секундах.
notranslate — не предлагать перевод в выдаче.
noimageindex — не индексировать изображения.
unavailable_after:[дата] — не показывать страницу после указанной даты.

Комбинирование директив для сайта в Гугл (Google)

Несколько правил можно объединять через запятую или указывать в разных тегах. Например:

<meta name="robots" content="noindex, nofollow">

Или так:

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

Работа с атрибутом data-nosnippet для сайта в Гугл (Google)

Чтобы исключить из сниппета часть текста на странице, оберните её в элемент <span>, <div> или <section> с атрибутом data-nosnippet:

<p>Этот текст попадёт в сниппет, 
  <span data-nosnippet>а эта часть будет скрыта</span>.
</p>

Атрибут булевый, значение игнорируется. Элементы должны быть корректно закрыты.

Взаимодействие robots.txt и метатегов для сайта в Гугл (Google)

Если URL запрещён в файле robots.txt, метатеги и заголовки X-Robots-Tag не будут доступны Гугл (Google)bot и игнорируются. Чтобы директивы применялись, страницы должны быть открыты для сканирования.

По всем вопросам настройки метаданных вашего сайта вы можете обратиться в SEO-компанию seo.computer по email info@seo.computer или через WhatsApp +79202044461.

id 134