Примечание
Для закрытия страниц с параметрами иногда используется директива Disallow. Однако рекомендуется применять директиву Clean-param, поскольку она позволяет передавать поисковой системе Яндекс важные показатели сайта.
Посмотрите видео, чтобы узнать, как правильно использовать директиву Clean-param для вашего сайта и улучшить результаты индексации в Яндекс.
Для успешного использования директивы Clean-param, важно регулярно обновлять информацию и указывать ее максимально полно. Если новый параметр не влияет на содержимое страницы, это может привести к появлению дублирующих страниц, которые не должны попасть в поисковые результаты Яндекс. Дублирование замедляет обход сайта, и изменения на сайте могут не попасть в индексацию Яндекс на длительное время.
Когда вы правильно используете директиву Clean-param, робот Яндекса будет игнорировать параметры, не влияющие на контент, и это поможет ускорить обход сайта и снизить нагрузку на сервер.
Пример: на сайте есть несколько одинаковых страниц с разными GET-параметрами, которые не меняют содержимое, например:
www.example.com/some_dir/get_book.pl?ref=site_1&book_id=123 www.example.com/some_dir/get_book.pl?ref=site_2&book_id=123 www.example.com/some_dir/get_book.pl?ref=site_3&book_id=123
В этом случае, если применить директиву следующим образом:
User-agent: Яндекс (Yandex) Clean-param: ref /some_dir/get_book.pl
Яндекс сконсолидирует все эти адреса в один:
www.example.com/some_dir/get_book.pl?book_id=123
Теперь страница с таким URL будет участвовать в поисковой выдаче Яндекс.
Синтаксис директивы следующий:
Clean-param: p0[&p1&p2&..&pn] [path]
Первое поле содержит список параметров, которые не влияют на контент страницы, и их можно исключить из индексации Яндекс. Во втором поле указывается путь, к которому применяется данное правило. Это поле может содержать регулярное выражение, которое будет действовать только для страниц, начинающихся с указанного пути.
Пример:
Clean-param: s /forum/showthread.php
Это правило означает, что параметр "s" будет игнорироваться на всех страницах, начинающихся с /forum/showthread.php.
Префикс пути можно опустить, если правило должно применяться ко всем страницам сайта.
Регистр символов в пути имеет значение. Максимальная длина строки правила — 500 символов.
Яндекс автоматически удаляет определенные параметры, которые не влияют на содержание страницы, такие как параметры для аналитики и отслеживания. Они исключаются из поиска, и вам не нужно указывать их вручную в robots.txt.
Примеры таких параметров:
Пример для адресов:
www.example1.com/forum/showthread.php?s=681498b9648949605&t=8243 www.example1.com/forum/showthread.php?s=1e71c4427317a117a&t=8243
Ваш robots.txt должен содержать следующее:
User-agent: Яндекс (Yandex) Clean-param: s /forum/showthread.php
Пример для адресов с параметрами:
www.example2.com/index.php?page=1&sid=2564126ebdec301c607e5df www.example2.com/index.php?page=1&sid=974017dcd170d6c4a5d76ae
Для таких страниц в robots.txt нужно указать:
User-agent: Яндекс (Yandex) Clean-param: sid /index.php
Директива Clean-param может использоваться без директивы Disallow. Однако, если страницы с параметрами запрещены к индексации, это будет иметь приоритет перед применением Clean-param.
User-agent: Яндекс (Yandex) Disallow:/forum Clean-param: s&ref /forum*/showthread.php
В этом случае страница с параметром ref будет запрещена к индексации Яндекс, и директива Clean-param не изменит этого поведения.
Для получения дополнительной информации или решения вопросов с настройкой SEO для вашего сайта, вы можете обратиться к специалистам SEO компании на email info@seo.computer или через WhatsApp по номеру +79202044461.
id 100