Статистика обхода страниц вашего сайта в Яндекс

Статистика обхода страниц вашего сайта в Яндекс

  • Динамика состояния страниц вашего сайта в Яндекс
  • Изменения страниц вашего сайта в поисковой базе Яндекс
  • Список страниц вашего сайта, которые обошел робот в Яндекс (Yandex)
  • Фильтрация данных обхода страниц вашего сайта в Яндекс (Yandex)
  • Вопросы и ответы по обходу страниц вашего сайта в Яндекс

Индексирующий робот Яндекса регулярно обходит страницы сайтов и загружает их в поисковую базу Яндекс. При этом робот может загрузить не все нужные вам страницы из-за их недоступности.

Вебмастер Яндекса позволяет узнать, какие страницы вашего сайта обходит робот и выявить адреса страниц, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Данные о страницах доступны в Вебмастере Яндекс на странице "Индексирование → Статистика обхода". Информация обновляется ежедневно в течение шести часов с момента посещения страниц роботом.

По умолчанию сервис предоставляет данные по вашему сайту в целом. Чтобы просмотреть информацию о конкретном разделе вашего сайта, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).

Если в списке не все страницы вашего сайта, которые должны участвовать в поиске, сообщите о них с помощью инструмента "Переобход страниц".

Информацию о страницах вашего сайта можно выгрузить в формате XLS или CSV с учетом примененных фильтров.

Динамика состояния страниц вашего сайта в Яндекс

Информация о страницах вашего сайта представлена следующим образом:

  • Новые и изменившиеся — количество страниц, которые робот Яндекса обошел впервые, и страниц, статус которых изменился после очередного обращения к ним робота Яндекса.
  • История обхода — количество страниц, которые робот Яндекса обошел, с учетом кода ответа сервера.

Изменения страниц вашего сайта в поисковой базе Яндекс

Изменения отображаются, если при очередном обращении робота Яндекса к странице изменился HTTP-код ответа. Например, был 200 OK, стал 404 Not Found. Если изменился только контент страницы, то информация об этом не отразится в Вебмастере Яндекса.

Чтобы просмотреть изменения, установите переключатель в положение "Последние изменения". В результате отобразится до 50 000 изменений.

Вебмастер Яндекс показывает следующие сведения о страницах вашего сайта:

  • дата последнего посещения страницы роботом Яндекса;
  • адрес страницы относительно корневого каталога сайта;
  • код ответа сервера, полученный роботом при посещении страницы.

Основываясь на этой информации, можно узнать, как часто робот Яндекса обходит страницы сайта, а также понять, какие страницы только появились в базе робота, а к каким робот Яндекса обращается повторно.

Список страниц вашего сайта, которые обошел робот Яндекса

Чтобы увидеть список страниц вашего сайта, установите переключатель в положение "Все страницы". Список может содержать до 50 000 страниц вашего сайта.

Вы можете просмотреть список страниц сайта, которые обошел робот Яндекса, и следующую информацию о них:

  • дата последнего посещения страницы роботом Яндекса;
  • адрес страницы относительно корневого каталога вашего сайта;
  • код ответа сервера при последней загрузке страницы роботом Яндекса.

Фильтрация данных обхода страниц вашего сайта в Яндекс

Информацию о страницах вашего сайта и изменениях в поисковой базе робота Яндекса можно фильтровать по всем представленным параметрам (дате обхода, URL страницы, коду ответа сервера) с помощью значка. Ниже описано несколько примеров:

По ответу сервера: можно составить список страниц вашего сайта, которые робот Яндекса обошел, но не смог загрузить из-за ответа сервера 404 Not Found.

Также можно выявить новые страницы, недоступные роботу Яндекса, установив переключатель в положение "Последние изменения".

А также — получить общий список страниц вашего сайта, недоступных роботу Яндекса, установив переключатель в положение "Все страницы".

По URL с указанием определенного фрагмента адреса: можно составить список страниц, адрес которых содержит определенный фрагмент. Для этого выберите из списка значение "Содержит" и в поле укажите нужное значение.

По URL с указанием специальных символов: специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, выберите из списка значение "Условия", а само условие введите в поле. Можно добавить несколько условий — каждое из них должно начинаться с новой строки.

Символы, используемые для фильтрации:

  • * — соответствует любому количеству любых символов.
  • @ — выбранные данные содержат указанную строку (но не обязательно строго соответствуют).
  • ~ — условие является регулярным выражением.
  • ! — отрицание условия.

Вопросы и ответы по обходу страниц вашего сайта в Яндекс

Я создал сайт, а он до сих пор не проиндексирован в Яндекс. Возможно, с момента создания сайта прошло мало времени. Чтобы сообщить роботу Яндекса о сайте, добавьте сайт в Вебмастер Яндекса и подтвердите права на него. Также проверьте, не было ли сбоев на сервере. Если сервер выдает ошибку, робот прекращает индексирование и сделает следующую попытку в порядке общего обхода.

Сотрудники Яндекса не могут ускорить добавление страниц в поисковую базу Яндекса.

Сколько времени надо ждать, чтобы сайт попал в поиск Яндекс? Мы не прогнозируем сроки индексирования сайтов и не даем гарантий, что тот или иной сайт будет проиндексирован. Как правило, от момента узнавания роботом Яндекса о сайте до появления его страниц в результатах поиска Яндекс проходит от нескольких дней до двух недель.

На графике "История обхода" уменьшилось или увеличилось число обращений? Количество страниц, которые обходит робот Яндекса, может уменьшаться или увеличиваться в разные дни. Такое изменение не влияет на индексирование сайта и ранжирование в результатах поиска Яндекс.

Если вы заметили, что:

  • Страницы вашего сайта медленнее попадают в результаты поиска Яндекс, см. раздел "Почему страницы долго не появляются в поиске".
  • Робот Яндекса создает дополнительную нагрузку на сайт вашего сайта и хотите ее снизить, следуйте рекомендациям Яндекса.

Вы пытались скачать секретную информацию с моего сервера. Что делать? Робот Яндекса берет ссылки с других страниц, а это значит, что на какой-то странице вашего сайта указаны ссылки на секретные разделы. Вы можете как закрыть их паролем, так и указать запрет для робота Яндекса в файле robots.txt. И в том, и в другом случае робот Яндекса не будет скачивать секретную информацию.

Если у вас возникли вопросы, вы можете связаться с SEO-компанией "seo.computer" по любому вопросу на email info@seo.computer, whatsapp +79202044461.

id 69

Отправьте заявку и мы предоставим консультацию на SEO продвижение вашего сайта