Индексирующий робот Яндекса регулярно обходит страницы сайтов и загружает их в поисковую базу Яндекс. При этом робот может загрузить не все нужные вам страницы из-за их недоступности.
Вебмастер Яндекса позволяет узнать, какие страницы вашего сайта обходит робот и выявить адреса страниц, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.
Данные о страницах доступны в Вебмастере Яндекс на странице "Индексирование → Статистика обхода". Информация обновляется ежедневно в течение шести часов с момента посещения страниц роботом.
По умолчанию сервис предоставляет данные по вашему сайту в целом. Чтобы просмотреть информацию о конкретном разделе вашего сайта, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).
Если в списке не все страницы вашего сайта, которые должны участвовать в поиске, сообщите о них с помощью инструмента "Переобход страниц".
Информацию о страницах вашего сайта можно выгрузить в формате XLS или CSV с учетом примененных фильтров.
Информация о страницах вашего сайта представлена следующим образом:
Изменения отображаются, если при очередном обращении робота Яндекса к странице изменился HTTP-код ответа. Например, был 200 OK, стал 404 Not Found. Если изменился только контент страницы, то информация об этом не отразится в Вебмастере Яндекса.
Чтобы просмотреть изменения, установите переключатель в положение "Последние изменения". В результате отобразится до 50 000 изменений.
Вебмастер Яндекс показывает следующие сведения о страницах вашего сайта:
Основываясь на этой информации, можно узнать, как часто робот Яндекса обходит страницы сайта, а также понять, какие страницы только появились в базе робота, а к каким робот Яндекса обращается повторно.
Чтобы увидеть список страниц вашего сайта, установите переключатель в положение "Все страницы". Список может содержать до 50 000 страниц вашего сайта.
Вы можете просмотреть список страниц сайта, которые обошел робот Яндекса, и следующую информацию о них:
Информацию о страницах вашего сайта и изменениях в поисковой базе робота Яндекса можно фильтровать по всем представленным параметрам (дате обхода, URL страницы, коду ответа сервера) с помощью значка. Ниже описано несколько примеров:
По ответу сервера: можно составить список страниц вашего сайта, которые робот Яндекса обошел, но не смог загрузить из-за ответа сервера 404 Not Found.
Также можно выявить новые страницы, недоступные роботу Яндекса, установив переключатель в положение "Последние изменения".
А также — получить общий список страниц вашего сайта, недоступных роботу Яндекса, установив переключатель в положение "Все страницы".
По URL с указанием определенного фрагмента адреса: можно составить список страниц, адрес которых содержит определенный фрагмент. Для этого выберите из списка значение "Содержит" и в поле укажите нужное значение.
По URL с указанием специальных символов: специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, выберите из списка значение "Условия", а само условие введите в поле. Можно добавить несколько условий — каждое из них должно начинаться с новой строки.
Символы, используемые для фильтрации:
Я создал сайт, а он до сих пор не проиндексирован в Яндекс. Возможно, с момента создания сайта прошло мало времени. Чтобы сообщить роботу Яндекса о сайте, добавьте сайт в Вебмастер Яндекса и подтвердите права на него. Также проверьте, не было ли сбоев на сервере. Если сервер выдает ошибку, робот прекращает индексирование и сделает следующую попытку в порядке общего обхода.
Сотрудники Яндекса не могут ускорить добавление страниц в поисковую базу Яндекса.
Сколько времени надо ждать, чтобы сайт попал в поиск Яндекс? Мы не прогнозируем сроки индексирования сайтов и не даем гарантий, что тот или иной сайт будет проиндексирован. Как правило, от момента узнавания роботом Яндекса о сайте до появления его страниц в результатах поиска Яндекс проходит от нескольких дней до двух недель.
На графике "История обхода" уменьшилось или увеличилось число обращений? Количество страниц, которые обходит робот Яндекса, может уменьшаться или увеличиваться в разные дни. Такое изменение не влияет на индексирование сайта и ранжирование в результатах поиска Яндекс.
Если вы заметили, что:
Вы пытались скачать секретную информацию с моего сервера. Что делать? Робот Яндекса берет ссылки с других страниц, а это значит, что на какой-то странице вашего сайта указаны ссылки на секретные разделы. Вы можете как закрыть их паролем, так и указать запрет для робота Яндекса в файле robots.txt. И в том, и в другом случае робот Яндекса не будет скачивать секретную информацию.
Если у вас возникли вопросы, вы можете связаться с SEO-компанией "seo.computer" по любому вопросу на email info@seo.computer, whatsapp +79202044461.
id 69