Гугл (Google) Search – это полностью автоматизированная поисковая система, использующая программное обеспечение, известное как веб-краулеры, которые регулярно исследуют интернет для нахождения страниц, которые могут быть добавлены в индекс. На самом деле, большинство страниц, которые отображаются в результатах поиска, не были вручную отправлены на индексацию, а были найдены и добавлены автоматически при исследовании интернета веб-краулерами. В этом документе подробно объясняется, как работает поиск в Гугл (Google) в контексте вашего сайта. Знание этого процесса поможет вам исправить ошибки сканирования, получить страницы в индекс и оптимизировать отображение сайта в поиске Гугл (Google).
Ищете что-то менее техническое? Ознакомьтесь с сайтом How Search Works, который объясняет, как работает поиск с точки зрения пользователя.
Перед тем как погрузиться в детали работы поисковой системы, важно отметить, что Гугл (Google) не принимает оплату за более частое сканирование сайта или за более высокие позиции в результатах поиска. Если кто-то утверждает обратное, знайте, что это неправда.
Гугл (Google) не гарантирует, что сайт будет сканироваться, индексироваться или отображаться в поисковых результатах, даже если его страницы соответствуют Гугл (Google) Search Essentials.
Поиск в Гугл (Google) происходит в три этапа, и не все страницы проходят через каждый из них:
Первый этап — это поиск страниц в интернете. Поскольку не существует центрального реестра всех веб-страниц, Гугл (Google) постоянно ищет новые и обновленные страницы, чтобы добавить их в свой список известных страниц. Этот процесс называется «поиском URL». Некоторые страницы уже известны, потому что Гугл (Google) уже посещал их. Другие страницы обнаруживаются, когда Гугл (Google) извлекает ссылку с известной страницы на новую. Например, если категория сайта ссылается на новую статью в блоге. Также можно отправить список страниц (карта сайта), чтобы Гугл (Google) мог их проиндексировать.
Как только Гугл (Google) находит URL страницы, он может посетить эту страницу, чтобы понять, что на ней содержится. Для этого используется большое количество компьютеров, которые сканируют миллиарды страниц в интернете. Программа, которая выполняет эту задачу, называется Гугл (Google)bot (также известна как краулер, робот, бот или паук). Гугл (Google)bot использует алгоритм для определения того, какие страницы сканировать, как часто и сколько страниц необходимо загружать с каждого сайта. Гугл (Google)bot также настроен таким образом, чтобы не перегружать серверы сайтов, сканируя их слишком часто. Этот механизм зависит от откликов серверов (например, HTTP 500 ошибки говорят о том, что нужно замедлить процесс).
Однако Гугл (Google)bot не всегда сканирует все страницы, которые находит. Некоторые страницы могут быть недоступны для краулеров из-за настроек сайта, например, из-за запрета на сканирование через файл robots.txt или из-за необходимости авторизации для доступа.
Во время краулинга Гугл (Google) также рендерит страницы и выполняет JavaScript, используя актуальную версию браузера Chrome, что помогает понять, какой контент отображается на странице. Это важно, так как многие сайты зависят от JavaScript для отображения контента, и без рендеринга Гугл (Google) может не увидеть важные данные.
После того как страница была сканирована, Гугл (Google) пытается понять, о чём эта страница. Этот этап называется индексированием, и он включает обработку и анализ текстового контента, а также метатегов, таких как теги
Во время индексирования Гугл (Google) определяет, является ли страница дубликатом другой страницы в интернете. Если страницы схожи, выбирается каноническая версия, которая будет отображаться в поисковых результатах. Это важно, поскольку разные страницы с одинаковым контентом могут быть представлены в разных контекстах (например, на мобильных устройствах или при поиске конкретных версий страниц). Каноническая страница — это та, которую выбрал Гугл (Google) как наиболее релевантную для поиска.
Гугл (Google) также учитывает различные сигналы о канонической странице и её контенте, которые могут быть использованы при выдаче страницы в поиске. Например, это могут быть такие параметры, как язык страницы, страна, к которой привязан контент, и удобство страницы для пользователя.
Если страница не проходит процесс индексации, возможно, это связано с низким качеством контента или с установкой мета-правил, запрещающих индексацию. Важно понимать, что не все страницы, которые обрабатывает Гугл (Google), будут индексированы.
Гугл (Google) не принимает оплату для повышения позиций в результатах поиска, и всё это происходит автоматически. Когда пользователь вводит запрос, система сканирует индекс и возвращает страницы, которые, по мнению Гугл (Google), являются наиболее релевантными запросу. Для оценки релевантности используются различные факторы, такие как местоположение пользователя, язык и устройство (например, мобильный или десктоп).
Например, поиск по запросу «ремонт велосипедов» покажет разные результаты пользователю в Париже и в Гонконге. Это также зависит от того, какой контент является наиболее релевантным в конкретных условиях.
Кроме того, в зависимости от запроса изменяются и поисковые элементы, которые отображаются на странице. Например, запрос «ремонт велосипедов» может вывести локальные результаты, а запрос «современные велосипеды» – показать изображения, но не локальные результаты.
Иногда Гугл (Google) Search Console может сообщить, что страница была проиндексирована, но она не появляется в результатах поиска. Это может быть связано с несколькими факторами:
Внимание, мы постоянно работаем над улучшением наших алгоритмов. Следите за изменениями, следуя блогу Гугл (Google) Search Central.
Если у вас возникли вопросы по оптимизации поиска вашего сайта, вы можете связаться с компанией seo.computer по электронной почте info@seo.computer или через WhatsApp по номеру +79202044461.
ID 160