Feedfetcher и как это влияет на ваш сайт в Гугл (Google)

Feedfetcher – это сервис, который использует Гугл (Google) для сканирования RSS и Atom лент для Гугл (Google) News и PubSubHubbub. Feedfetcher сохраняет и периодически обновляет ленты, которые запрашиваются пользователями сервисов или приложений. Только ленты подкастов индексируются в поисковой системе Гугл (Google). Однако если лента не соответствует стандартам Atom или RSS, она все равно может быть проиндексирована. В данном разделе вы найдете ответы на наиболее часто задаваемые вопросы о том, как работает этот пользовательский инструмент получения данных.

Как мне запретить Гугл (Google) загружать некоторые или все ленты вашего сайта?

Когда пользователи добавляют сервис или приложение, использующие данные Feedfetcher, Гугл (Google) пытается получить содержимое ленты для отображения. Поскольку запросы Feedfetcher происходят по инициативе пользователей, а не автоматических роботов, Feedfetcher не учитывает правила в robots.txt.

Если лента вашего сайта общедоступна, Гугл (Google) не может ограничить доступ к ней. Один из способов — настроить сервер таким образом, чтобы он отправлял ошибки 404, 410 или другие коды состояния для пользователя-агента Feedfetcher.

Если ваша лента предоставляется через блог или сайт, используйте соответствующие настройки на платформе или связывайтесь с хостинг-провайдером, чтобы ограничить доступ к ленте.

Как часто Feedfetcher будет запрашивать ленты вашего сайта в Гугл (Google)?

Feedfetcher не должен запрашивать ленты с вашего сайта более одного раза в час. Для часто обновляемых сайтов обновления могут происходить чаще. Однако из-за задержек в сети может показаться, что Feedfetcher делает запросы более часто.

Почему Feedfetcher пытается скачать неправильные ссылки с моего сервера или с несуществующего домена?

Feedfetcher запрашивает ленты по запросам пользователей приложений или сервисов. Возможно, пользователь запросил ленту по несуществующему URL.

Почему Feedfetcher загружает информацию с моего "секретного" сервера?

Feedfetcher осуществляет запросы лент по действиям пользователей. Возможно, запрос пришел от пользователя, который знает о вашем "секретном" сервере, или случайно ввел его в адресной строке.

Почему Feedfetcher игнорирует мой robots.txt файл в Гугл (Google)?

Feedfetcher получает ленты только после того, как пользователи явно запускают сервисы или приложения, запрашивающие данные. Это поведение делает Feedfetcher агентом человека, а не автоматическим роботом, поэтому он игнорирует записи в robots.txt.

Вы можете предотвратить получение данных Feedfetcher, настроив сервер для отправки ошибки 404 или 410 для пользователя-агента Feedfetcher.

Почему из разных машин Гугл (Google) приходят запросы с Feedfetcher?

Feedfetcher был разработан для распределенной работы на нескольких машинах с целью повышения производительности. Это также помогает уменьшить использование полосы пропускания за счет локализации машин вблизи запрашиваемых сайтов.

Можно ли получить IP-адреса, с которых Feedfetcher делает запросы, чтобы отфильтровать логи моего сайта?

IP-адреса, используемые Feedfetcher, можно найти в объекте user-triggered-fetchers-google.json.

Почему Feedfetcher загружает одну и ту же страницу с моего сайта несколько раз?

Feedfetcher обычно загружает только одну копию каждого файла при получении ленты. Иногда, когда машины перезапускаются, может возникнуть ситуация, при которой страницы загружаются повторно.

Какие ссылки сканирует Feedfetcher?

В отличие от обычных веб-краулеров, Feedfetcher не ищет ссылки для сканирования. Он сканирует только те URL, которые предоставляют пользователи через сервисы или приложения.

У меня остались вопросы о Feedfetcher. Где я могу найти помощь для сайта в Гугл (Google)?

Если у вас все еще есть вопросы, вы можете найти помощь на форуме Search Central или обратиться в SEO-компанию по любому вопросу через email: info@seo.computer или whatsapp: +79202044461.

id 192