Оставьте заявку
Программа Screaming Frog SEO Spider — мощный инструмент для анализа сайтов, который помогает решать множество SEO-задач. Однако иногда могут возникнуть проблемы при попытке собрать данные с некоторых веб-ресурсов, например, из-за блокировки по User Agent. В таких случаях можно попробовать изменить User Agent в самой программе для обхода подобных ограничений.
Чтобы изменить User Agent, откройте программу Screaming Frog и выполните несколько простых шагов.
1. Откройте Screaming Frog, перейдите в меню и нажмите на кнопку Upload в верхней части интерфейса. Затем выберите вариант Enter Manually.
2. В появившемся окне введите URL-адрес сайта, который вы хотите проанализировать.
3. Если в результатах сканирования вы увидите нули или ошибку сканирования (например, код ошибки 609), это может означать, что сайт блокирует запросы от стандартного User Agent. В таком случае нужно изменить его.
4. Для этого перейдите в меню Configuration и выберите пункт User Agent из выпадающего списка.
5. После этого откроется окно с доступными User Agent. Выберите один из предложенных вариантов, например, бота Google или Яндекса.
6. После выбора нужного User Agent, данные HTTP-запроса будут обновлены автоматически. Подтвердите выбор, чтобы сохранить изменения.
7. Теперь попробуйте снова загрузить сайт для анализа, используя новый User Agent через Upload и Enter Manually.
Как правило, после смены User Agent программа успешно соберет данные, доступные для выбранного бота. Это может включать мета-теги и контент, который скрыт от обычных посетителей сайта.
Если данные по-прежнему не отображаются, можно попробовать выбрать другого бота из предложенного списка для более эффективного парсинга.
Если у вас возникли вопросы по использованию SEO инструментов или парсингу данных, вы можете обратиться в SEO студию "SEO COMPUTER" по любому вопросу на email info@seo.computer.
id 6304
