Оставьте заявку
Эта статья будет полезна тем, чья работа включает сканирование проектов, а также настройку параметров, которые подходят как для средних сайтов с количеством URL до 500 тыс., так и для более компактных веб-ресурсов.
В нашей компании, как и в любом крупном digital-агентстве, важным аспектом является оптимизация и автоматизация рутинных процессов. Это позволяет освободить время для более стратегических задач.
После того как я проработал в агентстве два месяца, мне поручили ежемесячное сканирование нескольких проектов. В сфере SEO я не новичок, но моя основная специализация — аккаунт-менеджмент и маркетинг.
Я время от времени, как аккаунт-менеджер, проводил анализ видимости сайтов клиентов в поисковой выдаче, а также делал подробное сканирование веб-ресурсов. Для этого я использовал программу Screaming Frog SEO Spider. Установив ПО, я получил лицензию от руководства и не трогал настройки программы, так как всё работало хорошо, а как известно, не стоит менять то, что не сломалось.
Однако всё изменилось, когда мне поручили вести более крупный проект с 430 тыс. URL. Ранее я работал с проектами, где было максимум 1700 URL. Проблема заключалась не в том, что сканирование проекта занимало сутки (что, как оказалось, является нормой), а в том, что при запуске сканирования программа часто зависала на 88-94% процесса.
Хотя инструкция к Screaming Frog достаточно подробная, она не даёт конкретных рекомендаций по настройке программы для крупных проектов. Тогда я начал искать информацию о том, как правильно использовать SEO Spider Tool. Перечитав несколько статей, я понял, что они повторяют то же самое, что и в инструкции, только более кратко.
В итоге я решил обратиться за помощью к опытным коллегам, которые, за что им огромное спасибо, объяснили мне принцип работы программы и дали несколько полезных рекомендаций по её настройке.
После трёх дней экспериментов, проб и ошибок, а также консультаций с коллегами, я пришёл к следующим выводам:
Характеристики устройства:
Как видите, характеристики устройства средние, и для выполнения моих задач вполне подходящие. На мощное железо у меня не было нужды, так как для повседневных задач этого вполне хватает.
Настройки программы Screaming Frog SEO Spider (версия 14.1):
Важно! В настройках программы обязательно укажите, чтобы информация по проекту записывалась на SSD-диск, это существенно ускоряет процесс сканирования.
При таких характеристиках устройства и указанных настройках сканирование проекта с 420-450 тыс. URL занимает порядка 30 часов, если хотя бы 12 часов сканирование идёт параллельно с другими задачами.
Решение написать и опубликовать эту статью пришло после безуспешных попыток найти рекомендации по настройке программы Screaming Frog в открытых источниках. Большинство статей лишь объясняли, что и как работает в программе, но не давали практических советов по её настройке для крупных проектов. Надеюсь, эта информация будет полезна. Читайте, используйте, делитесь с коллегами, и да пребудет с вами Сила!
Если у вас есть вопросы, вы можете обратиться в SEO студию "SEO COMPUTER" по любому вопросу на email info@seo.computer.
id 1744
