Этот инструмент предлагает широкий набор функций, начиная с проверки корректности мета-тегов и заканчивая анализом микроразметки, что делает его незаменимым для подробного анализа сайтов различного размера.
В этом руководстве мы рассмотрим основные настройки и функции SEO Spider, которые помогут вам эффективно анализировать и улучшать ваш сайт.
Содержание:
- Настройка программы
- Методы сканирования
- Поиск дублированного контента
- Страницы с недостаточным контентом
- Поиск пустых страниц
- Проверка наличия аналитических счетчиков
- Анализ Title, Description и заголовков (H1, H2)
- Анализ ответов сервера
- Интеграция с внешними API
- Проверка доступности изображений и их размера
- Проверка микроразметки
Настройка программы
Настройка памяти
Откройте меню File → Settings → Memory Allocation.
Рекомендуется выделить 8 ГБ памяти для крупных проектов, либо половину от объема доступной памяти.
Настройка хранения данных
Перейдите в File → Settings → Storage Mode.
По умолчанию используется Memory Storage (оперативная память). Рекомендуется переключить на Database Storage (жесткий диск), особенно если диск SSD, чтобы ускорить процесс сканирования.
Установка прокси
В настройках (File → Settings → Proxy) можно установить прокси-сервер, если ваш IP заблокирован на определенном сайте, что поможет обойти блокировки.
Настройка скорости сканирования
Перейдите в Configuration → Crawl Config → Speed.
Оптимальное значение для Max Threads (потоков) — до 5. Увеличение числа потоков может привести к блокировке или перегрузке сайта во время сканирования.
Параметр Limit URL/s оставьте на уровне 2.0 URL в секунду. В случае ошибок 5XX уменьшите значение до 1.0 или 0.5 для стабильности.
Настройка краулера
Перейдите в Configuration → Crawl Config → Spider → Crawl.
Если вы хотите сканировать только выбранный раздел сайта, снимите галочку с опции "Check Links Outside of Start Folder". Включение "Crawl Outside of Start Folder" расширяет область сканирования на все ссылки сайта.
Если нужно, активируйте опцию "Crawl All Subdomains" для обхода поддоменов, а также настройте обход ссылок с атрибутом nofollow.
Настройка обработки XML Sitemap
Не забудьте активировать опцию "Crawl Linked XML Sitemaps", чтобы анализировать страницы, которые могут не иметь прямых ссылок, но указаны в карте сайта.
Методы сканирования
Режим Spider (по умолчанию)
Этот режим имитирует поведение поисковых систем: с главной страницы сайт сканируется по внутренним ссылкам, углубляясь по уровням структуры.
Режим List
Вы можете загрузить файл с URL-ами для сканирования, ввести их вручную или использовать ссылку на XML Sitemap.
- From a File — загрузить файл с URL-ами.
- Enter Manually — вручную ввести URL-ы.
- Paste — вставить скопированные URL-ы.
- Download XML Sitemap — отправить ссылку на XML Sitemap.
Режим SERP
Этот режим анализирует только Title и Description. Режим используется реже и подходит для простых проверок мета-данных.
Режим Compare
Позволяет сравнивать результаты разных сканирований, полезно для отслеживания изменений или устранения ошибок.
Поиск дублированного контента
Перейдите в Configuration → Crawl Config → Content → Duplicates.
При включенной опции "Only Check Indexable Pages for Duplicates" программа будет искать дубликаты только среди страниц, доступных для индексации.
Опция "Enable Near Duplicates" позволяет настроить процентное совпадение контента, что помогает найти неявные дубликаты.
Страницы с недостаточным контентом
Результаты можно увидеть в разделе Content → All, отсортировав страницы по количеству слов. Страницы с малым количеством контента могут оказаться менее полезными для поисковых систем.
Поиск пустых страниц
Особенно полезен для сайтов с каталогами товаров, где можно определить страницы с недостаточной уникальностью контента. Определите правильные классы или id для карточек товаров и настройте фильтрацию.
Проверка наличия счетчиков на страницах
Для проверки наличия аналитических счетчиков (например, Яндекс.Метрика или Google Analytics) можно использовать режим поиска по коду страницы, вставив номер счетчика в настройки поиска.
Анализ Title, Description и заголовков (H1, H2)
После сканирования сайта можно просматривать мета-теги и заголовки в разделе Page Title. Важно проверить такие моменты, как:
- Missing — отсутствие тега Title.
- Duplicate — повторение Title на разных страницах.
- Same as H1 — если Title совпадает с H1.
- Multiple — наличие нескольких Title на одной странице.
Анализ ответов сервера
Просматриваем результаты в разделе Response Codes. Важно обращать внимание на ошибки типа 4xx и 5xx, их необходимо исправить, чтобы страницы корректно загружались.
