MoreSEOОб авторе

Screaming Frog SEO Spider: как краулить сайт

Что умеет десктопный краулер, чем бесплатный режим на 500 адресов хуже лицензии, какие отчёты смотреть первыми и как обойти сайт на миллион страниц.

Обновлено 14 ноября 2026
11 мин. чтения
Паук на нити обходит сеть связанных между собой страниц сайта

Screaming Frog SEO Spider это программа для компьютера, которая обходит сайт так же, как поисковый робот: идёт по ссылкам, запрашивает каждую страницу и записывает, что нашла. На выходе вы получаете таблицу всех адресов сайта с кодами ответа, заголовками, мета-тегами, canonical, редиректами, глубиной вложенности и десятками других полей. Это основа любого технического аудита: без полного списка страниц вы проверяете сайт выборочно. Бесплатная версия обходит до 500 URL, но в ней закрыты настройки обхода, сохранение проектов и рендеринг JavaScript. Лицензия на одного пользователя на 14.11.2026 стоит £199, $279 или €245 в год.

**Коротко** - Бесплатный режим: 500 URL за обход и только базовые проверки (битые ссылки, редиректы, title и description, директивы, hreflang, точные дубли, генерация XML-карты). - Лицензия: £199 / $279 / €245 в год за пользователя, со скидкой от 5 лицензий. После окончания срока программа возвращается в бесплатный режим, и старые обходы не открываются. - Оплата картой или PayPal, цена в фунтах. Карты Visa, выпущенные в России, с марта 2022 года не работают за рубежом. - Для сайта на миллион адресов разработчик советует режим Database Storage, SSD и от 16 ГБ памяти. - По умолчанию программа соблюдает robots.txt и ходит в 5 потоков.

Что программа делает и где запускается

SEO Spider это краулер: он собирает все URL сайта, до которых можно дойти по ссылкам, и для каждого сохраняет технические данные. Работает на вашем компьютере (Windows, macOS на Apple Silicon и Intel, Ubuntu и Fedora), а не в облаке. На 14.11.2026 актуальная версия 25.1.

Поисковые роботы находят страницы так же, по ссылкам и картам сайта (подробнее в статье про поисковых роботов). Краулер показывает сайт их глазами до того, как они придут.

Обычно краулером проверяют коды ответа и цепочки редиректов, title, description и H1, индексируемость (noindex, canonical, robots.txt), глубину клика и внутренние ссылки.

Краулер показывает, что лежит на сайте, а Вебмастер и Search Console показывают, что из этого попало в индекс. Аудит сравнивает оба списка, как описано в статье про SEO-аудит сайта.

Что даёт бесплатная версия, а что только лицензия

Бесплатная версия ограничена не только лимитом 500 URL. В ней недоступны настройки обхода, сохранение и открытие проектов, рендеринг JavaScript, интеграции с Google Analytics, Search Console и PageSpeed Insights, поиск почти-дублей и кастомное извлечение данных.

Таблица собрана по официальному сравнению версий на странице цен разработчика (проверено 14.11.2026).

ФункцияБесплатноЛицензияЗачем нужна
Лимит обхода500 URLБез лимита (зависит от памяти и диска)Сайт с каталогом или блогом почти всегда больше 500 адресов, считая картинки и файлы
Битые ссылки, ошибки, редиректыДаДаБазовая проверка после переезда и правок структуры
Title, мета-теги, директивы, hreflang, точные дубли, XML SitemapДаДаХватает для небольшого сайта-визитки
Настройка обхода (Crawl Configuration)НетДаИсключения, лимиты, User-Agent, скорость: без них большой сайт не обойти
Сохранение и открытие обходовНетДаСравнение «до и после» и работа с результатами на следующий день
Рендеринг JavaScriptНетДаСайты на React, Vue и подобных, где ссылки появляются только после выполнения скриптов
Почти-дубли, сравнение обходов, Custom ExtractionНетДаСтраницы-близнецы, контроль релизов, сбор цен и артикулов со всех страниц
Интеграции GA, Search Console, PageSpeed Insights, ИИ (OpenAI, Gemini, Anthropic, Ollama)НетДаПодтянуть к каждому URL клики, показы и метрики скорости
Расписание, командная строка, MCP-сервер, техподдержкаНетДаРегулярные обходы без ручного запуска

Важная деталь из FAQ разработчика: когда лицензия заканчивается, программа возвращается в бесплатный режим. Настройки становятся недоступны, лимит снова 500 URL, а ранее сохранённые обходы перестают открываться. Если вам нужен архив аудитов, выгружайте результаты в CSV или Excel, пока лицензия активна.

Сколько стоит лицензия и можно ли оплатить из России

На 14.11.2026 лицензия на 1-4 пользователя стоит £199, $279 или €245 за каждого в год. Разработчик принимает основные банковские карты и PayPal, цена задана в фунтах. Прямой оплаты российской картой нет: Visa, Mastercard и PayPal в марте 2022 года приостановили работу в России.
Число лицензийGBPUSDEUR
1-4£199$279€245
5-9£189$265€235
10-19£179$249€219
20+£169$235€209

Цены указаны за одну лицензию в год. Лицензия персональная: двум специалистам нужны две лицензии. Срок 1 год, потом продление.

Про оплату. В FAQ сказано, что Screaming Frog принимает «most major credit and debit cards and PayPal» и что программу можно купить из любой страны. Но 5 марта 2022 года Visa объявила, что карты, выпущенные в России, перестанут работать за пределами страны, в тот же день о приостановке работы в России заявили Mastercard и PayPal. Поэтому для российского специалиста варианты сводятся к зарубежной карте или к оплате компанией-партнёром за рубежом. Если ни то ни другое недоступно, смотрите раздел про альтернативы ниже.

Какие отчёты смотреть после первого обхода

Начинайте с вкладки Issues в правой панели: она собирает все найденные проблемы с типом (Issue, Warning, Opportunity) и приоритетом. Затем пройдите Response Codes, Page titles, Meta description, h1, Canonicals и Directives. Цепочки редиректов выгружаются через Reports > Redirects > Redirect Chains.

Главное окно состоит из верхних вкладок (Internal, External, Security, Response Codes, URL, Page titles, Meta description, h1, h2, Content, Images, Canonicals, Pagination, Directives, hreflang, JavaScript, Links, Structured data, Sitemaps, PageSpeed и другие), фильтров внутри каждой вкладки, нижней панели с деталями выбранного URL (Inlinks, Outlinks, SERP snippet, HTTP Headers) и правой панели (Overview, Issues, Site Structure, Segments, Response Times).

Порядок, который экономит время на аудите:

  1. Issues. Сортируйте по приоритету High. Каждая строка ведёт в нужную вкладку и фильтр. Полный список можно выгрузить через Bulk Export > Issues > All.
  2. Response Codes. Фильтр Client Error (4xx) показывает внутренние ссылки на несуществующие страницы. Что с ними делать, разобрано в статье про ошибку 404. Источник ссылки на битую страницу виден во вкладке Inlinks внизу.
  3. Редиректы. Отчёт Reports > Redirects > Redirect Chains показывает цепочки и петли. Внутренние ссылки лучше сразу вести на конечный адрес; как настраивать перенаправления, описано в статье про редирект.
  4. Page titles и Meta description. Фильтры Missing, Duplicate, Over 60 characters (для title), Over X Pixels. Пиксельная длина приблизительная, Google часто меняет точку обрезки. Как писать заголовки, читайте в статье про тег title.
  5. Canonicals и Directives. Фильтр Canonicalised показывает страницы, которые ссылаются canonical на другой адрес, Directives показывает noindex и nofollow. Логика склейки дублей описана в статье про canonical.
  6. Internal, колонка Crawl Depth. Число кликов от стартовой страницы. Важные страницы на глубине 4-5 и больше стоит поднять ссылками; подробнее в статье про структуру сайта.
  7. Sitemaps. Фильтр Orphan URLs показывает адреса, которые есть в XML-карте, но не найдены по ссылкам. Карту нужно указать в настройках обхода.

Часть колонок и фильтров заполняется только после команды Crawl Analysis > Start, которую запускают по окончании обхода. Например, Link Score во вкладке Internal и фильтр почти-дублей во вкладке Content без неё останутся пустыми.

Как настроить обход большого сайта

Для сайта больше 100-200 тысяч адресов переключите хранение на базу данных (File > Settings > Storage Mode), выделите программе память (File > Settings > Memory Allocation), отключите сбор ненужных ресурсов и закройте лишние разделы исключениями. Большой каталог удобнее обходить по частям.

Порядок по официальному руководству разработчика:

  1. Режим хранения. В Database Storage данные пишутся на диск и сохраняются автоматически, восстановить обход можно через File > Crawls. Разработчик требует SSD: обычный жёсткий диск слишком медленный. В режиме Memory Storage всё держится в оперативной памяти, обходы нужно сохранять вручную через File > Save.
  2. Память. По умолчанию программа берёт 2 ГБ на 64-битной системе. Оставьте операционной системе не меньше 2 ГБ от общего объёма.
  3. Лишние ресурсы. В Configuration > Spider > Crawl снимите галочки с изображений, CSS, JavaScript, внешних ссылок, hreflang и AMP, если они сейчас не нужны. В Configuration > Spider > Extraction отключите неиспользуемые поля.
  4. Исключения. Config > Exclude принимает регулярные выражения. Закройте фасетные фильтры, сортировки, параметры сессий, бесконечные календари. Адреса, найденные только через исключённые страницы, тоже не будут обойдены.
  5. Обход по частям. Укажите стартовый адрес раздела со слешем в конце и уберите в Configuration > Spider галочки обхода за пределами стартовой папки. Для точечного обхода есть режим Mode > List: вы загружаете список URL, и программа проверяет только их.
  6. Лимиты. В Configuration > Spider > Limits задаются общий лимит, глубина, длина URL, число параметров в адресе. Limit by URL Path ограничивает число адресов по шаблону.
  7. Скорость. По умолчанию 5 потоков, Config > Speed ограничивает число запросов в секунду. 5 URL в секунду дают около 430 тысяч адресов в сутки.
Пять этапов обхода большого сайта: хранение и память, отбор данных, исключения и лимиты, обход, Crawl Analysis и отчёты 1. Хранение и память File > Settings: Database Storage на SSD, Memory Allocation 2. Отбор данных Spider > Crawl и Extraction: снять картинки, CSS, JS, лишние поля 3. Исключения и лимиты Exclude по шаблонам, Limits, обход по разделам или Mode > List 4. Обход 5 потоков по умолчанию, Config > Speed для слабого сервера 5. Crawl Analysis и отчёты Issues, Response Codes, Redirect Chains, Bulk Export
Пять этапов обхода большого сайта: хранение и память, отбор данных, исключения и лимиты, сам обход, Crawl Analysis и выгрузка отчётов

Схема 1. Порядок подготовки к обходу большого сайта. Если пропустить первые три шага, программа упрётся в память раньше, чем дойдёт до конца каталога.

Ориентиры по памяти из того же руководства (приблизительные, зависят от сайта):

Оперативная памятьDatabase StorageMemory Storage
По умолчанию (2 ГБ)1-2 млн URL10-150 тыс. URL
4 ГБ2-3 млн URLне указано
8 ГБоколо 5 млн URLпара сотен тысяч URL
16 ГБоколо 10 млн URLне указано

Ещё две детали. Excel открывает не больше 1 048 576 строк, поэтому выгрузку на миллион адресов придётся резать. Программа по умолчанию соблюдает robots.txt; если раздел закрыт, а проверить его нужно, используйте режим Ignore robots.txt but report status в Configuration > Robots.txt. Как правильно закрывать разделы, описано в статье про robots.txt.

Чем заменить, если лицензию купить не получается

Ближайшая замена для российского рынка: SiteAnalyzer, бесплатно до 500 страниц, лицензия от 1 490 ₽ разово за компьютер. Sitebulb мощнее, но платный по подписке в фунтах. Netpeak Spider с марта 2022 года закрыт для пользователей из России и Беларуси.
ЧтоКогда подходитЧем платитеПочему важно
SiteAnalyzerАудиты в России, оплата в рубляхБесплатно до 500 страниц, 3 проектов и 3 потоков; лицензия от 1 490 ₽ за ПК без периодических платежейИнтеграция с Яндекс Вебмастером, Метрикой и Search Console, проверка индексации в Яндексе и Google
SitebulbАудит с визуальными отчётами и подсказкамиПодписка, пробный период 14 дней; Lite до 10 000 URL на аудит, Pro до 500 000Сильные объяснения найденных проблем для клиентов и разработчиков
Netpeak SpiderПользователи вне России и БеларусиС 10.03.2022 доступ из России и Беларуси закрыт, деньги не возвращалиВстречается в старых инструкциях, для РФ не вариант
Яндекс Вебмастер и Google Search ConsoleВсегда, параллельно с любым краулеромБесплатно, нужны права на сайтПоказывают, что видят сами поисковики, а не краулер

Если нужна быстрая проверка нескольких страниц без установки программ, начните с подборки из статьи анализ сайта онлайн.

## Наши данные: как ищут программу в Яндексе
Спрос темы 819 запросов в месяц. Главная формулировка «screaming frog» в кавычках даёт 434, это 53%. Остальные 47% приходятся на варианты «seo frog», «seo spider», «screaming frog seo» и «screaming frog seo spider».
Методика: Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Спрос темы считается как сумма точных частот всех запросов группы, широкая частотность без операторов приведена для ориентира.
ПоказательЗначение
Широкая частотность «screaming frog»2 035
Точная частотность «screaming frog»434
Спрос темы (5 формулировок)819
Доля прочих формулировок в спросе темы47% (385 запросов)
Место темы в кластере «Инструменты SEO» (22 темы, 9 210 запросов)2-е, 8,9% спроса кластера
Что из этого следует: - **Программу помнят по лягушке и пауку.** Почти половина людей не набирает полное название, а пишет «seo frog» или «seo spider». Если вы готовите инструкцию для команды или клиента, используйте оба названия. - **Широкая цифра завышена в 4,7 раза.** 2 035 против 434: в широкую частотность попадают все запросы, где встречаются эти два слова, с любыми добавками. Для оценки спроса годится только точная цифра. - **Краулер интересует больше людей, чем западные сервисы аналитики.** Спрос темы (819) выше, чем у «ahrefs» (584) и «semrush» (531) по тому же срезу. Сравнение этих сервисов разобрано в статье [Ahrefs, Semrush и Serpstat](/ahrefs-semrush-serpstat/).

Кому это не нужно

Краулер не нужен, если на сайте до 20-30 страниц и вы видите их все в Вебмастере, если сайт на конструкторе, где вы не управляете кодом, или если вам нужен анализ конкурентов и спроса, а не техника своего сайта.
  • Маленький сайт. Для лендинга и визитки хватит отчётов Яндекс Вебмастера и Search Console и ручной проверки.
  • Задача про спрос и конкурентов. Краулер не знает частотность и позиции. Для этого нужны Wordstat и сервисы вроде Keys.so.

Частые вопросы

Сколько страниц можно проверить бесплатно?

500 URL за один обход. В это число входят все найденные адреса, включая изображения, CSS и JavaScript, поэтому HTML-страниц обычно получается меньше. Отключить сбор ресурсов в бесплатной версии нельзя: настройки обхода доступны только с лицензией.

Почему программа нашла меньше страниц, чем есть на сайте?

Частые причины: страницы не связаны ссылками, раздел закрыт в robots.txt, ссылки подгружаются JavaScript, а включён режим Text Only, сработал лимит 500 URL. Для поиска страниц без ссылок укажите XML-карту и подключите Search Console в настройках API.

Есть ли версия на русском языке?

Нет. По документации на 14.11.2026 интерфейс доступен на английском, испанском, немецком, французском, итальянском, нидерландском и турецком. Язык меняется в File > Settings > Language. При этом проверка орфографии поддерживает русский язык страниц.

Источники

Частный SEO-специалист. Пишу про поиск и нейропоиск, а цифры беру из Wordstat и первоисточников.

Читайте также

© MoreSEO, Алексей Демкин · все статьи