Screaming Frog SEO Spider это программа для компьютера, которая обходит сайт так же, как поисковый робот: идёт по ссылкам, запрашивает каждую страницу и записывает, что нашла. На выходе вы получаете таблицу всех адресов сайта с кодами ответа, заголовками, мета-тегами, canonical, редиректами, глубиной вложенности и десятками других полей. Это основа любого технического аудита: без полного списка страниц вы проверяете сайт выборочно. Бесплатная версия обходит до 500 URL, но в ней закрыты настройки обхода, сохранение проектов и рендеринг JavaScript. Лицензия на одного пользователя на 14.11.2026 стоит £199, $279 или €245 в год.
Что программа делает и где запускается
Поисковые роботы находят страницы так же, по ссылкам и картам сайта (подробнее в статье про поисковых роботов). Краулер показывает сайт их глазами до того, как они придут.
Обычно краулером проверяют коды ответа и цепочки редиректов, title, description и H1, индексируемость (noindex, canonical, robots.txt), глубину клика и внутренние ссылки.
Краулер показывает, что лежит на сайте, а Вебмастер и Search Console показывают, что из этого попало в индекс. Аудит сравнивает оба списка, как описано в статье про SEO-аудит сайта.
Что даёт бесплатная версия, а что только лицензия
Таблица собрана по официальному сравнению версий на странице цен разработчика (проверено 14.11.2026).
| Функция | Бесплатно | Лицензия | Зачем нужна |
|---|---|---|---|
| Лимит обхода | 500 URL | Без лимита (зависит от памяти и диска) | Сайт с каталогом или блогом почти всегда больше 500 адресов, считая картинки и файлы |
| Битые ссылки, ошибки, редиректы | Да | Да | Базовая проверка после переезда и правок структуры |
| Title, мета-теги, директивы, hreflang, точные дубли, XML Sitemap | Да | Да | Хватает для небольшого сайта-визитки |
| Настройка обхода (Crawl Configuration) | Нет | Да | Исключения, лимиты, User-Agent, скорость: без них большой сайт не обойти |
| Сохранение и открытие обходов | Нет | Да | Сравнение «до и после» и работа с результатами на следующий день |
| Рендеринг JavaScript | Нет | Да | Сайты на React, Vue и подобных, где ссылки появляются только после выполнения скриптов |
| Почти-дубли, сравнение обходов, Custom Extraction | Нет | Да | Страницы-близнецы, контроль релизов, сбор цен и артикулов со всех страниц |
| Интеграции GA, Search Console, PageSpeed Insights, ИИ (OpenAI, Gemini, Anthropic, Ollama) | Нет | Да | Подтянуть к каждому URL клики, показы и метрики скорости |
| Расписание, командная строка, MCP-сервер, техподдержка | Нет | Да | Регулярные обходы без ручного запуска |
Важная деталь из FAQ разработчика: когда лицензия заканчивается, программа возвращается в бесплатный режим. Настройки становятся недоступны, лимит снова 500 URL, а ранее сохранённые обходы перестают открываться. Если вам нужен архив аудитов, выгружайте результаты в CSV или Excel, пока лицензия активна.
Сколько стоит лицензия и можно ли оплатить из России
| Число лицензий | GBP | USD | EUR |
|---|---|---|---|
| 1-4 | £199 | $279 | €245 |
| 5-9 | £189 | $265 | €235 |
| 10-19 | £179 | $249 | €219 |
| 20+ | £169 | $235 | €209 |
Цены указаны за одну лицензию в год. Лицензия персональная: двум специалистам нужны две лицензии. Срок 1 год, потом продление.
Про оплату. В FAQ сказано, что Screaming Frog принимает «most major credit and debit cards and PayPal» и что программу можно купить из любой страны. Но 5 марта 2022 года Visa объявила, что карты, выпущенные в России, перестанут работать за пределами страны, в тот же день о приостановке работы в России заявили Mastercard и PayPal. Поэтому для российского специалиста варианты сводятся к зарубежной карте или к оплате компанией-партнёром за рубежом. Если ни то ни другое недоступно, смотрите раздел про альтернативы ниже.
Какие отчёты смотреть после первого обхода
Главное окно состоит из верхних вкладок (Internal, External, Security, Response Codes, URL, Page titles, Meta description, h1, h2, Content, Images, Canonicals, Pagination, Directives, hreflang, JavaScript, Links, Structured data, Sitemaps, PageSpeed и другие), фильтров внутри каждой вкладки, нижней панели с деталями выбранного URL (Inlinks, Outlinks, SERP snippet, HTTP Headers) и правой панели (Overview, Issues, Site Structure, Segments, Response Times).
Порядок, который экономит время на аудите:
- Issues. Сортируйте по приоритету High. Каждая строка ведёт в нужную вкладку и фильтр. Полный список можно выгрузить через Bulk Export > Issues > All.
- Response Codes. Фильтр Client Error (4xx) показывает внутренние ссылки на несуществующие страницы. Что с ними делать, разобрано в статье про ошибку 404. Источник ссылки на битую страницу виден во вкладке Inlinks внизу.
- Редиректы. Отчёт Reports > Redirects > Redirect Chains показывает цепочки и петли. Внутренние ссылки лучше сразу вести на конечный адрес; как настраивать перенаправления, описано в статье про редирект.
- Page titles и Meta description. Фильтры Missing, Duplicate, Over 60 characters (для title), Over X Pixels. Пиксельная длина приблизительная, Google часто меняет точку обрезки. Как писать заголовки, читайте в статье про тег title.
- Canonicals и Directives. Фильтр Canonicalised показывает страницы, которые ссылаются canonical на другой адрес, Directives показывает noindex и nofollow. Логика склейки дублей описана в статье про canonical.
- Internal, колонка Crawl Depth. Число кликов от стартовой страницы. Важные страницы на глубине 4-5 и больше стоит поднять ссылками; подробнее в статье про структуру сайта.
- Sitemaps. Фильтр Orphan URLs показывает адреса, которые есть в XML-карте, но не найдены по ссылкам. Карту нужно указать в настройках обхода.
Часть колонок и фильтров заполняется только после команды Crawl Analysis > Start, которую запускают по окончании обхода. Например, Link Score во вкладке Internal и фильтр почти-дублей во вкладке Content без неё останутся пустыми.
Как настроить обход большого сайта
Порядок по официальному руководству разработчика:
- Режим хранения. В Database Storage данные пишутся на диск и сохраняются автоматически, восстановить обход можно через File > Crawls. Разработчик требует SSD: обычный жёсткий диск слишком медленный. В режиме Memory Storage всё держится в оперативной памяти, обходы нужно сохранять вручную через File > Save.
- Память. По умолчанию программа берёт 2 ГБ на 64-битной системе. Оставьте операционной системе не меньше 2 ГБ от общего объёма.
- Лишние ресурсы. В Configuration > Spider > Crawl снимите галочки с изображений, CSS, JavaScript, внешних ссылок, hreflang и AMP, если они сейчас не нужны. В Configuration > Spider > Extraction отключите неиспользуемые поля.
- Исключения. Config > Exclude принимает регулярные выражения. Закройте фасетные фильтры, сортировки, параметры сессий, бесконечные календари. Адреса, найденные только через исключённые страницы, тоже не будут обойдены.
- Обход по частям. Укажите стартовый адрес раздела со слешем в конце и уберите в Configuration > Spider галочки обхода за пределами стартовой папки. Для точечного обхода есть режим Mode > List: вы загружаете список URL, и программа проверяет только их.
- Лимиты. В Configuration > Spider > Limits задаются общий лимит, глубина, длина URL, число параметров в адресе. Limit by URL Path ограничивает число адресов по шаблону.
- Скорость. По умолчанию 5 потоков, Config > Speed ограничивает число запросов в секунду. 5 URL в секунду дают около 430 тысяч адресов в сутки.
Схема 1. Порядок подготовки к обходу большого сайта. Если пропустить первые три шага, программа упрётся в память раньше, чем дойдёт до конца каталога.
Ориентиры по памяти из того же руководства (приблизительные, зависят от сайта):
| Оперативная память | Database Storage | Memory Storage |
|---|---|---|
| По умолчанию (2 ГБ) | 1-2 млн URL | 10-150 тыс. URL |
| 4 ГБ | 2-3 млн URL | не указано |
| 8 ГБ | около 5 млн URL | пара сотен тысяч URL |
| 16 ГБ | около 10 млн URL | не указано |
Ещё две детали. Excel открывает не больше 1 048 576 строк, поэтому выгрузку на миллион адресов придётся резать. Программа по умолчанию соблюдает robots.txt; если раздел закрыт, а проверить его нужно, используйте режим Ignore robots.txt but report status в Configuration > Robots.txt. Как правильно закрывать разделы, описано в статье про robots.txt.
Чем заменить, если лицензию купить не получается
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| SiteAnalyzer | Аудиты в России, оплата в рублях | Бесплатно до 500 страниц, 3 проектов и 3 потоков; лицензия от 1 490 ₽ за ПК без периодических платежей | Интеграция с Яндекс Вебмастером, Метрикой и Search Console, проверка индексации в Яндексе и Google |
| Sitebulb | Аудит с визуальными отчётами и подсказками | Подписка, пробный период 14 дней; Lite до 10 000 URL на аудит, Pro до 500 000 | Сильные объяснения найденных проблем для клиентов и разработчиков |
| Netpeak Spider | Пользователи вне России и Беларуси | С 10.03.2022 доступ из России и Беларуси закрыт, деньги не возвращали | Встречается в старых инструкциях, для РФ не вариант |
| Яндекс Вебмастер и Google Search Console | Всегда, параллельно с любым краулером | Бесплатно, нужны права на сайт | Показывают, что видят сами поисковики, а не краулер |
Если нужна быстрая проверка нескольких страниц без установки программ, начните с подборки из статьи анализ сайта онлайн.
| Показатель | Значение |
|---|---|
| Широкая частотность «screaming frog» | 2 035 |
| Точная частотность «screaming frog» | 434 |
| Спрос темы (5 формулировок) | 819 |
| Доля прочих формулировок в спросе темы | 47% (385 запросов) |
| Место темы в кластере «Инструменты SEO» (22 темы, 9 210 запросов) | 2-е, 8,9% спроса кластера |
Кому это не нужно
- Маленький сайт. Для лендинга и визитки хватит отчётов Яндекс Вебмастера и Search Console и ручной проверки.
- Задача про спрос и конкурентов. Краулер не знает частотность и позиции. Для этого нужны Wordstat и сервисы вроде Keys.so.
Частые вопросы
Сколько страниц можно проверить бесплатно?
500 URL за один обход. В это число входят все найденные адреса, включая изображения, CSS и JavaScript, поэтому HTML-страниц обычно получается меньше. Отключить сбор ресурсов в бесплатной версии нельзя: настройки обхода доступны только с лицензией.
Почему программа нашла меньше страниц, чем есть на сайте?
Частые причины: страницы не связаны ссылками, раздел закрыт в robots.txt, ссылки подгружаются JavaScript, а включён режим Text Only, сработал лимит 500 URL. Для поиска страниц без ссылок укажите XML-карту и подключите Search Console в настройках API.
Есть ли версия на русском языке?
Нет. По документации на 14.11.2026 интерфейс доступен на английском, испанском, немецком, французском, итальянском, нидерландском и турецком. Язык меняется в File > Settings > Language. При этом проверка орфографии поддерживает русский язык страниц.
Источники
- Screaming Frog: цены и сравнение бесплатной и платной версий
- Screaming Frog: обзор SEO Spider, версии и поддерживаемые системы
- Screaming Frog FAQ: способы оплаты и что происходит после окончания лицензии
- Руководство пользователя: вкладки, фильтры и отчёты
- Руководство пользователя: настройки обхода, скорость и robots.txt
- Screaming Frog: как обходить большие сайты, память и режимы хранения
- Visa: приостановка операций в России, 5 марта 2022 года
- Mastercard: заявление о приостановке работы в России, март 2022 года
- PayPal: обращение CEO о приостановке сервисов в России, 5 марта 2022 года
- SiteAnalyzer: сравнение бесплатной и платной версий
- Sitebulb: тарифы и пробный период
- DOU: Netpeak Software закрыла доступ к своим программам в России и Беларуси, 10.03.2022