Парсер это программа, которая сама открывает страницы, читает их HTML и складывает нужные поля в таблицу: заголовки, мета-теги, цены, артикулы, ссылки, коды ответа. Краулер (паук) делает то же самое, но ещё и сам находит новые адреса, переходя по ссылкам. В SEO такие инструменты закрывают три задачи: технический аудит своего сайта, сбор данных о конкурентах и мониторинг выдачи. Для первой хватает десктопного краулера вроде Screaming Frog SEO Spider, для второй нужен краулер с извлечением полей или свой скрипт, а для третьей лучше официальный API поисковика, потому что Google прямо запрещает автоматические запросы к своей выдаче.
Ниже разберём типы инструментов, как вытащить конкретное поле, где проходят юридические и этические границы и как отличить чужого бота от поискового робота в логах.
Коротко
- Google относит к спаму «machine-generated traffic», в том числе сбор результатов выдачи для проверки позиций без явного разрешения.
- Custom Search JSON API от Google закрыт для новых клиентов и работает для старых до 1 января 2027 года: 100 запросов в день бесплатно, дальше $5 за 1 000.
- Ст. 1334 ГК РФ защищает базы данных: при 10 000 и более элементов существенные затраты на создание презюмируются, а извлечь без разрешения нельзя всё содержимое или его существенную часть.
- RFC 9309 (сентябрь 2022) прямо говорит, что правила robots.txt не являются механизмом авторизации доступа. Это договорённость, а не замок.
- В Screaming Frog можно настроить до 100 правил извлечения по XPath, CSS Path или регулярным выражениям.
Какие бывают парсеры и что выбрать под задачу
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| Десктопный краулер (Screaming Frog, SiteAnalyzer) | Аудит своего сайта, снимок структуры конкурента | Лицензия; ресурсы компьютера; в бесплатных версиях лимит 500 URL | Обходит сайт как робот и сразу показывает коды ответа, дубли, canonical |
| IMPORTXML в Google Таблицах | 10–50 страниц, одно-два поля | Время на XPath; нестабильность на больших объёмах | Ноль установки: формула прямо в таблице |
| Свой скрипт (Python: Scrapy, requests + разбор HTML) | Регулярный сбор, нестандартная логика | Время разработчика и поддержка при смене вёрстки | Полный контроль над частотой, полями и форматом |
| Облачный сервис или готовый парсер площадки | Маркетплейсы, доски объявлений, соцсети | Подписка или оплата за запуск | Обход защиты, прокси и рендеринг берёт на себя сервис |
| Официальный API | Выдача, частотность, товары, карточки | Деньги за запросы, ключи, лимиты | Легально и стабильно: формат не меняется без предупреждения |
Подробно про лицензию, лимиты и отчёты десктопного краулера написано в разборе Screaming Frog, здесь повторять не будем. Частотность из Вордстата тоже лучше брать не парсингом интерфейса, а через Wordstat API.
Какие SEO-задачи решает парсинг
Свой сайт. Это самый безопасный и самый полезный сценарий. Краулер находит битые ссылки, цепочки редиректов, дубли страниц, пустые title. Извлечение полей добавляет то, чего нет в стандартных отчётах: наличие цены и кнопки «В корзину» на каждой карточке, дату обновления статьи, автора, микроразметку. Типичный вопрос «на каких из 8 000 товаров нет описания» решается одним правилом XPath.
Конкуренты. Обход сайта конкурента показывает его структуру: какие разделы, сколько страниц в каждом, как построены title и H1, сколько слов в карточках. Это сырьё для анализа конкурентов. Видимость и запросы конкурента при этом удобнее брать из сервисов вроде Keys.so, чем собирать самим.
Цены и ассортимент. Мониторинг цен конкурентов полезен магазинам. Важно сверять не только цену, но и наличие, единицу измерения и вариант товара, иначе сравнение будет ложным.
Выдача. Позиции и состав топа по запросам. Здесь главный риск: правила поисковиков. Об этом отдельный раздел ниже и статья про проверку позиций сайта.
Как достать нужное поле: XPath, CSS и регулярные выражения
Несколько рабочих примеров:
//titleвернёт заголовок страницы,//meta[@name='description']/@contentвернёт описание.//h1вернёт главный заголовок,count(//h2)посчитает подзаголовки.//link[@rel='canonical']/@hrefвернёт canonical.//script[@type='application/ld+json']вытащит блоки разметки, дальше их можно разбирать отдельно.- Цена обычно лежит в элементе с понятным классом или атрибутом
itemprop="price"://*[@itemprop='price']/@content.
В Google Таблицах то же самое делает функция IMPORTXML(url, xpath_query). Она умеет читать HTML, XML, CSV, TSV и RSS/Atom. Формула =IMPORTXML(A2; "//h1") в ячейке рядом с адресом вернёт H1 страницы. Для 20–30 адресов этого хватает, для тысяч нет: таблица будет пересчитываться долго и с ошибками.
В Screaming Frog за это отвечает Custom Extraction: до 100 отдельных правил на XPath, CSS Path или Regex. Функция доступна только в платной версии.
Отдельная ловушка: сайты, которые собирают контент JavaScript-ом в браузере. В исходном HTML нужного поля просто нет, и парсер вернёт пусто. Нужен режим рендеринга (headless-браузер), который заметно медленнее. Как поисковики сами справляются с такими страницами, разобрано в статье про JavaScript и SEO.
Как устроен парсинг и где его тормозить
Схема 1. Вежливый парсер проверяет правила и ответ сервера до того, как разбирать HTML.
Что настроить в любом инструменте:
- Паузы и параллельность. В документации Scrapy по умолчанию указаны задержка 1 секунда между запросами к одному домену и один одновременный запрос к домену. Это разумная стартовая точка и для других инструментов.
- Код 429. Он означает «слишком много запросов» (RFC 6585). Сервер может приложить заголовок
Retry-Afterсо временем ожидания в секундах. Честный парсер его соблюдает. - User-Agent. Подписывайте бота понятным именем и контактом. Маскировка под Googlebot или YandexBot легко вычисляется и выглядит как атака.
- Время. Большие обходы чужих сайтов запускайте ночью по времени сайта, когда нагрузка от живых посетителей меньше.
Что значит robots.txt для парсера
Стандарт RFC 9309 опубликован в сентябре 2022 года и описывает, как роботы читают файл. Полезные для парсера детали:
- Кэшировать robots.txt можно, но не дольше 24 часов, если файл доступен.
- Если файл отдаёт 4xx (например, 404), робот может обходить сайт целиком.
- Если файл отдаёт 5xx или сервер недоступен, робот должен считать, что запрещено всё.
В шаблоне проекта, который создаёт команда scrapy startproject, соблюдение robots.txt включено (ROBOTSTXT_OBEY = True). Выключать его ради пары закрытых разделов плохая идея: обычно там корзина, личный кабинет и фильтры, которые для SEO-анализа и не нужны. Как правильно настроить файл на своём сайте, читайте в статье про robots.txt.
Можно ли парсить выдачу Яндекса и Google
Варианты на 15.11.2026:
- Yandex Search API. Сервис Yandex Cloud, возвращает выдачу Яндекса в формате XML. Старая версия API v1 объявлена устаревшей, Яндекс рекомендует переходить на v2. Оплата по тарифам Yandex Cloud.
- Google Custom Search JSON API. Закрыт для новых клиентов. Существующие пользователи могут работать до 1 января 2027 года: 100 запросов в день бесплатно, затем $5 за 1 000 запросов, максимум 10 000 в день. Google предлагает переходить на Vertex AI Search.
- Сервисы съёма позиций. Они берут на себя получение выдачи и пересчёт её в позиции по вашим запросам и регионам. Для обычного проекта это проще и дешевле, чем свой парсер.
Законно ли парсить чужие сайты в России
Это не юридическая консультация, а карта рисков с первоисточниками.
База данных (ст. 1334 ГК РФ). Изготовителю базы данных, создание которой потребовало существенных затрат, принадлежит исключительное право извлекать из неё материалы. Если в базе не меньше 10 000 самостоятельных элементов, существенные затраты предполагаются, пока не доказано обратное. Извлечением считается перенос всего содержимого или существенной части на другой носитель. Каталог крупного магазина под это определение подходит легко. Выборка цен по 200 товарам для анализа на «существенную часть» обычно не тянет, а полная копия каталога с регулярным обновлением может.
Персональные данные (152-ФЗ). С 1 марта 2021 года действует ст. 10.1: данные, которые человек разрешил распространять, обрабатываются по отдельным правилам, и молчание не считается согласием. Собирать профили людей «потому что они открыты» рискованно.
Практика. Самое известное дело: «ВКонтакте» против Double Data (дело № А40-18827/2017) о сборе открытых профилей пользователей. Суды выносили противоположные решения, а 21 сентября 2022 года Суд по интеллектуальным правам утвердил мировое соглашение. Однозначного прецедента в пользу парсинга или против него дело не дало.
Тексты и картинки. Авторское право никто не отменял. А для SEO есть ещё одно ограничение: Google относит к спаму публикацию чужого контента без добавленной ценности (scraping). Собранные чужие тексты можно анализировать, но не выкладывать.
Как понять, кто парсит ваш сайт
Порядок проверки по справке Яндекса:
- Взять IP из лога.
- Сделать обратный DNS-запрос и получить имя хоста.
- Убедиться, что имя заканчивается на
yandex.ru,yandex.netилиyandex.com. - Сделать прямой DNS-запрос по этому имени: IP должен совпасть с исходным.
Если «Яндекс» не прошёл проверку, это чужой парсер под маской. Ограничивать таких ботов лучше на уровне сервера или CDN (лимит запросов, ответ 429), а не через robots.txt: недобросовестный парсер его не читает. Как работают настоящие роботы поисковиков, разобрано в статье про поисковых роботов.
Наши данные: сколько людей ищут парсеры
Методика. Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Спрос темы равен сумме точных частот двух формулировок запроса, в единственном и во множественном числе. Для сравнения взяты темы того же кластера «Инструменты SEO» из плана блога.
| Показатель | Значение |
|---|---|
| Широкая частотность главной формулировки | 1 090 |
| Точная частотность (в кавычках) | 76 |
| Доля дословного запроса в широкой | 7,0% |
| Спрос темы: единственное + множественное число | 76 + 76 = 152 |
| Тема про Screaming Frog для сравнения | 819 |
| Тема «краулер» для сравнения | 614 (точная 557 при широкой 7 902) |
| Доля темы в кластере «Инструменты SEO» (22 темы, 9 210) | 1,7% |
Что из этого следует:
- 93% широкой частотности приходится на длинные фразы. Люди ищут не определение, а конкретный инструмент под задачу: для своей площадки, языка программирования, формата выгрузки. Поэтому в статье таблица выбора стоит раньше теории.
- Названия конкретных программ ищут чаще, чем общий термин. Тема про Screaming Frog собирает в 5,4 раза больше точного спроса. Кто уже работает в SEO, ищет инструмент по имени.
- Единственное и множественное число делят спрос поровну. Значит, для поиска это один интент, и отдельные страницы под каждую форму не нужны.
Кому это не нужно
- Маленький сайт-визитка. Все проблемы видны в аудите без извлечения полей.
- Нет человека, который будет поддерживать скрипт. Сайты меняют вёрстку, и парсер ломается молча: вы получаете пустые ячейки и неверные выводы.
- Задача решается выгрузкой. Свой каталог проще выгрузить из CMS или товарного фида, чем парсить с витрины.
- Хочется взять чужие тексты для своего сайта. Это не SEO-задача, а риск по авторскому праву и правилам поисковиков.
Частые вопросы
Чем парсер отличается от краулера?
Краулер обходит сайт, переходя по ссылкам и находя новые адреса. Парсер разбирает уже скачанную страницу и вынимает из неё поля. Большинство SEO-инструментов совмещают обе функции.
Можно ли парсить без программирования?
Да. Десктопные краулеры с извлечением полей и функция IMPORTXML в Google Таблицах не требуют кода, нужно только написать XPath. Для маркетплейсов и досок объявлений есть облачные сервисы с готовыми шаблонами.
Почему парсер возвращает пустые значения?
Чаще всего по трём причинам: поле подгружается JavaScript-ом и его нет в исходном HTML, изменилась вёрстка и XPath больше не находит элемент, сайт блокирует запросы и отдаёт страницу-заглушку или код 429.
Законно ли собирать цены конкурентов?
Цены на открытых страницах сами по себе не охраняются. Риск появляется, когда вы копируете существенную часть чужой базы данных (ст. 1334 ГК РФ), создаёте серверу заметную нагрузку или публикуете собранные тексты и фото.
Источники
- RFC 9309: Robots Exclusion Protocol, сентябрь 2022
- Google Search Central: правила в отношении спама, machine-generated traffic и scraping
- Google: Custom Search JSON API, статус и цены
- Yandex Cloud: документация Yandex Search API
- Справка Яндекс Вебмастера: как проверить, что робот принадлежит Яндексу
- Гражданский кодекс РФ, ст. 1334: исключительное право изготовителя базы данных
- Федеральный закон «О персональных данных» № 152-ФЗ, ст. 10.1
- Право.ру: СИП утвердил мировое соглашение между «ВКонтакте» и Double Data
- Screaming Frog: руководство, раздел Custom Extraction
- Справка Google Таблиц: функция IMPORTXML
- Документация Scrapy: настройки ROBOTSTXT_OBEY, DOWNLOAD_DELAY, CONCURRENT_REQUESTS_PER_DOMAIN
- MDN: код ответа 429 Too Many Requests и заголовок Retry-After