MoreSEOОб авторе

База знаний RAG: как подготовить данные сайта для ИИ-ассистента

Какие страницы брать в базу для ИИ-ассистента, как чистить и резать текст, какие метаданные добавить и как обновлять индекс. Цифры из документации.

Обновлено 15 ноября 2026
11 мин. чтения
Обложка: страницы сайта превращаются в базу для ИИ-ассистентаЛист страницы слева режется на цветные карточки-фрагменты, которые по стрелке укладываются в цилиндр базы данных справа

Чтобы чат-бот или ассистент на сайте отвечал по вашим материалам, а не придумывал, ему нужна подготовленная база. Её собирают в пять шагов: отбирают страницы с полезным и актуальным текстом, очищают их от меню и служебных блоков, режут на фрагменты по заголовкам, добавляют к каждому фрагменту метаданные (адрес, раздел, дату, тип страницы) и настраивают обновление, чтобы изменённые и удалённые страницы попадали в индекс в тот же день. Качество ответов зависит от подготовки сильнее, чем от выбора модели: модель видит только те фрагменты, которые нашёл поиск.

Как устроена сама технология, мы разобрали в статье про RAG, а как текст превращается в векторы, в материале про эмбеддинги. Здесь только практическая часть: что сделать с контентом сайта.

Коротко

  • В OpenAI File Search фрагмент по умолчанию занимает 800 токенов с перекрытием 400; размер можно задать от 100 до 4096 токенов.
  • В Yandex AI Studio у векторного хранилища те же значения по умолчанию: 800 и 400 токенов, перекрытие не больше половины фрагмента.
  • Microsoft для Azure AI Search советует начинать с фрагментов по 512 токенов (около 2 000 знаков) и перекрытия 25%.
  • Anthropic в 2024 году показала: короткая справка о контексте в начале каждого фрагмента плюс поиск по словам сократили неудачные выборки на 49%, а с переранжированием на 67%.
  • Модели хуже используют сведения из середины длинного контекста, чем из начала и конца (исследование Lost in the Middle, 2023). Лишние фрагменты в запросе вредят.

Какие страницы брать в базу, а какие оставить за бортом

Берите страницы, которые отвечают на вопросы клиентов: услуги, цены, условия доставки и гарантии, инструкции, FAQ, статьи блога. Не берите служебные страницы, фильтры каталога, архивы тегов, устаревшие акции и всё, где есть персональные данные.

Начните с инвентаризации: выгрузите список адресов из sitemap.xml или краулером (подробнее в статье про парсер сайтов) и разметьте каждую группу страниц.

Тип страницБрать в базуЧто сделать перед загрузкой
Услуги, товары, тарифыДаВынести цену, условия и регион в метаданные, указать дату цены
Доставка, оплата, гарантия, возвратДа, в первую очередьПроверить актуальность: об этом спрашивают чаще всего
Статьи, инструкции, FAQДаУбрать блоки «читайте также», комментарии и форму подписки
Новости и акцииТолько действующиеПоставить дату окончания и удалять из индекса после неё
Фильтры каталога, сортировки, пагинация, тегиНетЭто дубли основного текста, они забивают выдачу одинаковыми фрагментами
Личный кабинет, корзина, формыНетАссистенту нечего оттуда взять, а риск утечки данных реальный
PDF: прайсы, паспорта, договорыДа, если их нет в HTMLПеревести в текст, проверить таблицы после конвертации

Если на сайте есть дубли страниц, удобно опираться на canonical: в базу идёт только каноническая версия. Иначе на один вопрос поиск вернёт три одинаковых фрагмента, и ассистент потеряет место в контексте.

Как очистить страницу перед нарезкой

Оставьте только основной контент: заголовок, текст, таблицы и списки. Меню, подвал, баннер о cookie, хлебные крошки, виджеты и счётчики удалите. Сохраните структуру заголовков: по ней вы будете резать текст.

Самый надёжный формат для базы это Markdown. В нём сохраняются уровни заголовков, списки и таблицы, а HTML-мусор уходит. Порядок такой:

  1. Извлечь основной блок. Обычно это <main> или <article>. Если вёрстка без семантических тегов, задайте CSS-селектор контентной области для каждого шаблона сайта.
  2. Перевести в Markdown. H1–H3 превращаются в #, ##, ###. Правильная иерархия заголовков H1–H6 на сайте здесь окупается: по ней режется база.
  3. Проверить таблицы. Таблица цен, разбитая конвертером на отдельные ячейки, даёт фрагменты вида «3 500» без названия услуги. Такие таблицы лучше переписать в строки «Услуга: цена, срок».
  4. Убрать повторы. Одинаковый блок «Почему мы» на 200 страницах услуг превратится в 200 одинаковых фрагментов. Оставьте его на одной странице.
  5. Заменить ссылки-слова. «Подробнее здесь» внутри фрагмента ничего не значит без адреса. Оставьте текст ссылки и сохраните адрес в метаданных или в скобках.

Тот же принцип работает и для внешних нейросетей: текст, где каждый абзац понятен без соседних, лучше извлекается и Алисой AI, и вашим ассистентом. Как писать такие тексты, разобрано в статье о статьях для сайта.

Как резать текст на фрагменты

Режьте по смыслу: один раздел под заголовком H2 или H3 становится одним фрагментом, если укладывается в 300–800 токенов. Длинные разделы делите по абзацам с небольшим перекрытием. В начало каждого фрагмента добавьте название страницы и путь заголовков.

Фиксированного правильного размера нет. Стартовые значения у платформ различаются:

ЧтоКогда подходитЧем платитеПочему важно
Нарезка по умолчанию в OpenAI File Search и Yandex AI Studio: 800 токенов, перекрытие 400Быстрый старт без своей разметки: загрузили файлы и проверилиПерекрытие в половину фрагмента удваивает объём индекса; границы режут разделы посерединеХорошая отправная точка для сравнения с вашей нарезкой
Фиксированный размер по рекомендации Azure: 512 токенов, перекрытие 25%Однородные тексты без чёткой структуры: расшифровки, длинные инструкцииФрагмент может начаться с середины мыслиMicrosoft называет это стартом, который нужно подстроить под свои данные
По заголовкам Markdown или HTMLСайты с нормальной структурой: услуги, FAQ, статьиНужен свой скрипт или настройка сплиттера; длинные разделы всё равно придётся делитьОдин фрагмент отвечает на один вопрос, ответ не разрывается
Контекстная справка к каждому фрагментуБольшие базы, где фрагменты похожи друг на друга: однотипные услуги в разных городахВызов модели на каждый фрагмент при индексацииПо замерам Anthropic, минус 35% неудачных выборок только за счёт справки

Практические правила, которые мы применяем:

  • Добавляйте «шапку» к фрагменту. Строка вида «Ремонт котлов → Цены → Выезд мастера» перед текстом раздела решает проблему фрагмента, вырванного из контекста. Anthropic добавляла к фрагментам справку на 50–100 токенов, сгенерированную моделью; для сайта часто хватает названия страницы и цепочки заголовков без всякой модели.
  • Не дробите FAQ. Вопрос и ответ должны оказаться в одном фрагменте. Пара «вопрос в одном куске, ответ в другом» не находится ни по вопросу, ни по ответу.
  • Таблицу не делите посередине. Если она длиннее фрагмента, повторите строку заголовков в каждой части.
  • Считайте токены, а не знаки. Лимиты платформ заданы в токенах, а сколько русского текста помещается в 800 токенов, зависит от токенизатора. Оценка Microsoft «512 токенов это около 2 000 знаков» исходит из примерно четырёх знаков на токен у распространённых моделей OpenAI, для русского текста её стоит перепроверить. Проверяйте свои фрагменты токенизатором той модели эмбеддингов, которую используете.
Как подготовить контент сайта для базы ИИ-ассистентаШесть шагов: отбор страниц, очистка, нарезка по заголовкам, метаданные, индекс, проверка вопросами; цикл обновления по sitemap и хешу возвращает изменённые страницы на очистку, а удалённые убирает из индекса От страниц сайта к рабочей базе ассистента 1. Отбор страниц услуги, условия, FAQ; без фильтров и дублей 2. Очистка только основной текст, Markdown с заголовками 3. Нарезка по H2 и H3, шапка «страница → раздел» 4. Метаданные url, тип, регион, дата, хеш текста 5. Индекс векторы и поиск по словам 6. Проверка 30–50 реальных вопросов, топ-3–5 Обновление: sitemap, lastmod, хеш изменилась → заново; пропала или 404 → удалить
Порядок подготовки контента сайта для базы ИИ-ассистента: отбор страниц, очистка, нарезка по заголовкам, метаданные, индекс, проверка вопросами и цикл обновления по sitemap

Схема 1. Подготовка базы это не разовая выгрузка, а цикл: изменённые страницы переиндексируются, удалённые исчезают из индекса.

Какие метаданные добавить к каждому фрагменту

Минимум: адрес страницы, заголовок, раздел, тип страницы и дата последнего изменения. Для магазинов и сервисов добавьте регион, категорию и дату актуальности цены. Метаданные нужны для фильтрации поиска, ссылок в ответе и обновления базы.

В OpenAI к файлу в векторном хранилище можно приписать атрибуты: до 16 ключей, ключ до 64 символов, строковое значение до 512 символов. По ним фильтруют поиск операторами сравнения (eq, in, gt и другие) и их сочетаниями через and и or. В других системах названия полей отличаются, но набор, который стоит заложить, одинаковый:

ПолеПримерЗачем
urlhttps://site.ru/remont-kotlov/Ассистент даёт ссылку на источник; по адресу удаляют фрагменты страницы
title и путь заголовковРемонт котлов → ЦеныКонтекст фрагмента и «шапка» для поиска
page_typeusluga, faq, statya, dostavkaНа вопрос о цене искать только среди услуг
regionmoskvaНе отвечать петербургской ценой москвичу
updated_at2026-11-10Сравнение с lastmod при обновлении, приоритет свежего
content_hashхеш текста фрагментаПереиндексировать только то, что реально изменилось
valid_until2026-12-31Акции и временные условия уходят из базы сами

Если на страницах уже есть микроразметка Schema.org, часть полей (цена, дата изменения, тип) можно взять из неё, а не парсить из текста.

Как обновлять базу, когда меняется сайт

Сравнивайте sitemap.xml с индексом по расписанию: новые адреса добавляйте, страницы с новым lastmod или изменившимся хешем текста переиндексируйте, а адреса, которые исчезли или отдают 404 и 410, удаляйте вместе со всеми их фрагментами.

Устаревшая база опаснее пустой: ассистент уверенно назовёт прошлогоднюю цену. Рабочая схема обновления:

  1. Источник изменений. Поле <lastmod> в sitemap.xml. Google учитывает его, только если оно стабильно и проверяемо точное; для вашей базы правило то же. Если CMS ставит в lastmod текущую дату всем страницам, полагайтесь на хеш текста.
  2. Сравнение. Для каждого адреса сравните хеш очищенного текста с сохранённым. Совпал: ничего не делайте. Не совпал: удалите старые фрагменты этого адреса и загрузите новые.
  3. Удаление. Адрес пропал из карты сайта или отдаёт ошибку 404: удалите фрагменты. Это шаг, который чаще всего забывают, и ассистент продолжает советовать снятую с продажи модель.
  4. Частота. Цены и наличие: ежедневно или по событию из CMS. Статьи и инструкции: раз в неделю. Это наш ориентир, а не требование платформ.

В OpenAI у векторного хранилища можно задать срок жизни expires_after, в Yandex AI Studio тоже: от 1 до 365 дней с момента последней активности. Это защита от забытых тестовых хранилищ, а не механизм обновления.

Как проверить, что база отвечает правильно

Соберите 30–50 реальных вопросов из чатов поддержки, звонков и поисковых запросов, для каждого запишите страницу с правильным ответом. Прогоняйте этот набор после каждого изменения нарезки и смотрите, попадает ли нужный фрагмент в первые 3–5 результатов поиска.

Проверять надо две вещи раздельно:

  • Поиск. Попал ли правильный фрагмент в выдачу. Если нет, проблема в нарезке, метаданных или в том, что ответа на сайте вообще нет. Последнее случается часто, и это уже задача для контента, а не для ассистента.
  • Ответ. Пересказала ли модель фрагмент без искажений и дала ли ссылку. Если фрагмент найден, а ответ неверный, меняйте инструкцию модели или число фрагментов в контексте.

Не увеличивайте число фрагментов в запросе «на всякий случай». Исследование Lost in the Middle показало, что модели лучше всего используют сведения из начала и конца контекста и заметно хуже из середины. Пять точных фрагментов полезнее двадцати примерно подходящих. Если в базу могут попасть тексты от посетителей (отзывы, вопросы), прочитайте ещё про prompt injection: инструкция, спрятанная в отзыве, попадёт в контекст модели вместе с ним.

Наши данные: сколько людей ищут подготовку базы

Методика. План тем MoreSEO, кластер «GEO и нейропоиск» (36 тем), Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Спрос темы равен сумме точных частот её запросов.

ТемаГлавный запросШирокаяТочнаяСпрос темы
Что такое RAGrag43 1332 8815 103
Архитектура RAGrag агент86061299
Подготовка базыrag база1 0032550
Три темы вместе5 452

Что из этого следует:

  • Про технологию спрашивают в 100 раз чаще, чем про данные. Спрос темы «Что такое RAG» 5 103, подготовки базы 50: соотношение 102 к 1. Из трёх тем про RAG на подготовку базы приходится 0,9% спроса.
  • Широкая частотность почти вся в хвостах. У «rag база» широкая 1 003, а точная 25, то есть 2,5%. Остальные 97,5% это более длинные фразы, где эти слова соседствуют с другими. Почему так бывает, объяснено в статье про Вордстат.
  • Тема маленькая и для GEO. Все три темы про RAG дают 2,5% спроса кластера (217 270). Наше прочтение: те, кто реально собирает базу, ищут ответы в документации платформ на английском, а не в Яндексе. Поэтому в статье ссылки ведут на первоисточники.

Кому это не нужно

Собственная база для ИИ-ассистента не нужна, если на сайте десяток страниц, а вопросы клиентов закрывает обычный FAQ. Если цель в том, чтобы сайт цитировали внешние нейросети, своя база тоже не поможет: там работают другие правила.
  • Маленький сайт. Если весь полезный текст занимает несколько страниц, по нашему опыту его проще целиком передать модели в инструкции, чем строить индекс.
  • Видимость в Алисе AI, ChatGPT и Google. Внешние системы сами сканируют сайт, вашу базу они не видят. Для них нужна GEO-оптимизация. Файл llms.txt тоже не замена базе: это карта для внешних моделей, а не индекс для вашего ассистента.
  • Нет человека на обновление. Если цены меняются, а базу некому обновлять, ассистент будет ошибаться уверенно. Лучше без него.
  • Ответы с юридическими последствиями. Договоры, медицинские и финансовые консультации: здесь ассистент может только направить к документу, а не пересказывать его.

Частые вопросы

Какой размер фрагмента выбрать?

Начните с разделов по заголовкам H2 и H3 и ограничения 300–800 токенов. Для сравнения прогоните тот же набор вопросов на нарезке по умолчанию (800 токенов с перекрытием 400 в OpenAI и Yandex AI Studio) и оставьте вариант, где правильный фрагмент чаще попадает в первые 3–5 результатов.

Нужно ли перекрытие между фрагментами?

При нарезке по заголовкам почти не нужно: граница проходит по смыслу. При фиксированном размере перекрытие спасает фразы на стыке. Microsoft советует начинать с 25%, OpenAI ограничивает перекрытие половиной фрагмента.

В каком формате загружать страницы?

Лучше всего в Markdown или чистом тексте с сохранёнными заголовками. Сырой HTML с меню и скриптами засоряет фрагменты, а PDF нужно проверять после конвертации, особенно таблицы.

Как часто обновлять базу?

Цены и наличие при каждом изменении или ежедневно, статьи и инструкции раз в неделю. Ориентируйтесь на lastmod в sitemap и хеш текста страницы и не забывайте удалять фрагменты страниц, которых больше нет.

Можно ли сделать базу без программиста?

Для проверки идеи да: OpenAI и Yandex AI Studio принимают файлы и режут их сами. Для рабочей базы с метаданными, удалением страниц и регулярным обновлением понадобится скрипт и доступ к API нейросетей.

Источники

Частный SEO-специалист. Пишу про поиск и нейропоиск, а цифры беру из Wordstat и первоисточников.

Читайте также

© MoreSEO, Алексей Демкин · все статьи