Чтобы чат-бот или ассистент на сайте отвечал по вашим материалам, а не придумывал, ему нужна подготовленная база. Её собирают в пять шагов: отбирают страницы с полезным и актуальным текстом, очищают их от меню и служебных блоков, режут на фрагменты по заголовкам, добавляют к каждому фрагменту метаданные (адрес, раздел, дату, тип страницы) и настраивают обновление, чтобы изменённые и удалённые страницы попадали в индекс в тот же день. Качество ответов зависит от подготовки сильнее, чем от выбора модели: модель видит только те фрагменты, которые нашёл поиск.
Как устроена сама технология, мы разобрали в статье про RAG, а как текст превращается в векторы, в материале про эмбеддинги. Здесь только практическая часть: что сделать с контентом сайта.
Коротко
- В OpenAI File Search фрагмент по умолчанию занимает 800 токенов с перекрытием 400; размер можно задать от 100 до 4096 токенов.
- В Yandex AI Studio у векторного хранилища те же значения по умолчанию: 800 и 400 токенов, перекрытие не больше половины фрагмента.
- Microsoft для Azure AI Search советует начинать с фрагментов по 512 токенов (около 2 000 знаков) и перекрытия 25%.
- Anthropic в 2024 году показала: короткая справка о контексте в начале каждого фрагмента плюс поиск по словам сократили неудачные выборки на 49%, а с переранжированием на 67%.
- Модели хуже используют сведения из середины длинного контекста, чем из начала и конца (исследование Lost in the Middle, 2023). Лишние фрагменты в запросе вредят.
Какие страницы брать в базу, а какие оставить за бортом
Начните с инвентаризации: выгрузите список адресов из sitemap.xml или краулером (подробнее в статье про парсер сайтов) и разметьте каждую группу страниц.
| Тип страниц | Брать в базу | Что сделать перед загрузкой |
|---|---|---|
| Услуги, товары, тарифы | Да | Вынести цену, условия и регион в метаданные, указать дату цены |
| Доставка, оплата, гарантия, возврат | Да, в первую очередь | Проверить актуальность: об этом спрашивают чаще всего |
| Статьи, инструкции, FAQ | Да | Убрать блоки «читайте также», комментарии и форму подписки |
| Новости и акции | Только действующие | Поставить дату окончания и удалять из индекса после неё |
| Фильтры каталога, сортировки, пагинация, теги | Нет | Это дубли основного текста, они забивают выдачу одинаковыми фрагментами |
| Личный кабинет, корзина, формы | Нет | Ассистенту нечего оттуда взять, а риск утечки данных реальный |
| PDF: прайсы, паспорта, договоры | Да, если их нет в HTML | Перевести в текст, проверить таблицы после конвертации |
Если на сайте есть дубли страниц, удобно опираться на canonical: в базу идёт только каноническая версия. Иначе на один вопрос поиск вернёт три одинаковых фрагмента, и ассистент потеряет место в контексте.
Как очистить страницу перед нарезкой
Самый надёжный формат для базы это Markdown. В нём сохраняются уровни заголовков, списки и таблицы, а HTML-мусор уходит. Порядок такой:
- Извлечь основной блок. Обычно это
<main>или<article>. Если вёрстка без семантических тегов, задайте CSS-селектор контентной области для каждого шаблона сайта. - Перевести в Markdown. H1–H3 превращаются в
#,##,###. Правильная иерархия заголовков H1–H6 на сайте здесь окупается: по ней режется база. - Проверить таблицы. Таблица цен, разбитая конвертером на отдельные ячейки, даёт фрагменты вида «3 500» без названия услуги. Такие таблицы лучше переписать в строки «Услуга: цена, срок».
- Убрать повторы. Одинаковый блок «Почему мы» на 200 страницах услуг превратится в 200 одинаковых фрагментов. Оставьте его на одной странице.
- Заменить ссылки-слова. «Подробнее здесь» внутри фрагмента ничего не значит без адреса. Оставьте текст ссылки и сохраните адрес в метаданных или в скобках.
Тот же принцип работает и для внешних нейросетей: текст, где каждый абзац понятен без соседних, лучше извлекается и Алисой AI, и вашим ассистентом. Как писать такие тексты, разобрано в статье о статьях для сайта.
Как резать текст на фрагменты
Фиксированного правильного размера нет. Стартовые значения у платформ различаются:
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| Нарезка по умолчанию в OpenAI File Search и Yandex AI Studio: 800 токенов, перекрытие 400 | Быстрый старт без своей разметки: загрузили файлы и проверили | Перекрытие в половину фрагмента удваивает объём индекса; границы режут разделы посередине | Хорошая отправная точка для сравнения с вашей нарезкой |
| Фиксированный размер по рекомендации Azure: 512 токенов, перекрытие 25% | Однородные тексты без чёткой структуры: расшифровки, длинные инструкции | Фрагмент может начаться с середины мысли | Microsoft называет это стартом, который нужно подстроить под свои данные |
| По заголовкам Markdown или HTML | Сайты с нормальной структурой: услуги, FAQ, статьи | Нужен свой скрипт или настройка сплиттера; длинные разделы всё равно придётся делить | Один фрагмент отвечает на один вопрос, ответ не разрывается |
| Контекстная справка к каждому фрагменту | Большие базы, где фрагменты похожи друг на друга: однотипные услуги в разных городах | Вызов модели на каждый фрагмент при индексации | По замерам Anthropic, минус 35% неудачных выборок только за счёт справки |
Практические правила, которые мы применяем:
- Добавляйте «шапку» к фрагменту. Строка вида «Ремонт котлов → Цены → Выезд мастера» перед текстом раздела решает проблему фрагмента, вырванного из контекста. Anthropic добавляла к фрагментам справку на 50–100 токенов, сгенерированную моделью; для сайта часто хватает названия страницы и цепочки заголовков без всякой модели.
- Не дробите FAQ. Вопрос и ответ должны оказаться в одном фрагменте. Пара «вопрос в одном куске, ответ в другом» не находится ни по вопросу, ни по ответу.
- Таблицу не делите посередине. Если она длиннее фрагмента, повторите строку заголовков в каждой части.
- Считайте токены, а не знаки. Лимиты платформ заданы в токенах, а сколько русского текста помещается в 800 токенов, зависит от токенизатора. Оценка Microsoft «512 токенов это около 2 000 знаков» исходит из примерно четырёх знаков на токен у распространённых моделей OpenAI, для русского текста её стоит перепроверить. Проверяйте свои фрагменты токенизатором той модели эмбеддингов, которую используете.
Схема 1. Подготовка базы это не разовая выгрузка, а цикл: изменённые страницы переиндексируются, удалённые исчезают из индекса.
Какие метаданные добавить к каждому фрагменту
В OpenAI к файлу в векторном хранилище можно приписать атрибуты: до 16 ключей, ключ до 64 символов, строковое значение до 512 символов. По ним фильтруют поиск операторами сравнения (eq, in, gt и другие) и их сочетаниями через and и or. В других системах названия полей отличаются, но набор, который стоит заложить, одинаковый:
| Поле | Пример | Зачем |
|---|---|---|
| url | https://site.ru/remont-kotlov/ | Ассистент даёт ссылку на источник; по адресу удаляют фрагменты страницы |
| title и путь заголовков | Ремонт котлов → Цены | Контекст фрагмента и «шапка» для поиска |
| page_type | usluga, faq, statya, dostavka | На вопрос о цене искать только среди услуг |
| region | moskva | Не отвечать петербургской ценой москвичу |
| updated_at | 2026-11-10 | Сравнение с lastmod при обновлении, приоритет свежего |
| content_hash | хеш текста фрагмента | Переиндексировать только то, что реально изменилось |
| valid_until | 2026-12-31 | Акции и временные условия уходят из базы сами |
Если на страницах уже есть микроразметка Schema.org, часть полей (цена, дата изменения, тип) можно взять из неё, а не парсить из текста.
Как обновлять базу, когда меняется сайт
Устаревшая база опаснее пустой: ассистент уверенно назовёт прошлогоднюю цену. Рабочая схема обновления:
- Источник изменений. Поле
<lastmod>в sitemap.xml. Google учитывает его, только если оно стабильно и проверяемо точное; для вашей базы правило то же. Если CMS ставит в lastmod текущую дату всем страницам, полагайтесь на хеш текста. - Сравнение. Для каждого адреса сравните хеш очищенного текста с сохранённым. Совпал: ничего не делайте. Не совпал: удалите старые фрагменты этого адреса и загрузите новые.
- Удаление. Адрес пропал из карты сайта или отдаёт ошибку 404: удалите фрагменты. Это шаг, который чаще всего забывают, и ассистент продолжает советовать снятую с продажи модель.
- Частота. Цены и наличие: ежедневно или по событию из CMS. Статьи и инструкции: раз в неделю. Это наш ориентир, а не требование платформ.
В OpenAI у векторного хранилища можно задать срок жизни expires_after, в Yandex AI Studio тоже: от 1 до 365 дней с момента последней активности. Это защита от забытых тестовых хранилищ, а не механизм обновления.
Как проверить, что база отвечает правильно
Проверять надо две вещи раздельно:
- Поиск. Попал ли правильный фрагмент в выдачу. Если нет, проблема в нарезке, метаданных или в том, что ответа на сайте вообще нет. Последнее случается часто, и это уже задача для контента, а не для ассистента.
- Ответ. Пересказала ли модель фрагмент без искажений и дала ли ссылку. Если фрагмент найден, а ответ неверный, меняйте инструкцию модели или число фрагментов в контексте.
Не увеличивайте число фрагментов в запросе «на всякий случай». Исследование Lost in the Middle показало, что модели лучше всего используют сведения из начала и конца контекста и заметно хуже из середины. Пять точных фрагментов полезнее двадцати примерно подходящих. Если в базу могут попасть тексты от посетителей (отзывы, вопросы), прочитайте ещё про prompt injection: инструкция, спрятанная в отзыве, попадёт в контекст модели вместе с ним.
Наши данные: сколько людей ищут подготовку базы
Методика. План тем MoreSEO, кластер «GEO и нейропоиск» (36 тем), Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Спрос темы равен сумме точных частот её запросов.
| Тема | Главный запрос | Широкая | Точная | Спрос темы |
|---|---|---|---|---|
| Что такое RAG | rag | 43 133 | 2 881 | 5 103 |
| Архитектура RAG | rag агент | 860 | 61 | 299 |
| Подготовка базы | rag база | 1 003 | 25 | 50 |
| Три темы вместе | 5 452 | |||
Что из этого следует:
- Про технологию спрашивают в 100 раз чаще, чем про данные. Спрос темы «Что такое RAG» 5 103, подготовки базы 50: соотношение 102 к 1. Из трёх тем про RAG на подготовку базы приходится 0,9% спроса.
- Широкая частотность почти вся в хвостах. У «rag база» широкая 1 003, а точная 25, то есть 2,5%. Остальные 97,5% это более длинные фразы, где эти слова соседствуют с другими. Почему так бывает, объяснено в статье про Вордстат.
- Тема маленькая и для GEO. Все три темы про RAG дают 2,5% спроса кластера (217 270). Наше прочтение: те, кто реально собирает базу, ищут ответы в документации платформ на английском, а не в Яндексе. Поэтому в статье ссылки ведут на первоисточники.
Кому это не нужно
- Маленький сайт. Если весь полезный текст занимает несколько страниц, по нашему опыту его проще целиком передать модели в инструкции, чем строить индекс.
- Видимость в Алисе AI, ChatGPT и Google. Внешние системы сами сканируют сайт, вашу базу они не видят. Для них нужна GEO-оптимизация. Файл llms.txt тоже не замена базе: это карта для внешних моделей, а не индекс для вашего ассистента.
- Нет человека на обновление. Если цены меняются, а базу некому обновлять, ассистент будет ошибаться уверенно. Лучше без него.
- Ответы с юридическими последствиями. Договоры, медицинские и финансовые консультации: здесь ассистент может только направить к документу, а не пересказывать его.
Частые вопросы
Какой размер фрагмента выбрать?
Начните с разделов по заголовкам H2 и H3 и ограничения 300–800 токенов. Для сравнения прогоните тот же набор вопросов на нарезке по умолчанию (800 токенов с перекрытием 400 в OpenAI и Yandex AI Studio) и оставьте вариант, где правильный фрагмент чаще попадает в первые 3–5 результатов.
Нужно ли перекрытие между фрагментами?
При нарезке по заголовкам почти не нужно: граница проходит по смыслу. При фиксированном размере перекрытие спасает фразы на стыке. Microsoft советует начинать с 25%, OpenAI ограничивает перекрытие половиной фрагмента.
В каком формате загружать страницы?
Лучше всего в Markdown или чистом тексте с сохранёнными заголовками. Сырой HTML с меню и скриптами засоряет фрагменты, а PDF нужно проверять после конвертации, особенно таблицы.
Как часто обновлять базу?
Цены и наличие при каждом изменении или ежедневно, статьи и инструкции раз в неделю. Ориентируйтесь на lastmod в sitemap и хеш текста страницы и не забывайте удалять фрагменты страниц, которых больше нет.
Можно ли сделать базу без программиста?
Для проверки идеи да: OpenAI и Yandex AI Studio принимают файлы и режут их сами. Для рабочей базы с метаданными, удалением страниц и регулярным обновлением понадобится скрипт и доступ к API нейросетей.
Источники
- OpenAI: Retrieval и векторные хранилища, нарезка, атрибуты, фильтры
- Yandex AI Studio: создание векторного хранилища, chunking_strategy и expires_after
- Microsoft Learn: Chunk documents in Azure AI Search
- Anthropic: Introducing Contextual Retrieval, 2024
- Liu et al. Lost in the Middle: How Language Models Use Long Contexts, 2023
- Google Search Central: создание Sitemap и поле lastmod