RAG, retrieval-augmented generation, на русском «генерация, дополненная поиском». Это подход, при котором языковая модель отвечает не только «по памяти», а сначала находит нужные фрагменты во внешнем источнике (базе документов, поисковом индексе, сайте) и пишет ответ с опорой на них. Термин ввели Патрик Льюис и соавторы из Facebook AI Research, University College London и Нью-Йоркского университета в статье 2020 года, принятой на конференцию NeurIPS 2020 (arXiv).
Для владельца сайта это не абстракция. Ответы Алисы AI в Яндексе, AI Overviews в Google и Perplexity устроены по той же логике: найти страницы, выбрать фрагменты, собрать из них ответ и поставить ссылки. Ваша страница здесь играет роль внешнего источника, и путь в ответ лежит через то, найдёт ли её поиск.
Зачем модели внешние данные
Авторы RAG описывают два вида памяти. Параметрическая зашита в веса модели во время обучения: её нельзя быстро поправить и трудно проверить, откуда взялся факт. Непараметрическая это внешний индекс документов, к которому модель обращается при ответе. Его можно дополнить, заменить и показать пользователю источник.
Самый наглядный опыт из статьи: исследователи собрали два индекса, из Википедии декабря 2016 и декабря 2018 года, и спрашивали модель о мировых лидерах. С «правильным» индексом точность была 70% (2016) и 68% (2018), а с несовпадающим падала до 12% и 4%. Вывод авторов: знания модели можно обновить, просто заменив внешнюю память. Для бизнеса это главный довод: базу знаний обновить дешевле, чем дообучать модель.
Как модель сама пишет текст, без поиска, мы разобрали в статье «что такое LLM».
Как устроен конвейер от вопроса до ответа
Схема 1. Две части системы: подготовка базы (заранее) и ответ на вопрос (в момент запроса).
Подготовка базы (один раз и при обновлениях):
- Нарезка. Документы делят на фрагменты. В оригинальной работе это непересекающиеся куски по 100 слов; в рабочих системах режут по абзацам и заголовкам.
- Векторизация. Каждый фрагмент модель-кодировщик превращает в вектор. Что это такое и как сравнивается смысл, объяснено в статье про эмбеддинги.
- Индекс. Векторы кладут в индекс для быстрого поиска ближайших соседей. У Льюиса и соавторов это библиотека FAISS с алгоритмом HNSW.
Ответ на вопрос:
- Поиск. Вопрос переводится в вектор, система находит top-k ближайших фрагментов. В статье кодировщики взяты из DPR (Dense Passage Retriever, два кодировщика на базе BERT: для вопроса и для документа).
- Переранжирование. В рабочих системах найденные кандидаты часто пересортировывает более точная модель, а к векторному поиску добавляют поиск по словам.
- Генерация. Вопрос и найденные фрагменты склеиваются и подаются генератору. В оригинале это BART-large на 400 млн параметров, сегодня обычно большая языковая модель.
Авторы предложили два режима: RAG-Sequence берёт одни и те же документы на весь ответ, RAG-Token может опираться на разные документы для разных слов.
Какие бывают варианты архитектуры
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| Базовый вариант: векторный поиск + генерация | База знаний, справка, FAQ, документация с прямыми вопросами | Промахи на точных кодах и артикулах; ответ хорош ровно настолько, насколько хороши найденные фрагменты | Самый дешёвый старт, с него начинают почти все |
| Гибридный поиск + переранжирование | Каталоги, технические тексты, смесь вопросов и точных названий | Две системы поиска и модель-ранжировщик: выше задержка и сложность | Так работают поисковики: смысл плюс буквальное совпадение |
| GraphRAG (графы знаний) | Вопросы «в целом по корпусу»: темы, связи между людьми, компаниями, событиями | Дорогое построение графа знаний моделью, сложнее обновлять | Microsoft Research в 2024 году показала прирост качества на анализе сложных документов |
| Агентный RAG | Ассистенты, которым нужны разные источники: поиск, база, CRM, API | Несколько обращений к модели на ответ, больше стоимость и время | Модель сама решает, искать ли и где; инструменты подключаются, например, через протокол MCP (представлен Anthropic 25 ноября 2024) |
Источники: блог Microsoft Research о GraphRAG, анонс Model Context Protocol.
Как это работает в Алисе AI, Google и Perplexity
Яндекс. По справке Вебмастера, Алиса AI анализирует запрос, при необходимости делит его на подвопросы, отправляет в Поиск уточнённые запросы и собирает ответ из смысловых блоков найденных страниц. Опирается она на страницы, которые высоко ранжируются. Подробно этот механизм и отчёт о видимости в Вебмастере мы разбирали в статье про Алису AI в Поиске.
Google. По документации Search Central, AI Overviews и AI Mode могут использовать query fan-out: несколько связанных поисков по подтемам и источникам данных. Во время генерации системы находят дополнительные поддерживающие страницы, поэтому набор ссылок бывает шире, чем в обычной выдаче. Отдельных требований нет: страница должна быть проиндексирована и иметь право показываться со сниппетом. Особенности этих режимов разобраны в материале про Google AI Overviews.
Perplexity работает по той же схеме, но со своим краулером и индексом; об этом в статье «как работает нейропоиск Perplexity».
Отсюда главный вывод для SEO: в ИИ-поиске у страницы два фильтра. Первый: найдёт ли её поиск по запросу или подвопросу (это обычное ранжирование). Второй: удобно ли из неё взять фрагмент, который отвечает на вопрос.
Как сделать страницы удобными для извлечения
Ниже наши практические выводы из устройства конвейера:
- Ответ рядом с заголовком. Система режет страницу на куски. Если ответ на вопрос из H2 стоит в первых 2-3 предложениях раздела, он попадёт в тот же фрагмент, что и вопрос.
- Без местоимений вместо сущностей. Фрагмент «Он стоит 3 000 рублей» вырван из контекста и непонятен. «Монтаж кондиционера стоит от 3 000 рублей» самодостаточен.
- Одна тема на страницу. Подвопросы модель ищет отдельными запросами. Страница, которая чётко отвечает на один подвопрос, найдётся по нему точнее, чем «обо всём».
- Таблицы и списки для сравнений. Цены, сроки, характеристики в таблице легче пересказать без искажений, чем растворённые в тексте.
- Дата и свежесть. Модель тянет то, что находит в индексе сейчас. Устаревшая цена на странице попадёт в ответ как текущая.
- Не закрывайте доступ случайно. Запрет YandexAdditionalBot в robots.txt убирает контент из ответов Алисы AI, а
nosnippetиmax-snippetограничивают показ фрагментов в Google.
Как писать такие тексты целиком, мы собрали в статье о статьях для сайта, а общую стратегию в материале про GEO-оптимизацию. Специальные файлы для нейросетей Google не требует, подробнее в разборе llms.txt.
Наши данные: что спрашивают об этой технологии
Методика: Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026, точные частоты; спрос темы это сумма точных частот запросов группы.
| Показатель | Значение | Вывод |
|---|---|---|
| Спрос темы (2 группы, 21 запрос) | 5 402 | Тема средняя по объёму: в 14 раз меньше «эмбеддингов» |
| Группа «что это и как работает» | 5 103 (94,5%) | Большинству нужен понятный разбор, а не код |
| Группа «архитектура и агенты» (rag агент, graph rag, rag mcp, пайплайны) | 299 (5,5%) | Аудитория разработчиков, которые строят свою систему |
| Главный запрос в кавычках | 2 881 | 53% спроса темы приходится на одно короткое слово |
| Главный запрос, широкая частота | 43 133 | В 15 раз больше точной: латинское «rag» широко совпадает с чужими значениями и брендами, ориентироваться на неё нельзя |
| Для сравнения: тема «эмбеддинги» | 74 499 | Технологию поиска знают меньше, чем термин, который встречается в учебных тестах |
Как отличать широкую частоту от точной и почему широкая обманывает на коротких словах, мы показали в гиде по Вордстату.
Когда это не нужно
- Маленькая база. Если вся справка занимает несколько страниц, её проще целиком передать модели в запросе, чем строить индекс.
- Творческие задачи. Придумать заголовок, переписать текст, сменить тон: внешние факты здесь не нужны.
- Ответы, где ошибка недопустима. Поиск снижает выдумки, но не исключает: модель может неверно пересказать даже правильный фрагмент. Медицинские дозировки и юридические сроки всё равно нужно проверять человеку.
- Владельцам сайтов «для GEO». Ставить у себя такую систему ради попадания в ответы Алисы AI или Google бесполезно. Работает только то, что видит их поиск: индексация, позиции, понятные фрагменты.
Частые вопросы
Что такое retrieval-augmented generation простыми словами?
Это когда нейросеть перед ответом «гуглит»: ищет подходящие документы в базе или в поиске, читает найденные фрагменты и отвечает по ним, а не только по памяти. Поэтому такие ответы бывают свежее и часто содержат ссылки на источники.
Чем генерация с поиском отличается от дообучения модели?
Дообучение меняет веса модели: долго, дорого и знания снова устаревают. Поиск по внешней базе оставляет модель как есть и подставляет ей нужные факты в момент ответа. Базу можно обновить за минуты, а источник ответа видно.
Что такое агент с поиском и чем он отличается от базовой схемы?
Это система, где модель сама решает, нужен ли поиск, какой запрос отправить и в какой источник: поисковик, базу знаний, CRM или API. Она может сделать несколько шагов подряд, уточняя запрос, прежде чем ответить.
Нужна ли векторная база для генерации с поиском?
Не обязательно. Искать можно и по словам, и через обычный поисковик, как делают ИИ-ответы Яндекса и Google. Векторная база нужна, когда вопросы задают обычным языком и формулировки пользователей не совпадают со словами в документах.
Что такое GraphRAG?
Вариант, в котором модель заранее строит из документов граф знаний: сущности и связи между ними. Он помогает отвечать на вопросы «по всему корпусу», например о главных темах или связях, где обычный поиск по отдельным фрагментам не справляется.
Источники
- Lewis et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv, 2020
- Справка Яндекс Вебмастера: как формируются ответы Алисы AI
- Google Search Central: AI-функции в Поиске и ваш сайт
- Microsoft Research: GraphRAG, Unlocking LLM discovery on narrative private data
- Anthropic: Introducing the Model Context Protocol, 2024
- Malkov, Yashunin. HNSW: приближённый поиск ближайших соседей, arXiv, 2016
- Справка Яндекс Вебмастера: запрет показа контента в ответах Алисы AI