MoreSEOОб авторе

RAG: как нейросети подтягивают данные из внешних источников

Как языковая модель ищет документы перед ответом, из каких блоков состоит такая система, как это устроено в Алисе AI и Google и что сделать сайту.

Обновлено 14 ноября 2026
9 мин. чтения
Генерация с поиском: документы питают ответ нейросети Слева стопка документов и лупа, стрелка ведёт к облаку ответа справа, в строках ответа стоят жёлтые точки-ссылки, соединённые линиями с документами.

RAG, retrieval-augmented generation, на русском «генерация, дополненная поиском». Это подход, при котором языковая модель отвечает не только «по памяти», а сначала находит нужные фрагменты во внешнем источнике (базе документов, поисковом индексе, сайте) и пишет ответ с опорой на них. Термин ввели Патрик Льюис и соавторы из Facebook AI Research, University College London и Нью-Йоркского университета в статье 2020 года, принятой на конференцию NeurIPS 2020 (arXiv).

Для владельца сайта это не абстракция. Ответы Алисы AI в Яндексе, AI Overviews в Google и Perplexity устроены по той же логике: найти страницы, выбрать фрагменты, собрать из них ответ и поставить ссылки. Ваша страница здесь играет роль внешнего источника, и путь в ответ лежит через то, найдёт ли её поиск.

**Коротко** - В оригинальной работе база знаний это дамп Википедии за декабрь 2018 года, нарезанный на 21 млн фрагментов по 100 слов; на каждый вопрос модель брала 5 или 10 лучших. - Знания модели можно обновить без переобучения: достаточно заменить индекс. С индексом 2016 года модель верно называла 70% мировых лидеров 2016 года и только 4% лидеров 2018-го. - Конвейер: нарезка документов, перевод фрагментов в векторы, поиск по запросу, переранжирование, ответ модели по найденному. - Алиса AI делит вопрос на подвопросы и отправляет уточнённые запросы в Поиск; Google в AI Overviews и AI Mode использует query fan-out, несколько связанных поисков по подтемам. - Google прямо пишет: отдельных требований для попадания в ИИ-ответы нет, страница должна быть в индексе и иметь право на сниппет.

Зачем модели внешние данные

Языковая модель помнит только то, что было в обучающих данных, и не знает свежих событий, ваших цен и внутренних документов. Внешний поиск даёт ей актуальные факты в момент ответа и уменьшает риск, что она их выдумает.

Авторы RAG описывают два вида памяти. Параметрическая зашита в веса модели во время обучения: её нельзя быстро поправить и трудно проверить, откуда взялся факт. Непараметрическая это внешний индекс документов, к которому модель обращается при ответе. Его можно дополнить, заменить и показать пользователю источник.

Самый наглядный опыт из статьи: исследователи собрали два индекса, из Википедии декабря 2016 и декабря 2018 года, и спрашивали модель о мировых лидерах. С «правильным» индексом точность была 70% (2016) и 68% (2018), а с несовпадающим падала до 12% и 4%. Вывод авторов: знания модели можно обновить, просто заменив внешнюю память. Для бизнеса это главный довод: базу знаний обновить дешевле, чем дообучать модель.

Как модель сама пишет текст, без поиска, мы разобрали в статье «что такое LLM».

Как устроен конвейер от вопроса до ответа

Система заранее нарезает документы на фрагменты и переводит их в векторы. На вопрос она ищет ближайшие фрагменты, отбирает лучшие, вставляет их в запрос к модели вместе с вопросом, и модель пишет ответ, опираясь на них.
Конвейер генерации с поиском Подготовка базы заранее: документы, нарезка на фрагменты, векторы, индекс. Ответ на вопрос: вопрос, поиск лучших фрагментов, переранжирование, модель получает вопрос и фрагменты, ответ со ссылками. Индекс соединён с шагом поиска. Как нейросеть отвечает с опорой на найденное Подготовка базы: заранее и при обновлениях Документы сайт, справка, индекс Фрагменты абзацы, ~100 слов Векторы модель-кодировщик Индекс поиск соседей Ответ на вопрос: в момент запроса Вопрос пользователя Поиск top-k, 5-10 Отбор переранжи- рование Модель вопрос + фрагменты Ответ со ссылками В ИИ-поиске роль базы играет поисковый индекс: сначала страницу должен найти поиск
Конвейер генерации с поиском: документы нарезаются на фрагменты и превращаются в векторы, вопрос тоже превращается в вектор, находятся лучшие фрагменты, модель получает вопрос и фрагменты и пишет ответ со ссылками

Схема 1. Две части системы: подготовка базы (заранее) и ответ на вопрос (в момент запроса).

Подготовка базы (один раз и при обновлениях):

  1. Нарезка. Документы делят на фрагменты. В оригинальной работе это непересекающиеся куски по 100 слов; в рабочих системах режут по абзацам и заголовкам.
  2. Векторизация. Каждый фрагмент модель-кодировщик превращает в вектор. Что это такое и как сравнивается смысл, объяснено в статье про эмбеддинги.
  3. Индекс. Векторы кладут в индекс для быстрого поиска ближайших соседей. У Льюиса и соавторов это библиотека FAISS с алгоритмом HNSW.

Ответ на вопрос:

  1. Поиск. Вопрос переводится в вектор, система находит top-k ближайших фрагментов. В статье кодировщики взяты из DPR (Dense Passage Retriever, два кодировщика на базе BERT: для вопроса и для документа).
  2. Переранжирование. В рабочих системах найденные кандидаты часто пересортировывает более точная модель, а к векторному поиску добавляют поиск по словам.
  3. Генерация. Вопрос и найденные фрагменты склеиваются и подаются генератору. В оригинале это BART-large на 400 млн параметров, сегодня обычно большая языковая модель.

Авторы предложили два режима: RAG-Sequence берёт одни и те же документы на весь ответ, RAG-Token может опираться на разные документы для разных слов.

Какие бывают варианты архитектуры

Базовая схема «нашёл фрагменты, ответил» обросла вариантами: гибридный поиск, графы знаний и агенты, которые сами решают, когда и где искать. Выбор зависит от того, какие вопросы задают и насколько связаны данные.
ЧтоКогда подходитЧем платитеПочему важно
Базовый вариант: векторный поиск + генерацияБаза знаний, справка, FAQ, документация с прямыми вопросамиПромахи на точных кодах и артикулах; ответ хорош ровно настолько, насколько хороши найденные фрагментыСамый дешёвый старт, с него начинают почти все
Гибридный поиск + переранжированиеКаталоги, технические тексты, смесь вопросов и точных названийДве системы поиска и модель-ранжировщик: выше задержка и сложностьТак работают поисковики: смысл плюс буквальное совпадение
GraphRAG (графы знаний)Вопросы «в целом по корпусу»: темы, связи между людьми, компаниями, событиямиДорогое построение графа знаний моделью, сложнее обновлятьMicrosoft Research в 2024 году показала прирост качества на анализе сложных документов
Агентный RAGАссистенты, которым нужны разные источники: поиск, база, CRM, APIНесколько обращений к модели на ответ, больше стоимость и времяМодель сама решает, искать ли и где; инструменты подключаются, например, через протокол MCP (представлен Anthropic 25 ноября 2024)

Источники: блог Microsoft Research о GraphRAG, анонс Model Context Protocol.

Как это работает в Алисе AI, Google и Perplexity

В ИИ-поиске роль базы знаний играет поисковый индекс. Модель отправляет в поиск один или несколько запросов, берёт найденные страницы и собирает ответ из их фрагментов со ссылками.

Яндекс. По справке Вебмастера, Алиса AI анализирует запрос, при необходимости делит его на подвопросы, отправляет в Поиск уточнённые запросы и собирает ответ из смысловых блоков найденных страниц. Опирается она на страницы, которые высоко ранжируются. Подробно этот механизм и отчёт о видимости в Вебмастере мы разбирали в статье про Алису AI в Поиске.

Google. По документации Search Central, AI Overviews и AI Mode могут использовать query fan-out: несколько связанных поисков по подтемам и источникам данных. Во время генерации системы находят дополнительные поддерживающие страницы, поэтому набор ссылок бывает шире, чем в обычной выдаче. Отдельных требований нет: страница должна быть проиндексирована и иметь право показываться со сниппетом. Особенности этих режимов разобраны в материале про Google AI Overviews.

Perplexity работает по той же схеме, но со своим краулером и индексом; об этом в статье «как работает нейропоиск Perplexity».

Отсюда главный вывод для SEO: в ИИ-поиске у страницы два фильтра. Первый: найдёт ли её поиск по запросу или подвопросу (это обычное ранжирование). Второй: удобно ли из неё взять фрагмент, который отвечает на вопрос.

Как сделать страницы удобными для извлечения

Пишите так, чтобы каждый фрагмент страницы отвечал на один вопрос и был понятен без соседних абзацев. Факты с цифрами, названиями и условиями извлекаются лучше общих фраз.

Ниже наши практические выводы из устройства конвейера:

  1. Ответ рядом с заголовком. Система режет страницу на куски. Если ответ на вопрос из H2 стоит в первых 2-3 предложениях раздела, он попадёт в тот же фрагмент, что и вопрос.
  2. Без местоимений вместо сущностей. Фрагмент «Он стоит 3 000 рублей» вырван из контекста и непонятен. «Монтаж кондиционера стоит от 3 000 рублей» самодостаточен.
  3. Одна тема на страницу. Подвопросы модель ищет отдельными запросами. Страница, которая чётко отвечает на один подвопрос, найдётся по нему точнее, чем «обо всём».
  4. Таблицы и списки для сравнений. Цены, сроки, характеристики в таблице легче пересказать без искажений, чем растворённые в тексте.
  5. Дата и свежесть. Модель тянет то, что находит в индексе сейчас. Устаревшая цена на странице попадёт в ответ как текущая.
  6. Не закрывайте доступ случайно. Запрет YandexAdditionalBot в robots.txt убирает контент из ответов Алисы AI, а nosnippet и max-snippet ограничивают показ фрагментов в Google.

Как писать такие тексты целиком, мы собрали в статье о статьях для сайта, а общую стратегию в материале про GEO-оптимизацию. Специальные файлы для нейросетей Google не требует, подробнее в разборе llms.txt.

Наши данные: что спрашивают об этой технологии

По Wordstat на 14.11.2026 спрос темы 5 402 запроса в месяц. 94,5% приходится на вопрос «что это и как работает», а запросы про сборку своей системы (архитектура, агенты, пайплайны) дают 299, или 5,5%.

Методика: Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026, точные частоты; спрос темы это сумма точных частот запросов группы.

ПоказательЗначениеВывод
Спрос темы (2 группы, 21 запрос)5 402Тема средняя по объёму: в 14 раз меньше «эмбеддингов»
Группа «что это и как работает»5 103 (94,5%)Большинству нужен понятный разбор, а не код
Группа «архитектура и агенты» (rag агент, graph rag, rag mcp, пайплайны)299 (5,5%)Аудитория разработчиков, которые строят свою систему
Главный запрос в кавычках2 88153% спроса темы приходится на одно короткое слово
Главный запрос, широкая частота43 133В 15 раз больше точной: латинское «rag» широко совпадает с чужими значениями и брендами, ориентироваться на неё нельзя
Для сравнения: тема «эмбеддинги»74 499Технологию поиска знают меньше, чем термин, который встречается в учебных тестах

Как отличать широкую частоту от точной и почему широкая обманывает на коротких словах, мы показали в гиде по Вордстату.

Когда это не нужно

Своя система с поиском не нужна, если все нужные данные помещаются в один запрос к модели или вопросы не требуют фактов. Сайту, который хочет попасть в ИИ-ответы, строить её не надо вовсе: это задача поисковика.
  • Маленькая база. Если вся справка занимает несколько страниц, её проще целиком передать модели в запросе, чем строить индекс.
  • Творческие задачи. Придумать заголовок, переписать текст, сменить тон: внешние факты здесь не нужны.
  • Ответы, где ошибка недопустима. Поиск снижает выдумки, но не исключает: модель может неверно пересказать даже правильный фрагмент. Медицинские дозировки и юридические сроки всё равно нужно проверять человеку.
  • Владельцам сайтов «для GEO». Ставить у себя такую систему ради попадания в ответы Алисы AI или Google бесполезно. Работает только то, что видит их поиск: индексация, позиции, понятные фрагменты.

Частые вопросы

Что такое retrieval-augmented generation простыми словами?

Это когда нейросеть перед ответом «гуглит»: ищет подходящие документы в базе или в поиске, читает найденные фрагменты и отвечает по ним, а не только по памяти. Поэтому такие ответы бывают свежее и часто содержат ссылки на источники.

Чем генерация с поиском отличается от дообучения модели?

Дообучение меняет веса модели: долго, дорого и знания снова устаревают. Поиск по внешней базе оставляет модель как есть и подставляет ей нужные факты в момент ответа. Базу можно обновить за минуты, а источник ответа видно.

Что такое агент с поиском и чем он отличается от базовой схемы?

Это система, где модель сама решает, нужен ли поиск, какой запрос отправить и в какой источник: поисковик, базу знаний, CRM или API. Она может сделать несколько шагов подряд, уточняя запрос, прежде чем ответить.

Нужна ли векторная база для генерации с поиском?

Не обязательно. Искать можно и по словам, и через обычный поисковик, как делают ИИ-ответы Яндекса и Google. Векторная база нужна, когда вопросы задают обычным языком и формулировки пользователей не совпадают со словами в документах.

Что такое GraphRAG?

Вариант, в котором модель заранее строит из документов граф знаний: сущности и связи между ними. Он помогает отвечать на вопросы «по всему корпусу», например о главных темах или связях, где обычный поиск по отдельным фрагментам не справляется.

Источники

  1. Lewis et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv, 2020
  2. Справка Яндекс Вебмастера: как формируются ответы Алисы AI
  3. Google Search Central: AI-функции в Поиске и ваш сайт
  4. Microsoft Research: GraphRAG, Unlocking LLM discovery on narrative private data
  5. Anthropic: Introducing the Model Context Protocol, 2024
  6. Malkov, Yashunin. HNSW: приближённый поиск ближайших соседей, arXiv, 2016
  7. Справка Яндекс Вебмастера: запрет показа контента в ответах Алисы AI
Частный SEO-специалист. Пишу про поиск и нейропоиск, а цифры беру из Wordstat и первоисточников.

Читайте также

© MoreSEO, Алексей Демкин · все статьи