Эмбеддинг (от англ. embedding, «вложение») это список чисел, которым нейросеть описывает смысл слова, фразы или целой страницы. Модель подбирает числа так, чтобы тексты с похожим смыслом оказались рядом в многомерном пространстве, даже если у них нет ни одного общего слова. «Как вернуть деньги за билет» и «возврат авиабилета» дадут близкие векторы, а «билет в театр» окажется дальше.
Для поиска это главный способ понять запрос по смыслу. Яндекс с 2016 года переводит запросы и заголовки страниц в «семантические векторы» из 300 чисел (блог Яндекса о Палехе), Google с 2018 года ищет документы через neural matching по «более широким понятиям», а не только по ключевым словам (блог Google). Тот же механизм подбирает фрагменты для ответов нейросетей.
Как текст превращается в набор чисел
Классическая работа здесь: статья Томаша Миколова и соавторов из Google «Efficient Estimation of Word Representations in Vector Space» (январь 2013), из которой вырос инструмент word2vec (arXiv). Авторы предложили две архитектуры:
- CBOW предсказывает слово по окружающим словам;
- Skip-gram наоборот, по слову предсказывает соседей.
Обучение на корпусе в 1,6 млрд слов заняло меньше суток. Главный эффект, который сделал метод знаменитым: с векторами можно делать арифметику. В статье показано, что вектор «King» минус «Man» плюс «Woman» оказывается ближе всего к вектору «Queen», а пары «Франция → Париж» и «Германия → Берлин» связаны одинаковым сдвигом.
У word2vec одно ограничение, важное для поиска: у слова один вектор на все случаи. «Ключ» от двери и «ключ» как родник получают одно и то же представление. Контекстные модели на трансформерах (BERT в Google, YATI в Яндексе) считают вектор с учётом соседних слов, поэтому одно слово в разных фразах получает разные числа. Подробнее об этом переходе в статье про BERT и YATI.
Современные модели кодируют не отдельные слова, а целые фрагменты: предложение, абзац, страницу. Несколько примеров из документации:
| Модель | Длина вектора | Что ещё важно |
|---|---|---|
| Палех, Яндекс (2016) | 300 чисел | Кодировал запросы и заголовки страниц |
| text-search-doc / text-search-query, Yandex AI Studio | 256 | Отдельные модели для документов и для коротких запросов |
| text-embeddings-v2-doc, Yandex AI Studio | 128, 256 (по умолчанию), 512 или 768 | Длину можно выбрать под задачу |
| text-embedding-3-small, OpenAI | 1536 | До 8192 токенов на входе, длину можно сократить параметром dimensions |
| text-embedding-3-large, OpenAI | 3072 | Тот же лимит входа, выше точность и цена хранения |
Данные: документация Yandex AI Studio, документация OpenAI.
Разделение на «модель для документов» и «модель для запросов» не случайно. Запрос короткий, страница длинная, и поиску нужно, чтобы вектор вопроса оказался рядом с вектором ответа, а не с вектором похожего вопроса.
Как поиск сравнивает смысл запроса и страницы
Схема 1. Как работает векторный поиск: документы кодируются заранее, запрос в момент поиска.
Процесс выглядит так:
- Индексация. Каждую страницу или её фрагмент модель заранее превращает в вектор, векторы сохраняют в индекс. Яндекс в «Королёве» делает именно так: векторы страниц считаются при индексации, потому что в реальном времени это слишком дорого (блог Яндекса о Королёве).
- Запрос. В момент поиска в вектор переводится только запрос, это быстро.
- Поиск соседей. Система ищет в индексе векторы, ближайшие к вектору запроса.
- Ранжирование. Близость по смыслу становится одним из сигналов. В Палехе семантический вектор был одним из более чем тысячи факторов, а итоговую формулу строил Матрикснет.
У OpenAI векторы нормированы к длине 1, поэтому косинусное сходство и евклидово расстояние дают одинаковый порядок результатов. Для практики это значит, что выбор меры обычно не главный вопрос.
Чем векторный поиск отличается от поиска по словам
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| Поиск по словам (обратный индекс, BM25) | Артикулы, модели, коды ошибок, имена, редкие термины | Не видит синонимов и перефраз: «возврат авиабилета» не найдёт «как сдать билет на самолёт» | Даёт точность там, где важно буквальное совпадение |
| Векторный поиск (векторы + ближайшие соседи) | Вопросы обычным языком, длинный хвост, поиск по базе знаний | Память и вычисления на хранение векторов; может «промахнуться» мимо точного кода или числа | Ловит смысл, когда слова запроса и страницы не совпадают |
| Гибридный поиск | Почти любая боевая система: веб-поиск, поиск по сайту, RAG | Сложнее настройка: нужно смешать два списка кандидатов и переранжировать | Так устроены поисковики: смысловой сигнал дополняет, а не заменяет текстовые |
Важная деталь: в большой базе нельзя честно сравнить запрос с каждым из миллионов векторов. Поэтому используют приближённый поиск ближайших соседей (ANN). Самый распространённый алгоритм это HNSW, многоуровневый граф «тесного мира», описанный Ю. Малковым и Д. Яшуниным в 2016 году (arXiv). Пример из документации: расширение pgvector для PostgreSQL по умолчанию ищет точно, с полной полнотой, а индексы HNSW и IVFFlat ускоряют поиск ценой части полноты. Индексировать там можно векторы до 2000 измерений (тип vector), хранить до 16 000.
Где векторы уже работают в Яндексе и Google
Яндекс. Палех (2 ноября 2016) переводил в векторы запросы и заголовки и был нацелен на редкие запросы длинного хвоста: их, по данным Яндекса, около ста миллионов в день. Обучался на парах «запрос + заголовок», где хорошим примером считался переход, после которого человек не уходил сразу. Королёв (22 августа 2017) стал сравнивать векторы всего текста страницы и применять смысловой анализ не к 150 документам, как Палех, а примерно к 200 000. В 2020 году пришёл YATI на трансформерах; Яндекс назвал его внедрение самым важным событием в Поиске за 10 лет (блог Яндекса).
Google. По обзору Пандю Наяка (февраль 2022): RankBrain (2015) связывает слова с понятиями, neural matching (2018) помогает находить документы по понятиям, BERT (2019) используется и для ранжирования, и для извлечения документов почти в каждом англоязычном запросе.
Как всё это складывается в общую формулу, мы разобрали в статье про ранжирование.
Что это значит для SEO и GEO
Ниже наши выводы из того, как устроен механизм, а не официальные правила поисковиков:
- Синонимы не нужно подгонять вручную. Если страница отвечает на вопрос, перефразы запроса попадут в ту же смысловую область. Набивка вариантов фразы в текст не сдвигает вектор к запросу, а размывает его. Как работать с ключевыми словами без набивки, мы писали отдельно.
- Одна страница, один интент. Вектор страницы, где смешаны «купить», «отзывы» и «как выбрать», оказывается между тремя областями и ни к одной не близок. Это тот же довод, что стоит за кластеризацией семантического ядра.
- Точные названия держите текстом. Векторный поиск может промахнуться мимо артикула, номера модели или кода ошибки. Поэтому их стоит писать в заголовке и тексте буквально: здесь работает поиск по словам.
- Фрагмент должен стоять сам по себе. Системы ответов нейросетей разбивают страницы на куски и ищут по векторам кусков. Абзац «Он работает быстрее, чем предыдущий» без подлежащего плохо найдётся по смыслу. Как устроен этот конвейер, разобрано в статье про RAG, а как готовить контент под нейроответы, в материале о GEO-оптимизации.
Наши данные: кто ищет это слово
Методика: Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Спрос темы это сумма точных частот всех запросов группы; широкая частотность приведена для ориентира и не суммируется.
| Показатель | Значение | Вывод |
|---|---|---|
| Спрос темы (3 группы, 25 запросов) | 74 499 | Тема больше, чем «llm» (группа 10 191): термин ищут почти в 7 раз чаще, чем саму технологию |
| Главный запрос, точная частота | 6 917 (9,3% темы) | Остальные 90% спроса приходятся на хвост из вопросов |
| Главный запрос, широкая частота | 112 604 | Широкая в 16 раз больше точной: вокруг слова огромный хвост формулировок |
| Запросы с «тест», «курсы», «дпо» | 7 из 25 | Значительная часть людей встречает термин в учебном тесте по ИИ |
| Запросы, похожие на варианты ответа («способ сжатия текста», «перевод слова в набор чисел», «список всех значений слова») | 6 из 25 | Люди проверяют вариант из теста, поэтому в FAQ мы отвечаем и на них |
| Группа «векторный поиск» | 71 (0,1%) | Практический вопрос почти не ищут |
| Группа «модель эмбеддингов» | 59 (0,08%) | Выбор модели интересует единицы, это аудитория разработчиков |
Частоту отдельных хвостовых запросов мы не раскладывали, поэтому долю «учебного» спроса в процентах не называем: считаем только число формулировок. Как снимать точные частоты самостоятельно, показано в гиде по Вордстату.
Кому это не нужно
- Сайтам на точных запросах. Если вас ищут по артикулу, бренду и модели, решает поиск по словам, полнота каталога и цены.
- Тем, кто хочет «оптимизировать вектор». Инструменты, которые показывают «семантическую близость» к запросу, считают её своей моделью, не моделью Яндекса или Google. Ориентироваться на их цифру как на фактор ранжирования нельзя.
- Небольшим базам знаний. Если в поиске по сайту 50 статей, обычного поиска по словам с синонимами хватит; векторная база добавит инфраструктуру без заметного выигрыша.
Частые вопросы
Что такое эмбеддинг простыми словами?
Это способ записать смысл текста числами. Нейросеть превращает слово, фразу или страницу в список из сотен или тысяч чисел так, чтобы похожие по смыслу тексты получили похожие списки. Потом компьютер сравнивает уже числа, а не слова.
Эмбеддинг это способ сжатия текста?
Отчасти. Текст любой длины превращается в вектор фиксированной длины, например 256 или 1536 чисел, и в этом смысле информация сжимается. Но восстановить из вектора исходный текст нельзя: сохраняется смысл, а не формулировка. Поэтому точнее называть эмбеддинг представлением текста, а не архивом.
Что такое эмбеддинг в нейронных сетях?
Это слой или выход модели, который переводит слово, токен или фрагмент текста в вектор. В языковых моделях эмбеддинг стоит на входе: модель работает уже не с буквами, а с векторами. Подробнее о том, как модель потом пишет ответ, в статье «что такое LLM».
Что такое векторный поиск?
Это поиск, при котором запрос и документы переводятся в векторы, а результатом становятся документы с ближайшими к запросу векторами. Он находит страницы по смыслу, даже без общих слов. В больших базах соседей ищут приближённо, например алгоритмом HNSW.
Какую модель эмбеддингов выбрать для поиска по сайту?
Начните с модели, которая поддерживает русский язык и разделяет режимы для документов и запросов, как модели Yandex AI Studio, или с многоязычной модели вроде text-embedding-3-small. Проверяйте выбор на своих реальных запросах: соберите 30-50 вопросов пользователей и посмотрите, находит ли поиск нужные страницы.
Источники
- Mikolov et al. Efficient Estimation of Word Representations in Vector Space, arXiv, 2013
- Блог Яндекса: алгоритм «Палех», как нейронные сети помогают поиску, 2016
- Блог Яндекса: алгоритм «Королёв», 2017
- Блог Яндекса: YaC 2020, что нового (YATI)
- Google: How AI powers great search results, Pandu Nayak, 2022
- Документация Yandex AI Studio: векторное представление текста
- Документация OpenAI: Embeddings
- pgvector: векторный поиск в PostgreSQL, документация на GitHub
- Malkov, Yashunin. Approximate nearest neighbor search using HNSW graphs, arXiv, 2016