MoreSEOОб авторе

BERT и YATI: как нейросети научили поиск понимать запросы

Что за модель Google 2018 года, как она изменила выдачу в 2019-м, как Яндекс прошёл путь от Палеха к трансформеру YATI и что из этого следует для текстов.

Обновлено 14 ноября 2026
9 мин. чтения
Модель читает слово с учётом соседей с обеих сторон Ряд из шести прямоугольников-слов, над ними дуги, соединяющие каждое слово с другими; одна дуга выделена кораллом, под рядом двусторонняя стрелка.

BERT (Bidirectional Encoder Representations from Transformers) это языковая модель, которую исследователи Google описали в октябре 2018 года (arXiv). Её главное свойство: она понимает слово с учётом всех соседних слов, и слева, и справа. Для поиска это значит, что предлоги, отрицания и порядок слов перестали теряться. 25 октября 2019 года Google объявил, что модель помогает понимать каждый десятый англоязычный запрос в США, и назвал это крупнейшим шагом вперёд за пять лет (блог Google).

Яндекс прошёл тот же путь своим маршрутом. В 2016 году «Палех» начал сравнивать смысл запроса и заголовка, в 2017-м «Королёв» стал сравнивать с текстом страницы, а в ноябре 2020 года Яндекс объявил, что перевёл Поиск на собственные трансформеры YATI, и назвал это самым важным событием в Поиске за 10 лет (блог Яндекса).

**Коротко** - BERT-base: 12 слоёв, 110 млн параметров; BERT-large: 24 слоя, 340 млн. Обучение на BooksCorpus (800 млн слов) и английской Википедии (2,5 млрд слов). - При обучении модель угадывает 15% скрытых слов в тексте: поэтому учится смотреть на контекст в обе стороны. - Google: 1 из 10 запросов в США (октябрь 2019), более 70 языков (декабрь 2019), почти каждый англоязычный запрос (октябрь 2020). - Яндекс: Палех (2 ноября 2016), Королёв (22 августа 2017), YATI (2020, Yet Another Transformer with Improvements). - Google о подготовке сайта: под эту модель нечего оптимизировать, цель прежняя, хороший контент для людей.

Что умеет модель и почему её назвали прорывом

Модель читает фразу целиком и строит представление каждого слова с учётом всех остальных слов. До неё нейросети в поиске либо давали слову один вектор на все случаи, либо читали текст только в одну сторону.

Чтобы понять разницу, вспомните word2vec (2013): там у слова «ключ» один вектор, будь то ключ от двери, родник или скрипичный ключ. Подробнее об этом поколении в статье про эмбеддинги. Модель Google 2018 года строит вектор слова заново в каждой фразе. «Ключ» в «ключ от квартиры» и в «бьёт ключом» получит разные представления.

Как этого добились:

  • Архитектура трансформер. Её описали в статье «Attention Is All You Need» в июне 2017 года (arXiv). Механизм внимания позволяет каждому слову «посмотреть» на все остальные слова фразы и решить, какие из них важны для его смысла.
  • Маскирование. При обучении модель скрывает 15% токенов текста и учится их угадывать по окружению. Чтобы угадать пропуск в середине предложения, нужно смотреть и влево, и вправо: отсюда двунаправленность.
  • Масштаб. Две версии, 110 и 340 млн параметров, словарь WordPiece на 30 000 токенов, 3,3 млрд слов обучающего текста.

Результат в статье: новые лучшие показатели на 11 задачах обработки языка и рост общего теста GLUE до 80,5%, на 7,7 пункта. Главное практическое отличие от ChatGPT и других генеративных моделей: это кодировщик. Он не пишет текст, а превращает его в векторы, которые дальше используют для классификации, поиска и ранжирования. Как устроены генеративные модели, разобрано в статье «что такое LLM».

Набор слов и кодировщик: как предлог меняет смысл запроса Сверху старый подход: из запроса остаются слова виза, бразилец, США, предлог в теряется, и непонятно, кто куда едет. Снизу кодировщик: каждое слово связано с остальными, предлог в связан с бразильцу и США, смысл: бразилец едет в США. Почему предлог «в» важен для поиска Набор слов: служебные слова теряются виза бразилец США в Кто куда едет? страницы про обе поездки Кодировщик: каждое слово видит все остальные нужна ли виза бразильцу в США Бразилец едет в США страницы про визу в США Пример из блога Google, октябрь 2019: «2019 brazil traveler to usa need a visa»
Как кодировщик читает запрос: каждое слово связано со всеми остальными, поэтому предлог «в» меняет смысл запроса о визе

Схема 1. Старый подход видит набор слов, кодировщик видит связи между ними, включая предлоги.

Что изменилось в выдаче Google

Поиск стал учитывать служебные слова, от которых зависит смысл. Изменения коснулись длинных запросов, сформулированных обычным языком, и блока с ответом над выдачей.

Примеры из поста Пандю Наяка, вице-президента Google по поиску:

  • «2019 brazil traveler to usa need a visa». Раньше поиск выдавал страницы о поездках граждан США в Бразилию. Новая модель поняла, что важен предлог «to»: бразилец едет в США.
  • «do estheticians stand a lot at work». Старая система сопоставляла «stand» со «stand-alone», новая поняла, что речь о физической нагрузке на работе.
  • «parking on a hill with no curb». Раньше система придавала вес слову «curb» и игнорировала «no».

Модель также улучшила блоки с ответом в двух десятках стран, где они были, с заметным ростом на корейском, хинди и португальском. Для её работы Google впервые использовал в выдаче облачные процессоры Cloud TPU. 9 декабря 2019 года через аккаунт SearchLiaison компания сообщила о запуске на более чем 70 языках (Search Engine Land), а 15 октября 2020 года написала, что модель используется почти в каждом англоязычном запросе (блог Google).

Пост честно признаёт пределы: на запрос «what state is south of Nebraska» модель предложила населённый пункт South Nebraska. Поиск, как пишет Google, «не решённая задача».

Система GoogleГодЧто делаетПочему важно для сайта
RankBrain2015Первая система глубокого обучения в поиске: связывает слова с понятиямиСтраница находится по смежным формулировкам
Neural matching2018Находит документы по понятиям, а не только по словамОтбор кандидатов перестаёт зависеть от точного вхождения
BERT2019Понимает сочетания слов, включая предлоги; работает и в ранжировании, и в отборе документовВажен смысл фразы целиком, а не набор ключей
MUM2021Обучена на 75 языках, в 1000 раз мощнее BERT по оценке Google; для общего ранжирования на февраль 2022 года не применяласьПоказывает направление, но не влияет на обычную выдачу напрямую

Данные: How AI powers great search results, Google, февраль 2022.

Как Яндекс пришёл к трансформерам

Яндекс начал сравнивать запросы и заголовки по смыслу в ноябре 2016 года («Палех»), за два года до neural matching в Google. Через год «Королёв» перешёл от заголовков к полному тексту, а в 2020 году YATI заменил эти модели трансформерами.
Нейросети в поиске Google и Яндекса, 2013-2020 Ось лет с 2013 по 2020. Над осью события Google: word2vec 2013, RankBrain 2015, трансформер 2017, neural matching 2018, модель BERT в поиске 2019. Под осью события Яндекса: Палех 2016, Королёв 2017, YATI 2020. Две линии: Google и Яндекс 2013 2014 2015 2016 2017 2018 2019 2020 Google Яндекс word2vec RankBrain Трансформер (статья) Neural matching BERT в поиске Палех заголовки Королёв весь текст YATI трансформер
Хронология нейросетей в поиске Google и Яндекса с 2013 по 2020 год: word2vec, RankBrain, Палех, трансформер, Королёв, neural matching, запуск модели Google в поиске, YATI

Схема 2. Две параллельные линии: исследования и внедрения в Google и в Яндексе.

Палех, 2 ноября 2016. Нейросеть переводит запрос и заголовок страницы в семантические векторы из 300 чисел и сравнивает их. Цель: редкие запросы длинного хвоста, по которым мало статистики; таких, по данным Яндекса, около ста миллионов в день. Вектор стал одним из более чем тысячи факторов, а решал, как его учитывать, Матрикснет (блог Яндекса).

Королёв, 22 августа 2017. Сравнивает уже вектор всего текста страницы, а не только заголовка. Векторы страниц считаются заранее при индексации, иначе это слишком дорого. Смысловой анализ применяется примерно к 200 000 документов вместо 150 у Палеха (блог Яндекса).

YATI, 2020. Название расшифровывается как Yet Another Transformer with Improvements. Модель сопоставляет смысл запросов и документов, как Палех и Королёв, но за счёт трансформеров справляется с этим намного лучше, учитывает порядок слов и контекст, работает и с короткими, и с длинными текстами. В посте 25 ноября 2020 года Яндекс пишет, что модель прошлого поколения обучалась на одном ускорителе за час, а большой трансформер на том же железе учился бы около десяти лет; для внедрения пришлось объединять ускорители в кластеры (блог Яндекса). В 2024 году в обзоре десяти лет нейросетей в Поиске Яндекс назвал прирост от YATI рекордным со времён Матрикснета (2009) (Хабр, блог Яндекса).

Как эти сигналы встраиваются в общую формулу, мы разобрали в статье про ранжирование.

Можно ли подготовить сайт к этим алгоритмам

Отдельно под них оптимизировать нечего: Google сказал это прямо. Но из механики следует, что выигрывают тексты, которые точно отвечают на конкретный вопрос обычным языком, и проигрывают тексты, собранные из ключевых фраз.

28 октября 2019 года Дэнни Салливан из Google написал, что под модель нечего оптимизировать и нечего переосмысливать, а цель поиска по-прежнему вознаграждать хороший контент (Search Engine Roundtable). То же верно для YATI: Яндекс не публиковал рекомендаций «под YATI», его общие требования к качеству описаны в справке Вебмастера.

Практические выводы (наши, по механике моделей):

  1. Ломаный русский из ключей вредит. «Купить диван Москва недорого» в тексте модель читает как бессвязную фразу. Естественное предложение с теми же словами понятнее и человеку, и модели. Подробнее в статье о ключевых словах.
  2. Служебные слова решают. «Билет из Москвы в Казань» и «из Казани в Москву» для старого поиска почти одно и то же, для трансформера это разные запросы. Если страница про одно направление, формулируйте это явно.
  3. Длинный хвост стал доступнее. Модель лучше понимает длинные вопросы обычным языком, поэтому страница с точным ответом на узкий вопрос может обойти общую. Это аргумент в пользу разбора типов запросов и отдельных страниц под разные интенты.
  4. Отвечайте рядом с вопросом. Модель оценивает соответствие фрагмента запросу. Прямой ответ в первых предложениях раздела помогает и в обычной выдаче, и в нулевой позиции.

Как это связано с нейроответами

Кодировщики семейства этой модели работают внутри систем, которые подбирают источники для ответов нейросетей. Генеративная модель пишет текст, а кодировщик находит, из каких фрагментов его писать.

В оригинальной статье о RAG (2020) поиск документов построен на DPR, где вопрос и документ кодируют две модели на базе BERT (arXiv). Та же схема, «кодировщик ищет, генератор пишет», лежит в основе ИИ-ответов со ссылками. Подробно этот конвейер описан в статье про RAG, а как он устроен в Яндексе, в материале об Алисе AI в Поиске.

Наши данные: что ищут об этих моделях

По Wordstat на 14.11.2026 спрос темы 318 запросов в месяц, из них 258 приходятся на одно слово «bert» в кавычках. Широкая частота того же слова 8 102: точная составляет лишь 3,2% от неё.

Методика: Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026, точные частоты; спрос темы это сумма точных частот запросов группы.

ПоказательЗначениеВывод
Спрос темы (3 запроса)318Узкая тема для профессионалов
Главный запрос в кавычках258 (81% темы)Ищут одно слово, уточнения «модель» и «нейросеть» дают остальные 19%
Главный запрос, широкая частота8 102В 31 раз больше точной: латинское «bert» совпадает с именами, брендами и названиями чужих моделей
Запросы про YATI, Палех, КоролёвВ собранной семантике (около 7 тыс. фраз с точной частотой) не встретилисьНазвания алгоритмов Яндекса массово не ищут, хотя влияют они на каждый запрос
Для сравнения: эмбеддинги / LLM / генерация с поиском74 499 / 11 001 / 5 402Интерес сместился к терминам эпохи нейроответов

Почему широкая частота коротких латинских слов почти всегда завышена, мы объясняем в гиде по Вордстату.

Кому это не нужно

Владельцу сайта не нужно разбираться в устройстве трансформеров, чтобы писать хорошие тексты. Знание полезно, чтобы перестать верить советам «оптимизировать под BERT» и отличать их от работы над смыслом.
  • Если сайт продаёт по брендовым и товарным запросам. Для «iPhone 16 128 ГБ купить» понимание предлогов почти ничего не меняет, решают ассортимент, цена и коммерческие факторы.
  • Если вам предлагают «аудит под BERT» или «текст под YATI». Таких метрик снаружи не существует: Google в 2019 году прямо сказал, что оптимизировать нечего.
  • Если нужна модель для своего проекта. Эта статья про поиск. Выбор кодировщика для своей системы это инженерная задача, начать её стоит с разбора векторного поиска.

Частые вопросы

Что это за модель простыми словами?

Это нейросеть Google, которая читает текст и превращает каждое слово в набор чисел с учётом всех соседних слов. Благодаря этому поиск понимает, что «виза в США для бразильца» и «виза в Бразилию для американца» это разные вопросы.

Что такое YATI в Яндексе?

Это нейросеть-трансформер, на которую Яндекс перевёл Поиск в 2020 году. Название означает Yet Another Transformer with Improvements. Она сопоставляет смысл запроса и документа, как раньше Палех и Королёв, но заметно точнее.

Эта нейросеть похожа на ChatGPT?

Обе построены на трансформерах, но задачи разные. Модель Google 2018 года это кодировщик: она понимает и представляет текст в виде векторов. ChatGPT генерирует текст слово за словом. В поиске первая помогает находить и ранжировать, вторая писать ответ.

Как оптимизировать сайт под алгоритмы понимания запросов?

Специальной оптимизации нет, это прямо сказал Google. Пишите естественным языком, отвечайте на конкретный вопрос в начале раздела, не склеивайте ключевые фразы и не смешивайте разные интенты на одной странице.

Используется ли эта модель в поиске сейчас?

По данным Google на февраль 2022 года, она участвует почти в каждом англоязычном запросе, и в ранжировании, и в отборе документов. Более свежей официальной оценки её доли мы у Google не нашли.

Источники

  1. Devlin et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv, 2018
  2. Google: Understanding searches better than ever before, Pandu Nayak, 25 октября 2019
  3. Google: How AI powers great search results, февраль 2022
  4. Google: Search On 2020, 15 октября 2020
  5. Блог Яндекса: YaC 2020, что нового (YATI)
  6. Блог Яндекса: алгоритм «Палех», 2016
  7. Блог Яндекса: алгоритм «Королёв», 2017
  8. Хабр, блог Яндекса: 10 лет эволюции нейросетей в Поиске, 2024
  9. Vaswani et al. Attention Is All You Need, arXiv, 2017
  10. Search Engine Roundtable: Google, There Is Nothing To Optimize For With BERT
  11. Search Engine Land: запуск в Google Поиске на 70+ языках, декабрь 2019
Частный SEO-специалист. Пишу про поиск и нейропоиск, а цифры беру из Wordstat и первоисточников.

Читайте также

© MoreSEO, Алексей Демкин · все статьи