Галлюцинацией называют ответ языковой модели, который звучит уверенно и правдоподобно, но не соответствует фактам или исходному документу. В текстах это выдуманные цифры и даты, несуществующие исследования, ссылки на страницы, которых нет, цитаты, которые никто не произносил, и названия функций, которых нет в интерфейсе. Модель не «врёт» намеренно: она предсказывает вероятное продолжение текста, и правдоподобная выдумка для неё ничем не отличается от факта. Поэтому ошибку нельзя распознать по стилю. Её находят только сверкой каждого проверяемого утверждения с первоисточником.
Коротко
- Исследователи OpenAI и Технологического института Джорджии в работе от 4 сентября 2025 года объясняют галлюцинации тем, что обучение и оценка моделей вознаграждают догадку, а не признание неуверенности.
- В июне 2023 года федеральный суд в Нью-Йорке оштрафовал юристов на 5 000 долларов за ссылки на несуществующие судебные решения, которые выдал ChatGPT.
- Google в руководстве по генеративному контенту прямо советует проверять факты в текстах ИИ до публикации, включая title, description и разметку.
- Anthropic называет три базовых приёма: разрешить модели сказать «не знаю», опираться на дословные цитаты из документа, проверять каждое утверждение цитатой.
- Даже лучшие приёмы ошибки не устраняют, а только снижают: так пишут и авторы метода Chain-of-Verification, и документация Anthropic.
Почему модель выдумывает факты
Механику генерации по токенам мы разбирали в статье что такое LLM. Для текстов важны четыре причины ошибок:
- Предсказание вместо поиска. Google в руководстве по генеративному ИИ напоминает, что такие модели не извлекают факты, а предсказывают вероятную последовательность слов (Google Search Central).
- Стимулы обучения. В работе «Why Language Models Hallucinate» Адам Калаи и соавторы описывают галлюцинации как обычные ошибки классификации, которые возникают уже при предобучении, а сохраняются потому, что большинство тестов штрафует за неуверенность. Модель становится хорошим «сдающим экзамен» и угадывает (arXiv).
- Устаревшие и редкие данные. Модель знает мир на дату обучения. Цены, тарифы, интерфейсы и лимиты сервисов меняются чаще, чем модели обновляются.
- Перегруженный контекст. Чем больше текста в запросе, тем хуже модель удерживает детали. Anthropic называет этот эффект context rot. Как устроено контекстное окно, разобрано в статье про токены.
Есть причина и на стороне автора: запрос «напиши статью с цифрами и статистикой» без источников буквально просит модель цифры придумать.
Какие бывают ошибки в текстах
Деление на внутренние (intrinsic) и внешние (extrinsic) закрепил обзор Цзивэй Цзи и соавторов в ACM Computing Surveys (arXiv). В редакционной работе удобнее такая таблица:
| Тип ошибки | Как выглядит в тексте | Где проверять |
|---|---|---|
| Выдуманная цифра | «По данным исследований, 73% пользователей…» без названия исследования | Ищите само исследование; нет исследования, нет цифры |
| Несуществующий источник | Ссылка на статью, решение суда, ГОСТ или URL, которых нет | Открыть каждую ссылку, найти документ по номеру в официальной базе |
| Искажённый пересказ | Источник реальный, но в нём сказано другое или с оговорками | Найти фразу в источнике дословно |
| Устаревший факт | Старые тарифы, лимиты, названия моделей и пунктов меню | Официальная страница сервиса на дату публикации |
| Чужая цитата | Слова, приписанные известному человеку или компании | Первоисточник цитаты: интервью, блог, документ |
| Логическая подмена | Верные факты, неверный вывод: корреляция выдана за причину | Перечитать вывод отдельно от фактов |
Где искать ошибки в первую очередь
Признаки, при которых утверждение надо проверять обязательно:
- Точная цифра без источника. Особенно «круглые» проценты и «по данным исследований».
- Название функции или пункта меню. Модель охотно описывает интерфейс, которого нет, или интерфейс трёхлетней давности.
- Ссылка или номер документа. Выдуманные URL выглядят правдоподобно: правильный домен, логичный путь.
- Цитата в кавычках. Особенно если она слишком удачно подходит к мысли текста.
Как проверять факты: пошагово
Схема 1. Проверка идёт по утверждениям, а не по абзацам: так ни одна цифра не проскочит.
- Список утверждений. Пройдите по тексту и выпишите каждое, что содержит цифру, дату, имя, название или цитату. Можно попросить модель составить такой список, но проверять придётся вам.
- Первоисточник. Официальная документация, текст закона, решение суда, страница тарифов, сама научная статья. Пересказ в СМИ или в другой нейросети первоисточником не считается.
- Вердикт. Подтвердилось: оставьте и дайте ссылку. Нашлось с оговорками: переформулируйте. Не нашлось: уберите или напишите так, чтобы утверждение было верным без этой детали.
- Таблица проверки. Колонки: утверждение, источник, дата проверки, итог. Мы ведём такую таблицу к каждой статье блога, и при обновлении проверяем только то, что могло измениться.
Если статьи пишутся с моделью регулярно, встройте проверку в процесс, а не в конец: факты собирают до черновика. Этот порядок подробно описан в статье как написать статью с нейросетью.
Как снизить число ошибок при генерации
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| Источники в запросе (RAG) | Тексты по документации, тарифам, своей базе знаний | Нужно собрать и подготовить документы; больше входящих токенов | Модель пересказывает данные, а не вспоминает |
| Разрешить «не знаю» | Любые фактические вопросы | Ответы короче, часть вопросов остаётся без ответа | Anthropic пишет, что это может резко сократить ложную информацию |
| Сначала дословные цитаты | Длинные документы, по Anthropic от 20 тыс. токенов | Дополнительный шаг и токены | Ответ опирается на реальный текст, а не на память |
| Проверка утверждений цитатами | Пресс-релизы, обзоры, справочные статьи | Часть утверждений придётся убрать | Утверждение без подтверждающей цитаты удаляется |
| Chain-of-Verification | Списки фактов, длинные ответы | Три-четыре вызова модели вместо одного | Модель проверяет черновик вопросами, отвечая на них отдельно |
| Несколько ответов на один запрос | Короткие фактические ответы | Кратный расход токенов | Расхождение между ответами сигнализирует о выдумке |
Откуда эти приёмы:
- Документация Anthropic советует разрешить модели признавать неуверенность, извлекать дословные цитаты перед анализом документов длиннее 20 тыс. токенов и после ответа находить цитату под каждое утверждение, а без цитаты утверждение отзывать. Там же: ограничить модель только переданными документами и сравнивать несколько прогонов одного запроса (Reduce hallucinations, Claude Docs).
- Chain-of-Verification (Meta AI, 2023): модель пишет черновик, составляет вопросы для проверки, отвечает на них независимо от черновика и только потом пишет итоговый ответ. Авторы отмечают, что метод снижает ошибки, но не устраняет их (arXiv).
- Семантическая энтропия (Оксфорд, Nature, июнь 2024): модель отвечает на один вопрос несколько раз, ответы группируют по смыслу, и если смыслы разбегаются, ответ, скорее всего, выдуман (Nature).
Как подготовить документы, чтобы модель находила в них нужное, разобрано в статьях про RAG и базу знаний для RAG. Готовые формулировки запросов с ограничением по источникам есть в подборке промптов для текстов.
Чем выдумки грозят сайту и бизнесу
Три известные истории:
- Mata v. Avianca, 2023. Юристы истца подали в суд документ со ссылками на судебные решения, которые сгенерировал ChatGPT. Решений не существовало. 22 июня 2023 года суд оштрафовал юристов на 5 000 долларов и обязал их уведомить клиента и реальных судей, чьими именами были «подписаны» выдуманные решения (The Register).
- Air Canada, 2024. Чат-бот авиакомпании неверно описал правила льготного тарифа. Трибунал Британской Колумбии обязал компанию возместить пассажиру разницу: ущерб 650,88 канадского доллара, а вместе с процентами и сборами около 812 (McCarthy Tétrault).
- Промо Bard, 2023. В рекламном ролике чат-бот Google заявил, что телескоп «Джеймс Уэбб» сделал первые снимки планеты за пределами Солнечной системы. На деле первые такие снимки получил телескоп VLT в 2004 году. Акции Alphabet в тот день упали примерно на 7,7%, рыночная стоимость сократилась примерно на 100 млрд долларов (NPR).
Для сайта последствия тише, но накапливаются. Ошибка в цифре снижает доверие читателя, а для тем о здоровье, деньгах и праве точность входит в оценку качества: подробнее в статье про E-E-A-T. Как поисковики в целом относятся к текстам, написанным с моделью, разобрано в материале ИИ-контент и SEO.
Наши данные: что показала проверка фактов к этой статье
Методика. Мы собрали все утверждения с цифрами, датами и названиями из черновика этой статьи и сверили их с первоисточниками 15.11.2026. Спрос взят из Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026.
- Первоисточники закрыты от автоматического доступа. Страницы с текстами решений по делам Mata v. Avianca и Air Canada и блог OpenAI о причинах галлюцинаций вернули ошибку 403. Статью OpenAI мы взяли с arXiv, решения судов пришлось сверять по юридическим изданиям.
- Пересказы расходятся в цифрах. Во всех трёх историях вторичные источники давали разные числа. По Mata v. Avianca одни издания пишут о штрафе 5 000 долларов с каждого юриста, другие об одном штрафе на юристов и фирму. По Air Canada одни называют 650,88 канадского доллара (ущерб), другие 812,02 (с процентами и сборами). По Bard падение акций указывают то 7,7% на закрытии, то 8–9% внутри дня, а в одной заметке потерю стоимости записали как «100 млн» вместо «100 млрд». В статье оставлены формулировки, которые сходятся у нескольких источников, с пояснением, из чего сложилась сумма.
- Спрос формулируют иначе. Главный запрос темы в точной форме за 30 дней в Яндексе не вводили ни разу, а его широкая частотность 257: люди спрашивают об ошибках ИИ своими словами. Тема входит в кластер «Нейросети для контента», где 95 тем со спросом 874 807 запросов в месяц, и 22 из них, как эта, нишевые.
Вывод для редактора: если цифру нельзя подтвердить первоисточником, а пересказы расходятся, пишите так, чтобы утверждение было верным без точной суммы, или называйте, из чего она сложилась.
Когда глубокая проверка не нужна
Если вы правите свой текст с уже проверенными фактами, сверьте только, не изменила ли модель цифры при редактуре: об этом в статье про редактуру текста нейросетью.
А вот определить ошибки детектором ИИ-текста нельзя: такие сервисы оценивают стиль, а не правдивость (проверка текста на ИИ).
Частые вопросы
Что такое галлюцинации ИИ простыми словами?
Это уверенные, правдоподобные, но ложные ответы языковой модели: выдуманные факты, цифры, цитаты и ссылки. Модель не обманывает намеренно, она подбирает вероятное продолжение текста и не отличает правдоподобное от верного.
Можно ли полностью избавиться от выдуманных фактов?
Нет. Источники в запросе, разрешение сказать «не знаю», цитаты и проверочные вопросы заметно снижают число ошибок, но и документация Anthropic, и авторы Chain-of-Verification пишут, что полностью они не исчезают. Важные факты проверяет человек.
Как проверить текст нейросети на ошибки?
Выпишите все утверждения с цифрами, датами, именами, названиями и цитатами. Для каждого найдите первоисточник: документацию, закон, исследование, официальную страницу. Подтвердилось: оставьте со ссылкой; нет: переформулируйте или удалите.
Почему нейросеть придумывает ссылки на источники?
Модель знает, как обычно выглядят ссылки и названия статей, и генерирует правдоподобный вариант, если не знает настоящего. Поэтому каждую ссылку из ответа модели нужно открыть и найти в ней указанное утверждение.
Помогает ли нейросеть с поиском в интернете?
Помогает, потому что ответ опирается на найденные страницы, но не гарантирует точности: модель может неверно пересказать источник или выбрать слабый. Как нейросеть выбирает источники, разобрано в статье как нейросеть выбирает источники.
Источники
- Kalai и др.: Why Language Models Hallucinate (arXiv, 2025)
- Ji и др.: Survey of Hallucination in Natural Language Generation (arXiv)
- Dhuliawala и др.: Chain-of-Verification Reduces Hallucination (arXiv, 2023)
- Farquhar и др.: обнаружение галлюцинаций через семантическую энтропию (Nature, 2024)
- Claude Docs: как снизить число галлюцинаций
- Google Search Central: руководство по контенту, созданному генеративным ИИ
- The Register: штраф юристам за выдуманные ChatGPT решения
- McCarthy Tétrault: разбор решения Moffatt v. Air Canada
- NPR: ошибка Bard и падение акций Alphabet