Prompt injection (промпт-инъекция) это уязвимость приложений на языковых моделях, при которой текст, попавший в модель, меняет её поведение не так, как задумал разработчик. В OWASP Top 10 for LLM Applications 2025 она стоит первой под кодом LLM01:2025. Различают прямую инъекцию, когда пользователь сам пишет модели что-то, что ломает её правила, и косвенную, когда инструкция спрятана во внешнем содержимом: на веб-странице, в файле, в отзыве. OWASP прямо пишет, что неясно, можно ли такую атаку предотвратить полностью, поэтому защита строится не на «умном фильтре», а на ограничении того, что модель может прочитать, сделать и показать.
Ниже разбор для владельца сайта с чат-ботом или ИИ-ассистентом. Атакующих текстов в статье нет, только описания.
Коротко
- Термин предложил разработчик Саймон Уиллисон 12 сентября 2022 года, на следующий день после того, как Райли Гудсайд публично показал саму атаку.
- В OWASP Top 10 for LLM Applications 2025 prompt injection занимает первое место (LLM01), а джейлбрейк назван одной из её форм.
- Косвенную инъекцию подробно описали исследователи во главе с Каем Грешаке в феврале 2023 года, в том числе на Bing Chat на базе GPT-4.
- Британский центр кибербезопасности NCSC 8 декабря 2025 года написал, что эту уязвимость, возможно, никогда не удастся устранить полностью, в отличие от SQL-инъекций.
- Шпаргалка OWASP по защите перечисляет 14 типов атак и 11 групп мер, от разделения инструкций и данных до подтверждения действий человеком.
Откуда взялся термин и при чём тут SQL-инъекция
Модель получает на вход системную инструкцию разработчика, сообщения пользователя и всё, что приложение подтянуло со стороны: найденные документы, страницы сайта, письма. Как модель из этого собирает ответ, объяснено в статье о том, что такое LLM, а как устроены сами инструкции, в статье про промпты. Важно одно: модель не различает надёжно, какой фрагмент текста «приказ», а какой «материал для работы».
NCSC называет модель «по своей природе путающимся заместителем» (confusable deputy): она действует от имени системы, но её можно убедить действовать в интересах того, кто написал входной текст. Отсюда вывод центра: снижать нужно не только вероятность атаки, но и ущерб от неё.
Прямая и косвенная инъекция: в чём разница
| Тип | Откуда приходит | Безопасная иллюстрация | Чем опасен |
|---|---|---|---|
| Прямая | Сообщение пользователя в чате | Посетитель уговаривает бота магазина «забыть» правила и показать служебную инструкцию или пообещать несуществующую скидку | Утечка системного промпта, ответы от имени компании, которые она не давала |
| Косвенная | Документ из базы знаний, страница, отзыв, письмо, файл от клиента | В отзыве к товару спрятан текст, обращённый к ассистенту, с просьбой хвалить только этот товар и ругать остальные | Атакующий влияет на ответы всем посетителям, не заходя в чат |
| Джейлбрейк (разновидность прямой) | Сообщение пользователя | Длинная ролевая игра, в которой модель «перестаёт быть ассистентом» | Обход защитных правил модели целиком |
| Многоходовая | Серия сообщений | Каждое сообщение безобидно, но вместе они постепенно меняют правила разговора | Фильтр проверяет реплики по одной и не видит атаку |
OWASP отдельно подчёркивает: вредный ввод не обязан быть читаемым для человека. Это может быть белый текст на белом фоне, текст в метаданных файла или на картинке, если модель умеет её читать. Поэтому особенно уязвимы ассистенты с поиском по документам (RAG): в базу знаний попадает всё, что туда загрузили.
Чем это грозит чат-боту на сайте
Другие пункты того же списка OWASP показывают, во что превращается инъекция:
| Пункт OWASP 2025 | Что случится с ботом на сайте | Пример последствий |
|---|---|---|
| LLM07 Утечка системного промпта | Бот пересказывает свою инструкцию | Конкуренты видят правила скидок, если их записали в промпт |
| LLM02 Раскрытие чувствительных данных | Бот выдаёт то, к чему у него есть доступ | Данные чужого заказа, если бот ищет заказы без проверки, чей он |
| LLM05 Небезопасная обработка вывода | Ответ модели вставляют в страницу без экранирования | Подставленная ссылка или картинка уводит данные на чужой сервер |
| LLM06 Избыточные полномочия | Бот сам выполняет действия | Отмена заказа или письмо клиенту без подтверждения человеком |
| LLM10 Неограниченное потребление | Бот обрабатывает огромные запросы без лимитов | Счёт за токены API за ночь выше месячного бюджета |
Последний пункт напрямую связан с тем, как вы подключаете модель: лимиты и бюджеты удобно задавать на уровне шлюза, об этом в статье про API нейросетей и шлюзы.
Как защитить ИИ-ассистента: меры по слоям
Схема 1. Инъекция может пройти через модель, но дальше её останавливают слои, которые от модели не зависят.
Меры из списка OWASP LLM01 и рекомендаций NCSC и Microsoft, переложенные на сайт:
- Минимальные права. Бот, который отвечает на вопросы о доставке, не должен иметь доступа к базе клиентов. Если нужен статус заказа, бот получает его через отдельный метод, который сам проверяет, что заказ принадлежит этому посетителю. NCSC формулирует так: когда модель обрабатывает недоверенный ввод, её права должны падать до прав автора этого ввода.
- Разделение инструкций и данных. Внешний текст оборачивают в явные метки и пишут в инструкции, что содержимое внутри это материал, а не команды. У Microsoft это называется spotlighting и имеет три режима: разделители, маркировка данных и кодирование. Мера снижает вероятность, но не гарантирует результат.
- Системный промпт без секретов. Считайте, что инструкцию бота однажды прочитают. Ключи API, внутренние скидки и персональные данные в промпт не кладут.
- Проверка вывода. Ответ модели экранируют перед вставкой в страницу, ограничивают формат, запрещают внешние картинки и ссылки на неизвестные домены. Microsoft детерминированно блокирует именно такой канал утечки: вставку markdown-картинки с данными в адресе.
- Подтверждение человеком. Всё, что меняет данные или отправляет что-то наружу (возврат, отмена, письмо), бот только предлагает, а выполняет человек или сам посетитель по кнопке.
- Лимиты. Ограничьте длину сообщения, число запросов с одного адреса и дневной бюджет токенов.
- Журнал и мониторинг. Логируйте запросы, ответы и вызовы инструментов. По совету NCSC, неудачные вызовы инструментов могут быть признаком атаки.
- Регулярные проверки. OWASP рекомендует проводить состязательное тестирование, то есть намеренно пытаться обмануть своего бота до того, как это сделают другие.
Почему фильтр «плохих фраз» не спасает
NCSC прямо не советует полагаться на списки запрещённых фраз: атакующий может переформулировать запрос бесконечно. Шпаргалка OWASP перечисляет обходы, которые ломают такие списки: кодирование, смену языка и алфавита, перестановку букв внутри слов, разбивку на несколько сообщений. Классификаторы инъекций (у Microsoft это Prompt Shields) полезны как один из слоёв, но не заменяют ограничение прав.
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| Минимальные права и отдельные методы доступа | Всегда, если бот видит данные или вызывает функции | Время разработчика на отдельные API для бота | Ограничивает ущерб, даже если модель обманута |
| Подтверждение действий человеком | Возвраты, отмены, письма, изменения в CRM | Лишний клик и медленнее процесс | Самая надёжная защита от избыточных полномочий |
| Разметка внешних данных в промпте | RAG, разбор писем и файлов, чтение страниц | Немного токенов и тестирование | Снижает частоту косвенных инъекций |
| Проверка и экранирование вывода | Ответ показывают в браузере | Ограничения формата (без внешних картинок) | Закрывает канал утечки через ссылки и разметку |
| Классификатор инъекций | Большой поток диалогов | Деньги или задержка на каждый запрос | Ловит часть атак, но обходится переформулировкой |
Как проверить своего бота без атакующих приёмов из интернета
Порядок, который мы используем:
- Карта полномочий. Таблица: источник данных, функция, кто подтверждает действие. Если в колонке «подтверждает» пусто у действия с деньгами или персональными данными, это первая задача.
- Карта недоверенного текста. Всё, что попадает в модель не от вас: сообщения посетителей, отзывы, загруженные файлы, страницы, письма. Каждое такое место должно быть размечено как данные.
- Проверки на тестовой копии. Обычными словами попросите бота нарушить каждое правило из его инструкции. Затем положите в тестовую базу знаний документ с обращением к ассистенту и посмотрите, выполнит ли он его. Если выполнил, но ущерба нет, слои работают.
- Проверка вывода. Убедитесь, что ответ с HTML или markdown отображается как текст, а внешние картинки не загружаются.
- Повтор. После каждой смены модели, промпта или подключения новой функции. Смена модели у провайдера может изменить поведение без изменений в вашем коде.
Наши данные: как ищут эту тему
Методика. Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Спрос темы равен сумме точных частот пяти запросов группы.
| Показатель | Значение |
|---|---|
| Спрос темы (сумма точных) | 577 |
| Главная формулировка, точная частотность | 277 (48,0% темы) |
| Главная формулировка, широкая частотность | 5 999 |
| Доля дословной формулировки в широкой | 4,6% |
| Для сравнения: тема «промпт-инжиниринг» | 733 |
Что из этого следует:
- Тему ищут почти так же часто, как основы работы с промптами. 577 против 733, это 79%. Защита моделей перестала быть темой только для специалистов по безопасности.
- Пишут транслитом. Главная формулировка использует английское «injection», переданное как «инжекция», а грамотная русская «инъекция» есть только в одном из пяти запросов группы.
- Ищут определение. Два запроса из пяти заканчиваются на «что он означает», ещё один начинается с «что такое», а пятый ищет сам стандарт OWASP. Поэтому определение по OWASP стоит в первом абзаце.
- Дословный запрос это 4,6% хвоста. Остальные 95,4% широкой частотности приходятся на более длинные запросы, которые включают эту фразу.
Можно ли использовать инъекции для продвижения в нейропоиске
Если цель в том, чтобы нейросети цитировали сайт, работают понятная структура, проверяемые факты и ответы на реальные вопросы: это разобрано в статье про GEO-оптимизацию. Скрытые блоки для роботов ближе к приёмам из статьи про дорвеи и клоакинг и несут те же риски.
Кому всё это не нужно
- Бот на сценариях без нейросети. Кнопки и заготовленные ответы инъекциям не подвержены.
- Внутренний инструмент для одного сотрудника без доступа к чужим данным: риск есть, но ущерб ограничен его же правами.
- Нет ресурса на поддержку. Если некому смотреть журналы и обновлять настройки, честнее не давать боту функций с последствиями. О том, где ИИ-агенты действительно окупаются, в статье про нейросети для бизнеса.
Частые вопросы
Что означает термин prompt injection?
Это уязвимость приложений на языковых моделях: текст, попавший в модель от пользователя или из внешнего источника, меняет её поведение не так, как задумал разработчик. По классификации OWASP это риск LLM01:2025, первый в списке.
Чем инъекция отличается от джейлбрейка?
По определению OWASP, джейлбрейк это разновидность prompt injection, цель которой заставить модель полностью игнорировать защитные правила. Инъекция шире: она может менять ответы, вызывать функции или выдавать данные, не трогая защитные правила модели.
Можно ли защититься полностью?
Нет. OWASP пишет, что неясно, существует ли полная защита, а британский NCSC считает, что уязвимость, возможно, не будет устранена никогда. Поэтому ограничивают последствия: права бота, подтверждение действий человеком, проверку вывода.
Что такое OWASP Top 10 для LLM?
Список десяти главных рисков приложений на языковых моделях от проекта OWASP. В редакции 2025 года: prompt injection, раскрытие чувствительных данных, цепочка поставок, отравление данных и модели, небезопасная обработка вывода, избыточные полномочия, утечка системного промпта, слабости векторов и эмбеддингов, дезинформация, неограниченное потребление.
Как понять, что мой бот уязвим?
Составьте список данных и функций, к которым у бота есть доступ, и на тестовой копии проверьте, что мешает ему выдать чужие данные или выполнить действие без подтверждения. Если единственная преграда это фраза в системном промпте, бот уязвим.
Источники
- OWASP: LLM01:2025 Prompt Injection, определение и меры защиты
- OWASP Top 10 for LLM Applications 2025: полный список рисков
- OWASP Cheat Sheet: защита LLM от prompt injection
- NCSC: Prompt injection is not SQL injection (8 декабря 2025)
- Greshake и соавторы: исследование косвенной prompt injection (arXiv, 2023)
- Саймон Уиллисон: первая статья с термином prompt injection (2022)
- Google: правила в отношении спама, включая скрытый текст и ссылки
- Microsoft MSRC: как компания защищается от косвенных prompt injection