Ни одна поисковая нейросеть не выбирает источники «из головы». Сначала она отправляет один или несколько запросов в поисковую систему, получает список страниц и уже из них берёт фрагменты для ответа. У Google и Яндекса это их собственный индекс и обычное ранжирование, у Perplexity свой краулер, у ChatGPT поиск сторонних провайдеров, включая Bing, и контент партнёров. Официально компании описывают только общую схему, роботов и способы отказа. Как именно взвешиваются факторы и почему в ответ попала одна страница, а не другая, не раскрывает никто. Ниже собрано, что известно из первоисточников, и отдельно то, что остаётся догадками.
Коротко
- ChatGPT search запущен 31 октября 2024 года; с 5 февраля 2025 года он доступен всем пользователям в регионах, где работает ChatGPT.
- За показ сайта в ответах ChatGPT отвечает робот OAI-SearchBot; запрет GPTBot касается только обучения моделей и на поиск не влияет.
- Алиса AI берёт страницы, которые высоко ранжируются в Поиске, а ссылки в ответе расставляет по логике текста, а не по позициям.
- Из технических требований к странице для ссылки в AI Overviews и AI Mode Google называет одно: она проиндексирована и может показываться со сниппетом.
- Изменения в robots.txt OpenAI и Perplexity учитывают примерно за 24 часа, Яндекс для Алисы AI за 2–14 дней.
Что общего у всех систем
Сама технология называется RAG, и её устройство мы разбирали отдельно. Чем ИИ-поиск отличается от обычной выдачи и какие сервисы существуют, есть в статье про ИИ-поиск. Здесь важно другое: на каждом шаге есть то, что компании описали публично, и то, что остаётся закрытым.
Схема 1. Публично описаны шаги и роботы. Веса отбора и правила выбора фрагмента остаются чёрным ящиком у всех систем.
Откуда берёт источники ChatGPT
Что известно из анонса ChatGPT search и документации о роботах OpenAI:
- Модель. На старте поиск работал на дообученной версии GPT-4o; для обучения использовали синтетические данные, в том числе ответы o1-preview.
- Ссылки. Источники указываются в ответе, а кнопка «Sources» под ним открывает боковую панель со всеми ссылками.
- Провайдеры. По справке о ChatGPT search, обезличенные поисковые запросы могут передаваться сторонним провайдерам, например Bing.
- Три робота с разными задачами. OAI-SearchBot нужен, чтобы показывать сайты в поиске ChatGPT. ChatGPT-User заходит на страницы по действию пользователя и не определяет, может ли контент появиться в поиске. GPTBot собирает данные для обучения моделей. Настройки для них независимы.
Если запретить OAI-SearchBot, сайт не будет показываться в ответах поиска ChatGPT, хотя может остаться в виде навигационной ссылки. После правки robots.txt системе OpenAI нужно около 24 часов.
Как именно OpenAI ранжирует страницы, полученные от провайдеров, и сколько их читает модель, в документации нет.
Как отбирает источники Perplexity
- Система сначала разбирает вопрос, затем ищет по статьям, сайтам и журналам, потом пишет ответ. Каждая ссылка в ответе пронумерована и ведёт на исходную страницу.
- Режим Research выполняет десятки поисков, читает сотни источников и собирает отчёт за 2–4 минуты. Значит, в глубоком режиме пул кандидатов намного шире, чем в быстром ответе.
По документации о роботах, PerplexityBot нужен, чтобы показывать и ссылаться на сайты в поиске Perplexity, и для обучения моделей не используется. Perplexity-User работает по действию пользователя и, как правило, игнорирует robots.txt, потому что запрос сделал человек. Изменения учитываются до 24 часов. Подробнее о самом сервисе есть в статье про Perplexity.
Как Алиса AI выбирает страницы
Из справки о формировании ответов следует несколько деталей, которых нет у других систем:
- Ссылки не ранжируются. Они стоят по смыслу и логике ответа, а не по позиции страницы в выдаче.
- Ссылок может быть больше, чем на обычной странице поиска, и среди них бывают несколько страниц одного сайта. Одна страница может повторяться, если она подкрепляет несколько абзацев.
- Ссылок может не быть, если ответу они не нужны, например в арифметике.
- Ответ меняется со временем и зависит от персонализации.
Отказаться от показа контента в Алисе AI можно через запрет для робота YandexAdditionalBot в robots.txt; по справке, изменение применяется за 2–14 дней. Как выглядит ответ в интерфейсе и где смотреть видимость в Вебмастере, разобрано в статье про Алису AI в Поиске.
Как Google подбирает ссылки в AI Overviews и AI Mode
По документации Search Central, дополнительных технических требований нет: страница должна быть проиндексирована и иметь право показываться со сниппетом. В руководстве по ИИ-функциям добавлено условие на уровне сайта: он должен быть включён в генеративные ИИ-функции Поиска в Search Console. Там же Google перечисляет, что делать не нужно:
- создавать отдельные машиночитаемые файлы, включая llms.txt, или особую разметку;
- дробить текст на мелкие куски «для ИИ»;
- писать каким-то особым стилем под генеративный поиск;
- добывать неестественные упоминания на других сайтах.
Ограничить показ фрагментов можно через nosnippet, data-nosnippet, max-snippet и noindex. Особенности этих режимов разобраны в статье про Google AI Overviews.
Сводная таблица: что известно официально
| Система | Откуда берёт страницы | Какой робот нужен | Как отказаться | Что не раскрыто |
|---|---|---|---|---|
| ChatGPT | Сторонние провайдеры (например, Bing) и контент партнёров | OAI-SearchBot | Запрет OAI-SearchBot, около 24 часов | Список провайдеров, правила ранжирования полученных страниц |
| Perplexity | Поиск в реальном времени, свой краулер | PerplexityBot | Запрет PerplexityBot, до 24 часов | Как оценивается «авторитетность» источника |
| Алиса AI | Поиск Яндекса, высоко ранжируемые страницы | основной робот Яндекса; YandexAdditionalBot для ответов | Запрет YandexAdditionalBot, 2–14 дней | Как из пула выбирается фрагмент под абзац |
| Индекс Google, основные системы ранжирования, fan-out | Googlebot | nosnippet, max-snippet, noindex | Сколько подзапросов и страниц используется |
Чего не говорит ни одна компания
Самое известное исследование, статья о Generative Engine Optimization (принята на KDD 2024), показала на собственном тестовом наборе GEO-bench, что правки текста могут повысить видимость в генеративных ответах до 40%. Авторы отдельно отмечают, что эффект сильно зависит от тематики. Это лабораторная модель, а не устройство ChatGPT или Алисы.
Отсюда честные выводы, которые не требуют догадок:
- Без индекса нет цитирования. Все четыре системы берут страницы из поиска, поэтому закрытая от робота или плохо ранжируемая страница в ответ не попадёт. Обычное ранжирование остаётся первым фильтром.
- Роботы разные. Запрет обучающего робота не убирает сайт из поиска нейросети, а запрет поискового убирает. Проверьте robots.txt по каждому имени отдельно.
- Точный ответ легче взять. Яндекс прямо называет содержательность и оригинальность, Google просит не писать «под ИИ», а писать для людей. Как это превращается в план работ, мы расписали в статье про GEO-оптимизацию.
Как проверить, попадает ли ваш сайт в ответы, разобрано в материалах про видимость бренда в нейросетях и GEO-аудит.
Наши данные: как об этом спрашивают
Методика. Мы сравнили две формулировки этой темы с другими темами кластера «GEO и нейропоиск» из плана блога MoreSEO. Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Доля точной частотности равна точной, делённой на широкую.
| Формулировка | Широкая | Точная | Доля точной |
|---|---|---|---|
| Главная формулировка темы | 413 | 0 | 0% |
| chatgpt поиск | 524 | 0 | 0% |
| нейросеть поиск информации | 1 244 | 18 | 1,4% |
| как попасть в ответы алисы | 288 | 18 | 6,2% |
| ai overviews | 463 | 49 | 10,6% |
| perplexity | 112 230 | 55 139 | 49,1% |
Что из этого следует:
- Вопрос задают десятками способов. Обе формулировки темы вместе дают 937 широких показов и ни одного точного: люди дописывают название сервиса, тип вопроса, слово «почему».
- Про механику спрашивают примерно в 120 раз реже, чем про сам сервис. Только у запроса «perplexity» широкая частотность 112 230, то есть интерес к инструменту намного выше, чем к тому, как он устроен.
- Владельцы сайтов формулируют задачу практично. «Как попасть в ответы алисы» точно ищут 18 раз в месяц, столько же, сколько общий «нейросеть поиск информации». Поэтому в статье упор на роботов и способы отказа, а не на теорию.
Кому это не нужно
- Сайт без поискового трафика. Начните с индексации и базового SEO, ИИ-ответы придут следом.
- Закрытые разделы (личные кабинеты, внутренние базы) нейросети не цитируют, и это нормально.
- Нужен точный рецепт попадания в ответ. Его нет в документации ни одной компании; обещания «гарантированного цитирования» не опираются на первоисточники.
Частые вопросы
Откуда ChatGPT берёт информацию при поиске?
По анонсу OpenAI, из результатов сторонних поисковых провайдеров (в справке назван Bing) и из контента партнёров. Чтобы сайт показывался в ответах, его не должен блокировать робот OAI-SearchBot.
Если запретить GPTBot, сайт пропадёт из поиска ChatGPT?
Нет. GPTBot отвечает за сбор данных для обучения моделей, а за показ в поиске отвечает OAI-SearchBot. OpenAI прямо пишет, что эти настройки независимы.
Почему нейросеть ссылается на конкурента, а не на мой сайт?
Все системы берут страницы из поиска, поэтому первая причина обычно в позициях по исходному запросу и его подзапросам. Вторая: на странице нет короткого точного ответа, который удобно взять в абзац. Точные веса факторов компании не раскрывают.
Можно ли запретить нейросетям использовать мой сайт?
Да, через robots.txt: OAI-SearchBot для ChatGPT, PerplexityBot для Perplexity, YandexAdditionalBot для Алисы AI. Для Google используют nosnippet, max-snippet или noindex, но это влияет и на обычную выдачу.
Источники
- OpenAI: анонс ChatGPT search, 31.10.2024
- OpenAI Help Center: ChatGPT search
- OpenAI: роботы OAI-SearchBot, ChatGPT-User и GPTBot
- Perplexity Help Center: как работает Perplexity
- Perplexity: роботы PerplexityBot и Perplexity-User
- Справка Яндекс Вебмастера: как формируются ответы Алисы AI
- Справка Яндекс Вебмастера: как запретить показ информации в ответах Алисы AI
- Google Search Central: AI features and your website
- Google Search Central: руководство по оптимизации под генеративные ИИ-функции Поиска
- Aggarwal и др. «GEO: Generative Engine Optimization», arXiv:2311.09735