Robots.txt это текстовый файл в корне сайта (https://example.ru/robots.txt), в котором вы говорите поисковым роботам, какие разделы можно обходить, а какие нет. Базовый набор директив одинаков для всех: User-agent (для какого робота правила), Disallow (запретить), Allow (разрешить) и Sitemap (где карта сайта). Яндекс дополнительно понимает Clean-param для параметров в адресах. Google поддерживает только четыре базовые директивы, остальные игнорирует.
Главное, что нужно понимать до любой настройки: файл управляет обходом, а не индексацией. Страница, закрытая через Disallow, всё равно может появиться в выдаче, если на неё ведут ссылки. Чтобы убрать её из поиска, нужен noindex, и робот должен иметь возможность его прочитать.
Что файл делает и чего не делает
RFC 9309 прямо говорит, что правила не являются авторизацией доступа и не заменяют защиту контента. Перечисляя в файле /admin/ или /backup/, вы публично сообщаете, где они лежат. Закрытые разделы защищают паролем.
С индексацией ещё одна ловушка. И Google, и Яндекс пишут в справках, что заблокированная страница может оказаться в поиске. Если вы закрыли страницу в файле и одновременно поставили на ней noindex, робот не загрузит страницу и noindex не увидит. Порядок правильный обратный: открыть обход, поставить noindex, дождаться выпадения из индекса.
Где лежит файл и какие к нему требования
- Размер. Яндекс: до 500 КБ, файл больше этого или недоступный считается разрешающим. Google: обрабатывает первые 500 КиБ, остальное отбрасывает.
- Кодировка и символы. Google ждёт UTF-8. Яндекс запрещает кириллицу в файле: домены пишут в Punycode, пути в процентной кодировке (
/%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0вместо/корзина). - Регистр. Названия директив регистр не различают, пути различают:
/Catalog/и/catalog/это разные правила. - Редиректы. Google и RFC 9309 следуют минимум пяти перенаправлениям подряд. Яндекс принимает редирект на другой robots.txt, в том числе на другой домен, если конечный файл отвечает 200: это удобно при переезде.
- Кэш. Google обычно хранит копию до 24 часов. Правки начинают действовать не мгновенно.
Какие директивы есть и кто их понимает
| Директива | Что делает | Яндекс | |
|---|---|---|---|
User-agent |
Открывает группу правил для робота или для всех (*) |
Да; группа для конкретного робота отменяет группы Yandex и * |
Да; применяется самая специфичная подходящая группа |
Disallow / Allow |
Запрещает или разрешает обход путей, поддерживают * и $ |
Да | Да |
Sitemap |
Полный адрес карты сайта, строк может быть несколько | Да | Да |
Clean-param |
Говорит, какие GET-параметры не меняют содержимое страницы | Да, межсекционная, до 500 символов на правило | Нет, для Google дубли с параметрами склеивают через canonical |
Crawl-delay |
Пауза между запросами робота | Нет в списке поддерживаемых; скорость задаётся в Вебмастере: «Индексирование → Скорость обхода» | Не поддерживается |
Host |
Раньше указывала главное зеркало для Яндекса | Нет в текущей справке; главное зеркало задают 301-редиректом | Никогда не поддерживалась |
Спецсимволы: * означает любую последовательность символов, $ конец адреса, # начинает комментарий. Правило Disallow: /*.pdf$ закроет все PDF, а Disallow: /search закроет и /search, и /search-results/, потому что сравнивается начало пути.
Если на старом сайте остались Host и Crawl-delay, вреда от них нет, но и пользы тоже. Для склейки зеркал настройте постоянный редирект, а нагрузку от робота Яндекса регулируйте ползунком в Вебмастере: справка Яндекса оговаривает, что заданное значение считается рекомендацией.
Как роботы выбирают, какое правило сработает
Пример: разрешить один раздел внутри закрытого.
User-agent: *
Disallow: /catalog/
Allow: /catalog/divany/
Адрес /catalog/divany/model-1/ откроется: правило Allow длиннее. Адрес /catalog/stulya/ закрыт.
Схема: четыре шага, по которым робот решает, можно ли загрузить адрес.
Главная ловушка для Яндекса: справка говорит, что при наличии строки User-agent: Yandex строка User-agent: * не учитывается. Если вы сделали отдельную группу для Яндекса ради одного Clean-param, а все запреты оставили в *, для Яндекса сайт фактически открыт. Каждая группа должна быть самодостаточной.
Как работает Clean-param
Формат: Clean-param: параметр1&параметр2 [путь]. Путь необязателен.
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term
Clean-param: sort&view /catalog/
Яндекс советует Clean-param вместо Disallow для дублей с параметрами: накопленные сигналы переходят на основной адрес, а не теряются. Если для одного адреса сработали и Disallow, и Clean-param, приоритет у Disallow. Про сами метки есть отдельная статья: UTM-метки.
Что будет, если файл недоступен
| Ответ на запрос файла | RFC 9309 | Яндекс | |
|---|---|---|---|
| 200 | Читает правила | Читает правила | Читает правила |
| 3xx | Следует минимум пяти редиректам, дальше считает как 404 | Минимум пять редиректов | Принимает редирект на файл с ответом 200 |
| 4xx (кроме 429) | Как будто файла нет: ограничений нет | Можно обходить всё | Сайт считается открытым |
| 5xx и сетевые ошибки | 12 часов не сканирует, затем до 30 дней использует последнюю копию; без копии ограничений нет | Считать сайт полностью закрытым | Справка описывает только общий случай: недоступный файл считается разрешающим |
Практический вывод: если хостинг иногда отдаёт 503 на всё подряд, первым страдает не главная страница, а именно robots.txt, и Google может на полдня перестать обходить сайт целиком. Держите файл статичным и лёгким.
Как закрыть сайт от ИИ-ботов
| User-agent | Что делает по официальному описанию | Соблюдает файл | Что будет, если закрыть |
|---|---|---|---|
GPTBot (OpenAI) |
Собирает данные, чтобы сделать генеративные базовые модели полезнее и безопаснее | Да | OpenAI: запрет означает, что контент сайта не должен использоваться для обучения |
OAI-SearchBot (OpenAI) |
Показывает сайты в результатах поиска ChatGPT | Да | Сайт не будет показываться в поисковых ответах ChatGPT |
ChatGPT-User (OpenAI) |
Заходит на страницу по действию пользователя, не для автоматического обхода | OpenAI: правила могут не применяться | Гарантии нет |
PerplexityBot |
Находит сайты и ставит на них ссылки в результатах поиска Perplexity; не собирает данные для обучения моделей | Да | Сайт пропадёт из ссылок в ответах Perplexity |
Perplexity-User |
Загружает страницу, когда пользователь задал вопрос | Perplexity: как правило, игнорирует | Гарантии нет |
Google-Extended |
Отдельный токен: можно ли использовать контент для обучения будущих моделей Gemini и для grounding в приложениях Gemini и Vertex AI | Да, отдельного робота нет, обходит обычный Googlebot | Google: не влияет на попадание в Google Поиск и не является фактором ранжирования |
YandexAdditional |
Учитывается при обработке файла, чтобы ограничить показ контента в быстрых ответах с YandexGPT; применяется к страницам, проиндексированным основным роботом | Да, но только если указан по имени | Контент не будет использоваться в быстрых ответах с YandexGPT; обычный поиск не затрагивается |
YandexAdditional не делает запросов сам: это имя, по которому Яндекс читает правила. В справке Яндекса он помечен как робот, который не следует общим правилам для *, поэтому запрет нужно писать явно:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: YandexAdditional
Disallow: /
Прежде чем закрывать, решите, что для вас важнее. Запрет поисковых ИИ-ботов убирает сайт из ответов нейросетей, а это растущий источник переходов. Как в них попадать, разбираем в статье про GEO-оптимизацию. Рядом часто вспоминают файл llms.txt: он ничего не запрещает и работает по другому принципу.
Пример файла для типичного сайта
User-agent: *
Disallow: /cart/
Disallow: /personal/
Disallow: /search/
Disallow: /*?print=
Allow: /search/help/
User-agent: Yandex
Disallow: /cart/
Disallow: /personal/
Disallow: /search/
Disallow: /*?print=
Allow: /search/help/
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term
Sitemap: https://example.ru/sitemap.xml
Группа для Яндекса повторяет общую, потому что общую он не прочитает. CSS, JS и изображения не закрыты: Google рендерит страницы, и без этих файлов робот может увидеть страницу не так, как пользователь. У Яндекса для загрузки ресурсов рендеринга есть YandexRenderResourcesBot. Подробнее про работу роботов в статье о поисковых роботах.
Частые ошибки
Disallow: / с тестового сервера. Дальше идут закрытые CSS и JS, попытка удалить страницы из индекса через Disallow и отдельная группа для Яндекса без общих запретов.Disallow: /после запуска. Сайт выпадает из обхода целиком. Проверяйте файл в день релиза.- Пустой
Disallow:без значения означает «разрешено всё», а не «запрещено всё». - Закрытие ради удаления из индекса. Не работает: нужен noindex или ответ 404/410.
- Кириллица в пути. Для Яндекса правило просто не сработает.
- Закрыты страницы с canonical или редиректом. Робот не увидит canonical и редирект, если не может загрузить страницу.
- Файл на поддомене забыт.
shop.example.ruживёт по своему файлу.
Как проверить файл
Отчёт Search Console охватывает 20 самых часто сканируемых хостов сайта, для каждого http и https отдельно, и доступен только для доменного ресурса или ресурса с префиксом на уровне корня. Повторное сканирование файла Google советует запрашивать только в срочных случаях: например, когда вы случайно закрыли важный раздел. Перед этим убедитесь, что файл вообще отдаёт 200: в Вебмастере это «Проверка ответа сервера». Если сайт ещё не подключён, начните со статьи про Google Search Console.
Наши данные: спрос на тему по Wordstat
Методика: сумма точных частот запросов темы в Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026.
- Тема собирает 394 запроса в месяц: это формулировки «robots txt» и «файл robots txt».
- Смежные темы того же среза: «карта сайта» и sitemap 1 064, «краулер» и поисковые роботы 614. Вместе три темы дают 2 072 запроса, на robots.txt приходится 19%.
- Запросов про sitemap в 2,7 раза больше, хотя ошибка в robots.txt обходится дороже: один
Disallow: /закрывает сайт целиком, а плохой sitemap только замедляет обход.
Что из этого следует: файл ищут, когда что-то уже сломалось или нужно настроить с нуля. Поэтому в статье больше места отдано ошибкам и порядку применения правил, чем перечислению директив.
Когда настраивать почти нечего
- Сайт на конструкторе без доступа к файлу. Платформа генерирует его сама; ваша задача проверить, что он не закрывает нужное.
- Небольшой сайт без фильтров и личного кабинета. Достаточно
User-agent: *, пустогоDisallow:и строкиSitemap. - Нужно скрыть данные. Файл не поможет, нужна авторизация.
Частые вопросы
Как закрыть сайт от индексации целиком?
Для закрытия обхода: User-agent: * и Disallow: /. Но если сайт уже в индексе, адреса могут остаться в выдаче без описания. Для тестового сервера надёжнее пароль, для удаления из поиска нужен noindex.
Нужна ли директива Host в 2026 году?
Нет. В текущей справке Яндекса она не входит в список поддерживаемых директив, главное зеркало определяется 301-редиректами. Google её никогда не поддерживал. Удалять строку не обязательно, но и пользы она не приносит.
Почему Яндекс не выполняет правила для User-agent: *?
Скорее всего, в файле есть группа User-agent: Yandex или группа для конкретного робота Яндекса. Тогда общая группа для него не действует, и все запреты нужно повторить в его группе.
Как запретить GPTBot, но остаться в ответах ChatGPT?
Закройте GPTBot и оставьте открытым OAI-SearchBot. По документации OpenAI первый отвечает за данные для обучения моделей, второй за показ сайтов в поиске ChatGPT.
Сколько ждать, пока правки начнут действовать?
Google обычно кэширует файл до 24 часов. Чтобы ускорить, запросите повторное сканирование в отчёте robots.txt в Search Console. Яндекс перечитывает файл сам, проверить новые правила можно сразу в «Анализе robots.txt».
Источники
- RFC 9309: Robots Exclusion Protocol, стандарт IETF, сентябрь 2022
- Google Search Central: как Google интерпретирует спецификацию robots.txt
- Справка Search Console: отчёт о файле robots.txt
- Яндекс Справка Вебмастера: использование файла robots.txt
- Яндекс Справка Вебмастера: директива User-agent и выбор группы
- Яндекс Справка Вебмастера: директива Clean-param
- Яндекс Справка Вебмастера: скорость обхода сайта
- Яндекс Справка Вебмастера: роботы Яндекса и описание YandexAdditional
- OpenAI: роботы GPTBot, OAI-SearchBot и ChatGPT-User
- Perplexity: PerplexityBot и Perplexity-User
- Google: краулеры, включая Google-Extended