MoreSEOОб авторе

Robots.txt: как настроить и не закрыть лишнее

Директивы Disallow, Allow, Clean-param, отличия Яндекса и Google, что стало с Host и Crawl-delay и как закрыть сайт от GPTBot и YandexAdditional.

Обновлено 14 ноября 2026
10 мин. чтения
Робот перед шлагбаумом: верхний путь закрыт, нижний открыт к странице

Robots.txt это текстовый файл в корне сайта (https://example.ru/robots.txt), в котором вы говорите поисковым роботам, какие разделы можно обходить, а какие нет. Базовый набор директив одинаков для всех: User-agent (для какого робота правила), Disallow (запретить), Allow (разрешить) и Sitemap (где карта сайта). Яндекс дополнительно понимает Clean-param для параметров в адресах. Google поддерживает только четыре базовые директивы, остальные игнорирует.

Главное, что нужно понимать до любой настройки: файл управляет обходом, а не индексацией. Страница, закрытая через Disallow, всё равно может появиться в выдаче, если на неё ведут ссылки. Чтобы убрать её из поиска, нужен noindex, и робот должен иметь возможность его прочитать.

**Коротко** - Стандарт файла описан в RFC 9309 (сентябрь 2022). Google читает первые 500 КиБ, у Яндекса лимит 500 КБ: что дальше, не учитывается. - Побеждает самое длинное совпадение пути. При равенстве `Allow` и `Disallow` выигрывает `Allow`. - Если в файле есть группа `User-agent: Yandex`, правила для `*` Яндекс уже не читает. Общие запреты нужно продублировать. - `Host` и `Crawl-delay` в текущей справке Яндекса не значатся среди поддерживаемых директив: зеркало задают 301-редиректом, скорость обхода настройкой в Вебмастере. Google `Crawl-delay` не поддерживает. - Чтобы контент не шёл в обучение моделей, закрывают GPTBot и Google-Extended. Для быстрых ответов с YandexGPT есть отдельный агент YandexAdditional.

Что файл делает и чего не делает

Файл просит роботов не загружать определённые адреса. Это не защита и не способ убрать страницу из поиска: добросовестные роботы правила соблюдают, остальные нет, а закрытый адрес может попасть в выдачу без описания.

RFC 9309 прямо говорит, что правила не являются авторизацией доступа и не заменяют защиту контента. Перечисляя в файле /admin/ или /backup/, вы публично сообщаете, где они лежат. Закрытые разделы защищают паролем.

С индексацией ещё одна ловушка. И Google, и Яндекс пишут в справках, что заблокированная страница может оказаться в поиске. Если вы закрыли страницу в файле и одновременно поставили на ней noindex, робот не загрузит страницу и noindex не увидит. Порядок правильный обратный: открыть обход, поставить noindex, дождаться выпадения из индекса.

Где лежит файл и какие к нему требования

Только в корне хоста, с именем robots.txt в нижнем регистре, с ответом сервера 200. Файл действует на один протокол, хост и порт: у поддомена и у версии на http должен быть свой файл.
  • Размер. Яндекс: до 500 КБ, файл больше этого или недоступный считается разрешающим. Google: обрабатывает первые 500 КиБ, остальное отбрасывает.
  • Кодировка и символы. Google ждёт UTF-8. Яндекс запрещает кириллицу в файле: домены пишут в Punycode, пути в процентной кодировке (/%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0 вместо /корзина).
  • Регистр. Названия директив регистр не различают, пути различают: /Catalog/ и /catalog/ это разные правила.
  • Редиректы. Google и RFC 9309 следуют минимум пяти перенаправлениям подряд. Яндекс принимает редирект на другой robots.txt, в том числе на другой домен, если конечный файл отвечает 200: это удобно при переезде.
  • Кэш. Google обычно хранит копию до 24 часов. Правки начинают действовать не мгновенно.

Какие директивы есть и кто их понимает

Четыре директивы понимают все крупные поисковики: User-agent, Disallow, Allow и Sitemap. Clean-param работает только в Яндексе. Host и Crawl-delay сегодня бесполезны для обоих поисковиков.
Директива Что делает Яндекс Google
User-agent Открывает группу правил для робота или для всех (*) Да; группа для конкретного робота отменяет группы Yandex и * Да; применяется самая специфичная подходящая группа
Disallow / Allow Запрещает или разрешает обход путей, поддерживают * и $ Да Да
Sitemap Полный адрес карты сайта, строк может быть несколько Да Да
Clean-param Говорит, какие GET-параметры не меняют содержимое страницы Да, межсекционная, до 500 символов на правило Нет, для Google дубли с параметрами склеивают через canonical
Crawl-delay Пауза между запросами робота Нет в списке поддерживаемых; скорость задаётся в Вебмастере: «Индексирование → Скорость обхода» Не поддерживается
Host Раньше указывала главное зеркало для Яндекса Нет в текущей справке; главное зеркало задают 301-редиректом Никогда не поддерживалась

Спецсимволы: * означает любую последовательность символов, $ конец адреса, # начинает комментарий. Правило Disallow: /*.pdf$ закроет все PDF, а Disallow: /search закроет и /search, и /search-results/, потому что сравнивается начало пути.

Если на старом сайте остались Host и Crawl-delay, вреда от них нет, но и пользы тоже. Для склейки зеркал настройте постоянный редирект, а нагрузку от робота Яндекса регулируйте ползунком в Вебмастере: справка Яндекса оговаривает, что заданное значение считается рекомендацией.

Как роботы выбирают, какое правило сработает

Сначала робот выбирает свою группу User-agent, потом внутри неё ищет правило с самым длинным совпадающим путём. Если Allow и Disallow совпали по длине, Google и RFC 9309 применяют менее строгое, то есть Allow.

Пример: разрешить один раздел внутри закрытого.

User-agent: *
Disallow: /catalog/
Allow: /catalog/divany/

Адрес /catalog/divany/model-1/ откроется: правило Allow длиннее. Адрес /catalog/stulya/ закрыт.

Как робот выбирает правило в robots.txt Робот запрашивает файл и смотрит код ответа, затем выбирает свою группу User-agent: сначала по имени робота, потом Yandex или Googlebot, в последнюю очередь звёздочку. Внутри группы побеждает самое длинное совпадение пути, при равенстве Allow. 1. Запрос файла 200: читать правила 4xx: ограничений нет 5xx: Google 12 часов не сканирует 2. Выбор группы Имя робота, например YandexBot иначе Yandex или Googlebot иначе User-agent: * 3. Поиск совпадений Только правила выбранной группы Путь сравнивается с начала * любые символы, $ конец адреса 4. Кто победил Самое длинное совпадение пути При равной длине Allow Нет совпадений: обход разрешён Ловушка Яндекса Если есть группа User-agent: Yandex, правила для * Яндекс не читает. YandexAdditional и многие служебные роботы тоже слушают только свою группу.
Схема: робот запрашивает файл, по коду ответа решает, читать ли правила, выбирает свою группу User-agent и применяет правило с самым длинным совпадением пути

Схема: четыре шага, по которым робот решает, можно ли загрузить адрес.

Главная ловушка для Яндекса: справка говорит, что при наличии строки User-agent: Yandex строка User-agent: * не учитывается. Если вы сделали отдельную группу для Яндекса ради одного Clean-param, а все запреты оставили в *, для Яндекса сайт фактически открыт. Каждая группа должна быть самодостаточной.

Как работает Clean-param

Clean-param перечисляет параметры, которые не меняют содержимое страницы: метки, идентификаторы сессий, сортировки. Яндекс сводит такие адреса к одному и не тратит обход на дубли.

Формат: Clean-param: параметр1&параметр2 [путь]. Путь необязателен.

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term
Clean-param: sort&view /catalog/

Яндекс советует Clean-param вместо Disallow для дублей с параметрами: накопленные сигналы переходят на основной адрес, а не теряются. Если для одного адреса сработали и Disallow, и Clean-param, приоритет у Disallow. Про сами метки есть отдельная статья: UTM-метки.

Что будет, если файл недоступен

Код 404 и другие 4xx для поисковиков означают «правил нет, обходить можно всё». Ошибки 5xx опаснее: Google в первые 12 часов прекращает обход сайта, а по RFC 9309 робот должен считать сайт полностью закрытым.
Ответ на запрос файла Google RFC 9309 Яндекс
200 Читает правила Читает правила Читает правила
3xx Следует минимум пяти редиректам, дальше считает как 404 Минимум пять редиректов Принимает редирект на файл с ответом 200
4xx (кроме 429) Как будто файла нет: ограничений нет Можно обходить всё Сайт считается открытым
5xx и сетевые ошибки 12 часов не сканирует, затем до 30 дней использует последнюю копию; без копии ограничений нет Считать сайт полностью закрытым Справка описывает только общий случай: недоступный файл считается разрешающим

Практический вывод: если хостинг иногда отдаёт 503 на всё подряд, первым страдает не главная страница, а именно robots.txt, и Google может на полдня перестать обходить сайт целиком. Держите файл статичным и лёгким.

Как закрыть сайт от ИИ-ботов

Каждая компания публикует имена своих роботов и их назначение. Боты для обучения моделей (GPTBot, Google-Extended) и боты для поиска (OAI-SearchBot, PerplexityBot) разные: можно запретить одно и оставить другое.
User-agent Что делает по официальному описанию Соблюдает файл Что будет, если закрыть
GPTBot (OpenAI) Собирает данные, чтобы сделать генеративные базовые модели полезнее и безопаснее Да OpenAI: запрет означает, что контент сайта не должен использоваться для обучения
OAI-SearchBot (OpenAI) Показывает сайты в результатах поиска ChatGPT Да Сайт не будет показываться в поисковых ответах ChatGPT
ChatGPT-User (OpenAI) Заходит на страницу по действию пользователя, не для автоматического обхода OpenAI: правила могут не применяться Гарантии нет
PerplexityBot Находит сайты и ставит на них ссылки в результатах поиска Perplexity; не собирает данные для обучения моделей Да Сайт пропадёт из ссылок в ответах Perplexity
Perplexity-User Загружает страницу, когда пользователь задал вопрос Perplexity: как правило, игнорирует Гарантии нет
Google-Extended Отдельный токен: можно ли использовать контент для обучения будущих моделей Gemini и для grounding в приложениях Gemini и Vertex AI Да, отдельного робота нет, обходит обычный Googlebot Google: не влияет на попадание в Google Поиск и не является фактором ранжирования
YandexAdditional Учитывается при обработке файла, чтобы ограничить показ контента в быстрых ответах с YandexGPT; применяется к страницам, проиндексированным основным роботом Да, но только если указан по имени Контент не будет использоваться в быстрых ответах с YandexGPT; обычный поиск не затрагивается

YandexAdditional не делает запросов сам: это имя, по которому Яндекс читает правила. В справке Яндекса он помечен как робот, который не следует общим правилам для *, поэтому запрет нужно писать явно:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: YandexAdditional
Disallow: /

Прежде чем закрывать, решите, что для вас важнее. Запрет поисковых ИИ-ботов убирает сайт из ответов нейросетей, а это растущий источник переходов. Как в них попадать, разбираем в статье про GEO-оптимизацию. Рядом часто вспоминают файл llms.txt: он ничего не запрещает и работает по другому принципу.

Пример файла для типичного сайта

Типичному сайту с корзиной, личным кабинетом и поиском хватает десятка строк: закрыть служебные разделы, продублировать запреты для Яндекса, добавить Clean-param для меток и строку Sitemap.
User-agent: *
Disallow: /cart/
Disallow: /personal/
Disallow: /search/
Disallow: /*?print=
Allow: /search/help/

User-agent: Yandex
Disallow: /cart/
Disallow: /personal/
Disallow: /search/
Disallow: /*?print=
Allow: /search/help/
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://example.ru/sitemap.xml

Группа для Яндекса повторяет общую, потому что общую он не прочитает. CSS, JS и изображения не закрыты: Google рендерит страницы, и без этих файлов робот может увидеть страницу не так, как пользователь. У Яндекса для загрузки ресурсов рендеринга есть YandexRenderResourcesBot. Подробнее про работу роботов в статье о поисковых роботах.

Частые ошибки

Самая дорогая ошибка: на рабочем сайте остался Disallow: / с тестового сервера. Дальше идут закрытые CSS и JS, попытка удалить страницы из индекса через Disallow и отдельная группа для Яндекса без общих запретов.
  • Disallow: / после запуска. Сайт выпадает из обхода целиком. Проверяйте файл в день релиза.
  • Пустой Disallow: без значения означает «разрешено всё», а не «запрещено всё».
  • Закрытие ради удаления из индекса. Не работает: нужен noindex или ответ 404/410.
  • Кириллица в пути. Для Яндекса правило просто не сработает.
  • Закрыты страницы с canonical или редиректом. Робот не увидит canonical и редирект, если не может загрузить страницу.
  • Файл на поддомене забыт. shop.example.ru живёт по своему файлу.

Как проверить файл

В Яндексе: инструмент «Анализ robots.txt» в Вебмастере показывает ошибки и проверяет, открыт ли конкретный адрес. В Google: отчёт robots.txt в настройках Search Console показывает, какую версию файла получил Google, и позволяет запросить повторное сканирование.

Отчёт Search Console охватывает 20 самых часто сканируемых хостов сайта, для каждого http и https отдельно, и доступен только для доменного ресурса или ресурса с префиксом на уровне корня. Повторное сканирование файла Google советует запрашивать только в срочных случаях: например, когда вы случайно закрыли важный раздел. Перед этим убедитесь, что файл вообще отдаёт 200: в Вебмастере это «Проверка ответа сервера». Если сайт ещё не подключён, начните со статьи про Google Search Console.

Наши данные: спрос на тему по Wordstat

Методика: сумма точных частот запросов темы в Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026.

  • Тема собирает 394 запроса в месяц: это формулировки «robots txt» и «файл robots txt».
  • Смежные темы того же среза: «карта сайта» и sitemap 1 064, «краулер» и поисковые роботы 614. Вместе три темы дают 2 072 запроса, на robots.txt приходится 19%.
  • Запросов про sitemap в 2,7 раза больше, хотя ошибка в robots.txt обходится дороже: один Disallow: / закрывает сайт целиком, а плохой sitemap только замедляет обход.

Что из этого следует: файл ищут, когда что-то уже сломалось или нужно настроить с нуля. Поэтому в статье больше места отдано ошибкам и порядку применения правил, чем перечислению директив.

Когда настраивать почти нечего

  • Сайт на конструкторе без доступа к файлу. Платформа генерирует его сама; ваша задача проверить, что он не закрывает нужное.
  • Небольшой сайт без фильтров и личного кабинета. Достаточно User-agent: *, пустого Disallow: и строки Sitemap.
  • Нужно скрыть данные. Файл не поможет, нужна авторизация.

Частые вопросы

Как закрыть сайт от индексации целиком?

Для закрытия обхода: User-agent: * и Disallow: /. Но если сайт уже в индексе, адреса могут остаться в выдаче без описания. Для тестового сервера надёжнее пароль, для удаления из поиска нужен noindex.

Нужна ли директива Host в 2026 году?

Нет. В текущей справке Яндекса она не входит в список поддерживаемых директив, главное зеркало определяется 301-редиректами. Google её никогда не поддерживал. Удалять строку не обязательно, но и пользы она не приносит.

Почему Яндекс не выполняет правила для User-agent: *?

Скорее всего, в файле есть группа User-agent: Yandex или группа для конкретного робота Яндекса. Тогда общая группа для него не действует, и все запреты нужно повторить в его группе.

Как запретить GPTBot, но остаться в ответах ChatGPT?

Закройте GPTBot и оставьте открытым OAI-SearchBot. По документации OpenAI первый отвечает за данные для обучения моделей, второй за показ сайтов в поиске ChatGPT.

Сколько ждать, пока правки начнут действовать?

Google обычно кэширует файл до 24 часов. Чтобы ускорить, запросите повторное сканирование в отчёте robots.txt в Search Console. Яндекс перечитывает файл сам, проверить новые правила можно сразу в «Анализе robots.txt».

Источники

Частный SEO-специалист. Пишу про поиск и нейропоиск, а цифры беру из Wordstat и первоисточников.

Читайте также

© MoreSEO, Алексей Демкин · все статьи