MoreSEOОб авторе

Как закрыть сайт от индексации: способы и ошибки

Пароль, noindex, X-Robots-Tag или robots.txt: что выбрать для тестового стенда, PDF и старого раздела, как убрать страницы из выдачи Яндекса и Google.

Обновлено 15 ноября 2026
9 мин. чтения
Обложка: сайт, закрытый от поискаОкно сайта с большим замком и лупа поисковика, перечёркнутая линией

Способ зависит от того, кому сайт должен оставаться доступным. Тестовый стенд, копию или сайт в разработке закрывают паролем: сервер отвечает кодом 401, робот не получает содержимое, а страницы, которые уже попали в выдачу, со временем выпадают. Открытый для людей сайт или раздел убирают из поиска директивой noindex в метатеге robots или в HTTP-заголовке X-Robots-Tag, и обход в robots.txt при этом должен быть открыт. Запрет Disallow в robots.txt управляет только обходом: Google прямо пишет, что это не механизм, чтобы не пускать страницу в поиск, и адрес может появиться в выдаче без описания. Если страницы нужно спрятать срочно, после настройки используют инструменты удаления в Вебмастере и Search Console.

Коротко

  • Google поддерживает noindex только в метатеге и в заголовке X-Robots-Tag. Директиву noindex в robots.txt он не поддерживает.
  • Яндекс удаляет страницу из поисковой базы в течение недели после того, как робот увидит запрет. Google может вернуться на страницу через месяцы, если она не важна.
  • Инструмент удаления Search Console скрывает адреса примерно на шесть месяцев. Для скрытия всего сайта указывают префикс вида https://example.com/.
  • Галочка видимости для поисковиков в настройках чтения WordPress с версии 5.3 добавляет метатег noindex, nofollow, а не запрет в robots.txt. Доступ к сайту она не закрывает.
  • Для страниц с личными данными за авторизацией Яндекс советует отвечать кодом 403.

Чем запрет обхода отличается от запрета индексирования

Обход это скачивание страницы роботом, индексирование это добавление её в базу поиска. Robots.txt говорит роботу «не заходи», noindex говорит «зашёл, но не показывай». Чтобы робот выполнил noindex, он должен скачать страницу, поэтому закрывать её в robots.txt одновременно нельзя.

Из этого различия вырастает главная ошибка: сайт закрывают через Disallow: /, а страницы остаются в выдаче. Google объясняет почему: если на заблокированный адрес ведут ссылки, он может появиться в результатах, просто без описания. Яндекс в справке по метатегу robots отдельно указывает, что при запрете страницы в robots.txt метатег и заголовок с директивами не действуют.

Синтаксис файла, порядок правил и проверку мы разбирали в статье «Robots.txt: как настроить и не закрыть лишнее», а сами метатеги в статье про мета-теги. Здесь только выбор способа.

Какой способ выбрать под задачу

Сайт не должен видеть никто, кроме команды: пароль. Сайт или раздел открыт людям, но не нужен в поиске: noindex. Закрыть файлы без HTML: X-Robots-Tag. Снизить нагрузку от роботов на служебные разделы: robots.txt. Страница удалена навсегда: ответ 404 или 410.
ЧтоКогда подходитЧем платитеПочему важно
Пароль (HTTP-авторизация, вход в CMS, доступ по IP)Тестовый стенд, копия для разработки, закрытый раздел для клиентовЛюди без доступа сайт не увидят; нужна настройка на сервереGoogle называет пароль способом, при котором контент видят только те, кому разрешено
Метатег robots с noindexРаздел открыт людям, но не нужен в поиске: служебные страницы, архив, страницы для рассылокРобот продолжает заходить; эффект после повторного обходаЕдинственный способ, который поисковики выполняют как запрет индексирования HTML
Заголовок X-Robots-Tag: noindexPDF, изображения, файлы без HTML; весь хост целиком на уровне сервераНужен доступ к настройкам сервера; заголовок не виден в коде страницы, его легко забытьРаботает и в Google, и в Яндексе; удобно добавить ко всему домену стенда
Disallow в robots.txtКорзина, фильтры, поиск по сайту: страницы, которые не нужно обходитьАдреса могут остаться в выдаче без описанияЭкономит обход, но индексирование не запрещает
Ответ 404 или 410Страница или раздел удалены совсемСтраницу больше никто не увидитОкончательный способ, после него инструмент удаления не нужен
Как выбрать способ закрытия от поискаРазвилка. Страница удалена навсегда: ответ 404 или 410. Сайт не должен видеть никто, кроме команды: пароль, ответ 401. Людям доступ нужен, но в поиске сайт не нужен: noindex в метатеге или X-Robots-Tag, обход в robots.txt открыт. Если страницы уже в выдаче и нужно срочно: дополнительно инструменты удаления в Вебмастере и Search Console. Robots.txt только экономит обход. Какой способ выбрать Страница ещё нужна? людям или команде Нет, удалена ответ 404 или 410 Да. Кто её должен видеть? только команда или все Только команда пароль, ответ 401 стенд, копия, разработка Все, но не из поиска noindex или X-Robots-Tag обход в robots.txt открыт Уже в выдаче и срочно плюс удаление в Вебмастере и Search Console Robots.txt не в этой развилке он экономит обход, а не прячет нет да
Схема выбора способа: если сайт не должен видеть никто, ставят пароль; если людям доступ нужен, но в поиске сайт не нужен, ставят noindex или X-Robots-Tag при открытом обходе; если страницы уже в выдаче и нужно срочно, добавляют инструменты удаления; если страница удалена навсегда, отдают 404 или 410

Схема 1. Сначала решите, нужен ли сайт людям. Ответ определяет способ, а robots.txt в этой развилке не участвует.

Как спрятать тестовый стенд и копию сайта

Закройте стенд паролем на уровне сервера: тогда робот получает ответ 401 и ничего не индексирует. Вторым слоем можно отдавать на всём домене стенда заголовок X-Robots-Tag: noindex. Полагаться только на robots.txt нельзя: адреса стенда попадут в выдачу, если на них где-то появится ссылка.

Ссылки на стенды утекают через чаты, письма, трекеры и код продакшена после копирования базы. Пароль решает проблему целиком: сервер на запрос без учётных данных отвечает 401 и заголовком WWW-Authenticate, браузер показывает окно входа, а робот получает этот ответ вместо содержимого страницы.

Что учесть при настройке:

  • Базовая HTTP-авторизация передаёт логин и пароль в кодировке, а не в шифровании. MDN прямо предупреждает: без HTTPS такая схема небезопасна. Если стенд на http, сначала поставьте сертификат, как описано в статье про HTTPS и SSL.
  • Галочка в CMS не замена паролю. В WordPress галочка видимости для поисковиков в настройках чтения (в английской версии Discourage search engines from indexing this site) с версии 5.3 выводит метатег noindex,nofollow. В документации WordPress прямо сказано, что ни одна из этих настроек не закрывает доступ к сайту, а выполнять просьбу или нет, решают поисковики. Остальные настройки CMS разобраны в статье SEO для WordPress.
  • Не переносите настройки стенда на продакшен. Типичный сценарий релиза: базу и конфиг копируют вместе с noindex или Disallow: /, и рабочий сайт начинает выпадать из поиска. Добавьте проверку метатега robots, заголовка X-Robots-Tag и robots.txt в чек-лист выкладки, а при переезде сверяйтесь со статьёй про перенос сайта.

Если стенд уже в выдаче, поставьте пароль и отправьте адреса в инструменты удаления (о них ниже). Копии с теми же текстами, что на основном сайте, ещё и создают дубли, поэтому убирать их стоит как можно раньше.

Как убрать из поиска сайт, который уже проиндексирован

Поставьте noindex на все страницы или закройте сайт паролем, не запрещая обход в robots.txt. Яндекс удалит страницы из базы в течение недели после того, как робот их переобойдёт. Google может переобходить страницы месяцами, поэтому для скорости используйте инструмент удаления: он скрывает адреса примерно на полгода, пока noindex не сработает.

Порядок действий:

  1. Поставьте постоянный запрет. Метатег noindex на всех страницах, заголовок X-Robots-Tag на уровне сервера или пароль. Если сайт удалён совсем, сервер должен отвечать 404 или 410.
  2. Проверьте, что обход открыт. Уберите Disallow для этих страниц, иначе робот не увидит noindex.
  3. Ускорьте в Яндексе. В Вебмастере есть инструмент «Инструменты → Удаление страниц из поиска»: в нём можно указать адрес страницы или префикс для группы страниц. Он запускает удаление, не дожидаясь планового обхода.
  4. Ускорьте в Google. В Search Console откройте инструмент удаления, создайте запрос на временное удаление и выберите вариант удаления всех адресов с этим префиксом. Для всего сайта Google приводит пример префикса https://example.com/. Удаление действует около шести месяцев и работает только для ресурса, которым вы владеете. За это время постоянный запрет из первого шага должен вступить в силу, иначе страницы вернутся.
  5. Проверьте результат. В Google отдельный адрес можно проверить инструментом проверки URL, там же запросить повторное сканирование. Как смотреть индексацию в обоих кабинетах, описано в статье про индексацию сайта, а работа с кабинетами в статьях про Яндекс Вебмастер и Google Search Console.

Если страницы закрыты по ошибке, процесс обратный: снимите noindex, отмените временное удаление в Search Console и отправьте важные адреса на переобход.

Как закрыть файлы, PDF и отдельные разделы

Для файлов без HTML используйте HTTP-заголовок X-Robots-Tag: в PDF или картинку метатег не вставить. Для разделов сайта ставьте метатег в шаблон раздела. Яндекс в заголовке поддерживает только запрещающие директивы: noindex, nofollow, none и noarchive.

Заголовок выглядит как обычная строка ответа сервера, например X-Robots-Tag: noindex, и настраивается в конфигурации веб-сервера или в коде, который отдаёт файл. MDN отмечает, что это не часть спецификации, а фактический стандарт, который соблюдают поисковые роботы. Заголовок не скрывает файл: любой, у кого есть ссылка, его откроет. Если в PDF лежат договоры, сметы или персональные данные, их нужно убрать за авторизацию.

Тонкость Яндекса: если в метатегах встречаются разрешающая и запрещающая директивы, он выбирает разрешающую, и страница будет индексироваться. Google в такой ситуации применяет более строгое правило. Не оставляйте в шаблоне all или index рядом с noindex.

Частые ошибки

Самые дорогие ошибки: Disallow вместо noindex, noindex вместе с Disallow, noindex внутри robots.txt (Google его не поддерживает) и забытый запрет после релиза. Все они видны за пять минут проверки кода ответа, метатега, заголовков и robots.txt.

Ещё две ошибки встречаются реже, но тоже стоят позиций:

  • Закрытие вместо удаления. Если страница не нужна совсем, ответ 404 или 410 честнее и быстрее, чем noindex на пустой странице. Что при этом видит посетитель, разобрано в статье про ошибку 404.
  • Закрытие дублей вместо склейки. Для одинаковых страниц с разными адресами чаще подходит canonical или редирект, а не noindex.
## Наши данные: как часто ищут закрытие от поиска
Спрос темы 13 точных показов в месяц при широкой частотности 80: дословную формулировку вводят в 16% случаев. Настройку robots.txt ищут в 30 раз чаще, хотя ошибки с закрытием обходятся дороже.
Методика: Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Спрос темы равен сумме точных частот запросов группы.
ТемаШирокая частотность главного запросаСпрос темы, точных
Закрытие сайта от поиска (эта статья)8013
Настройка robots.txt3 204394
Проверка индексации2 792135
Ускорение индексации3411
Кластер «Индексация», 6 тем505
Что из этого следует: - **Вопрос задают редко, но в момент проблемы.** 13 показов это 2,6% спроса кластера «Индексация». Ищут, когда стенд уже в выдаче. Для сравнения, ускорение индексации ищут 11 раз, почти столько же. - **Люди идут через robots.txt.** На файл приходится в 30 раз больше запросов, поэтому многие закрывают сайт именно им и получают адреса в выдаче без описания. Отсюда упор статьи на развилку «обход или индексирование».

Когда закрывать не нужно

Не закрывайте сайт, который уже работает и приводит посетителей, ради «доработки»: после снятия запрета позиции возвращаются не сразу. Не закрывайте страницы, которые просто слабые: их лучше улучшить или удалить.
  • Редизайн на рабочем домене. Делайте его на стенде под паролем, а рабочий сайт не трогайте.
  • Малоценные страницы. Noindex на сотнях страниц маскирует проблему структуры. Сначала решите, нужны ли они вообще.
  • Защита данных. Ни noindex, ни robots.txt не закрывают доступ. Для личных данных нужен вход по паролю, Яндекс советует ответ 403.

Частые вопросы

Закроет ли robots.txt сайт от поиска?

Нет. Robots.txt запрещает обход, а не индексирование. Если на страницы ведут ссылки, их адреса могут остаться в выдаче без описания. Для удаления из поиска нужен noindex при открытом обходе или пароль.

Как быстро сайт пропадёт из выдачи?

Яндекс удаляет страницы из базы в течение недели после того, как робот увидит запрет. Google нужно повторно просканировать страницу, и это может занять месяцы. Ускорить помогут инструменты удаления в Вебмастере и Search Console.

Как закрыть от индексации только PDF-файлы?

Отдавайте для них HTTP-заголовок X-Robots-Tag: noindex. Его поддерживают и Google, и Яндекс. Если в файлах конфиденциальные данные, уберите их за авторизацию: заголовок не закрывает доступ.

Достаточно ли галочки в WordPress для тестового сайта?

Нет. Начиная с версии 5.3 галочка добавляет метатег noindex, nofollow, но доступ к сайту не ограничивает, и выполнять запрет решают поисковики. Тестовый сайт надёжнее закрыть паролем.

Как скрыть сайт из Google на время?

В инструменте удаления Search Console создайте временное удаление с префиксом всего сайта. Скрытие действует около шести месяцев, поэтому параллельно поставьте постоянный запрет: noindex, пароль или ответ 404 или 410.

Источники

Частный SEO-специалист. Пишу про поиск и нейропоиск, а цифры беру из Wordstat и первоисточников.

Читайте также

© MoreSEO, Алексей Демкин · все статьи