Способ зависит от того, кому сайт должен оставаться доступным. Тестовый стенд, копию или сайт в разработке закрывают паролем: сервер отвечает кодом 401, робот не получает содержимое, а страницы, которые уже попали в выдачу, со временем выпадают. Открытый для людей сайт или раздел убирают из поиска директивой noindex в метатеге robots или в HTTP-заголовке X-Robots-Tag, и обход в robots.txt при этом должен быть открыт. Запрет Disallow в robots.txt управляет только обходом: Google прямо пишет, что это не механизм, чтобы не пускать страницу в поиск, и адрес может появиться в выдаче без описания. Если страницы нужно спрятать срочно, после настройки используют инструменты удаления в Вебмастере и Search Console.
Коротко
- Google поддерживает noindex только в метатеге и в заголовке
X-Robots-Tag. Директиву noindex в robots.txt он не поддерживает. - Яндекс удаляет страницу из поисковой базы в течение недели после того, как робот увидит запрет. Google может вернуться на страницу через месяцы, если она не важна.
- Инструмент удаления Search Console скрывает адреса примерно на шесть месяцев. Для скрытия всего сайта указывают префикс вида
https://example.com/. - Галочка видимости для поисковиков в настройках чтения WordPress с версии 5.3 добавляет метатег noindex, nofollow, а не запрет в robots.txt. Доступ к сайту она не закрывает.
- Для страниц с личными данными за авторизацией Яндекс советует отвечать кодом 403.
Чем запрет обхода отличается от запрета индексирования
Из этого различия вырастает главная ошибка: сайт закрывают через Disallow: /, а страницы остаются в выдаче. Google объясняет почему: если на заблокированный адрес ведут ссылки, он может появиться в результатах, просто без описания. Яндекс в справке по метатегу robots отдельно указывает, что при запрете страницы в robots.txt метатег и заголовок с директивами не действуют.
Синтаксис файла, порядок правил и проверку мы разбирали в статье «Robots.txt: как настроить и не закрыть лишнее», а сами метатеги в статье про мета-теги. Здесь только выбор способа.
Какой способ выбрать под задачу
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| Пароль (HTTP-авторизация, вход в CMS, доступ по IP) | Тестовый стенд, копия для разработки, закрытый раздел для клиентов | Люди без доступа сайт не увидят; нужна настройка на сервере | Google называет пароль способом, при котором контент видят только те, кому разрешено |
| Метатег robots с noindex | Раздел открыт людям, но не нужен в поиске: служебные страницы, архив, страницы для рассылок | Робот продолжает заходить; эффект после повторного обхода | Единственный способ, который поисковики выполняют как запрет индексирования HTML |
| Заголовок X-Robots-Tag: noindex | PDF, изображения, файлы без HTML; весь хост целиком на уровне сервера | Нужен доступ к настройкам сервера; заголовок не виден в коде страницы, его легко забыть | Работает и в Google, и в Яндексе; удобно добавить ко всему домену стенда |
| Disallow в robots.txt | Корзина, фильтры, поиск по сайту: страницы, которые не нужно обходить | Адреса могут остаться в выдаче без описания | Экономит обход, но индексирование не запрещает |
| Ответ 404 или 410 | Страница или раздел удалены совсем | Страницу больше никто не увидит | Окончательный способ, после него инструмент удаления не нужен |
Схема 1. Сначала решите, нужен ли сайт людям. Ответ определяет способ, а robots.txt в этой развилке не участвует.
Как спрятать тестовый стенд и копию сайта
Ссылки на стенды утекают через чаты, письма, трекеры и код продакшена после копирования базы. Пароль решает проблему целиком: сервер на запрос без учётных данных отвечает 401 и заголовком WWW-Authenticate, браузер показывает окно входа, а робот получает этот ответ вместо содержимого страницы.
Что учесть при настройке:
- Базовая HTTP-авторизация передаёт логин и пароль в кодировке, а не в шифровании. MDN прямо предупреждает: без HTTPS такая схема небезопасна. Если стенд на http, сначала поставьте сертификат, как описано в статье про HTTPS и SSL.
- Галочка в CMS не замена паролю. В WordPress галочка видимости для поисковиков в настройках чтения (в английской версии Discourage search engines from indexing this site) с версии 5.3 выводит метатег
noindex,nofollow. В документации WordPress прямо сказано, что ни одна из этих настроек не закрывает доступ к сайту, а выполнять просьбу или нет, решают поисковики. Остальные настройки CMS разобраны в статье SEO для WordPress. - Не переносите настройки стенда на продакшен. Типичный сценарий релиза: базу и конфиг копируют вместе с noindex или
Disallow: /, и рабочий сайт начинает выпадать из поиска. Добавьте проверку метатега robots, заголовка X-Robots-Tag и robots.txt в чек-лист выкладки, а при переезде сверяйтесь со статьёй про перенос сайта.
Если стенд уже в выдаче, поставьте пароль и отправьте адреса в инструменты удаления (о них ниже). Копии с теми же текстами, что на основном сайте, ещё и создают дубли, поэтому убирать их стоит как можно раньше.
Как убрать из поиска сайт, который уже проиндексирован
Порядок действий:
- Поставьте постоянный запрет. Метатег noindex на всех страницах, заголовок X-Robots-Tag на уровне сервера или пароль. Если сайт удалён совсем, сервер должен отвечать 404 или 410.
- Проверьте, что обход открыт. Уберите
Disallowдля этих страниц, иначе робот не увидит noindex. - Ускорьте в Яндексе. В Вебмастере есть инструмент «Инструменты → Удаление страниц из поиска»: в нём можно указать адрес страницы или префикс для группы страниц. Он запускает удаление, не дожидаясь планового обхода.
- Ускорьте в Google. В Search Console откройте инструмент удаления, создайте запрос на временное удаление и выберите вариант удаления всех адресов с этим префиксом. Для всего сайта Google приводит пример префикса
https://example.com/. Удаление действует около шести месяцев и работает только для ресурса, которым вы владеете. За это время постоянный запрет из первого шага должен вступить в силу, иначе страницы вернутся. - Проверьте результат. В Google отдельный адрес можно проверить инструментом проверки URL, там же запросить повторное сканирование. Как смотреть индексацию в обоих кабинетах, описано в статье про индексацию сайта, а работа с кабинетами в статьях про Яндекс Вебмастер и Google Search Console.
Если страницы закрыты по ошибке, процесс обратный: снимите noindex, отмените временное удаление в Search Console и отправьте важные адреса на переобход.
Как закрыть файлы, PDF и отдельные разделы
Заголовок выглядит как обычная строка ответа сервера, например X-Robots-Tag: noindex, и настраивается в конфигурации веб-сервера или в коде, который отдаёт файл. MDN отмечает, что это не часть спецификации, а фактический стандарт, который соблюдают поисковые роботы. Заголовок не скрывает файл: любой, у кого есть ссылка, его откроет. Если в PDF лежат договоры, сметы или персональные данные, их нужно убрать за авторизацию.
Тонкость Яндекса: если в метатегах встречаются разрешающая и запрещающая директивы, он выбирает разрешающую, и страница будет индексироваться. Google в такой ситуации применяет более строгое правило. Не оставляйте в шаблоне all или index рядом с noindex.
Частые ошибки
Ещё две ошибки встречаются реже, но тоже стоят позиций:
- Закрытие вместо удаления. Если страница не нужна совсем, ответ 404 или 410 честнее и быстрее, чем noindex на пустой странице. Что при этом видит посетитель, разобрано в статье про ошибку 404.
- Закрытие дублей вместо склейки. Для одинаковых страниц с разными адресами чаще подходит canonical или редирект, а не noindex.
| Тема | Широкая частотность главного запроса | Спрос темы, точных |
|---|---|---|
| Закрытие сайта от поиска (эта статья) | 80 | 13 |
| Настройка robots.txt | 3 204 | 394 |
| Проверка индексации | 2 792 | 135 |
| Ускорение индексации | 34 | 11 |
| Кластер «Индексация», 6 тем | 505 |
Когда закрывать не нужно
- Редизайн на рабочем домене. Делайте его на стенде под паролем, а рабочий сайт не трогайте.
- Малоценные страницы. Noindex на сотнях страниц маскирует проблему структуры. Сначала решите, нужны ли они вообще.
- Защита данных. Ни noindex, ни robots.txt не закрывают доступ. Для личных данных нужен вход по паролю, Яндекс советует ответ 403.
Частые вопросы
Закроет ли robots.txt сайт от поиска?
Нет. Robots.txt запрещает обход, а не индексирование. Если на страницы ведут ссылки, их адреса могут остаться в выдаче без описания. Для удаления из поиска нужен noindex при открытом обходе или пароль.
Как быстро сайт пропадёт из выдачи?
Яндекс удаляет страницы из базы в течение недели после того, как робот увидит запрет. Google нужно повторно просканировать страницу, и это может занять месяцы. Ускорить помогут инструменты удаления в Вебмастере и Search Console.
Как закрыть от индексации только PDF-файлы?
Отдавайте для них HTTP-заголовок X-Robots-Tag: noindex. Его поддерживают и Google, и Яндекс. Если в файлах конфиденциальные данные, уберите их за авторизацию: заголовок не закрывает доступ.
Достаточно ли галочки в WordPress для тестового сайта?
Нет. Начиная с версии 5.3 галочка добавляет метатег noindex, nofollow, но доступ к сайту не ограничивает, и выполнять запрет решают поисковики. Тестовый сайт надёжнее закрыть паролем.
Как скрыть сайт из Google на время?
В инструменте удаления Search Console создайте временное удаление с префиксом всего сайта. Скрытие действует около шести месяцев, поэтому параллельно поставьте постоянный запрет: noindex, пароль или ответ 404 или 410.
Источники
- Google Search Central: блокировка индексирования с помощью noindex
- Google Search Central: как управлять тем, что вы показываете Google
- Google Search Central: введение в robots.txt и его ограничения
- Справка Search Console: инструмент удаления URL
- Яндекс Справка: метатег robots и HTTP-заголовок X-Robots-Tag
- Яндекс Справка: как удалить ненужные страницы из поиска
- MDN: заголовок X-Robots-Tag
- MDN: HTTP-аутентификация, коды 401 и 403
- Документация WordPress: экран настроек чтения и видимость для поисковиков