MoreSEOОб авторе

Поисковые роботы и краулеры: как они сканируют сайт

Как Googlebot и YandexBot загружают и рендерят страницы, кому важен краулинговый бюджет и как по логам и обратному DNS отличить робота от подделки.

Обновлено 14 ноября 2026
10 мин. чтения
Робот-паук идёт по паутине ссылок между карточками страниц

Поисковый робот, или краулер, это программа, которая обходит интернет: загружает страницу, находит на ней ссылки, ставит новые адреса в очередь и загружает их тоже. Собранные страницы поисковик обрабатывает, при необходимости выполняет JavaScript (рендерит) и решает, добавить ли их в индекс. У Google основной робот называется Googlebot, у Яндекса YandexBot. Кроме них у каждой системы десятки специализированных роботов: для картинок, видео, рекламы, проверки доступности.

Владелец сайта влияет на роботов тремя инструментами: robots.txt (куда ходить нельзя), sitemap (какие адреса важны) и качеством ответа сервера (как быстро и без ошибок отдаются страницы). Увидеть, что роботы делают на сайте, можно в отчётах Вебмастера и Search Console и в логах сервера.

**Коротко** - Googlebot загружает первые 2 МБ HTML и каждого CSS или JS-файла, у PDF первые 64 МБ. Лимит считается по несжатым данным, остальное робот не видит. - Большинство сайтов Google индексирует по мобильной версии, поэтому основная часть запросов идёт от Googlebot Smartphone. - Краулинговый бюджет по оценке Google важен для сайтов от 1 млн страниц с еженедельными изменениями или от 10 тыс. страниц с ежедневными. - Подлинный Googlebot проверяется обратным DNS: имя хоста на googlebot.com, google.com или googleusercontent.com. У Яндекса это yandex.ru, yandex.net или yandex.com. - Яндекс не публикует список IP своих роботов: они работают из автономных систем AS13238, AS208722 и AS212066.

Как страница проходит путь от ссылки до индекса

Четыре этапа: робот узнаёт об адресе (по ссылке или из sitemap), загружает его, при необходимости рендерит JavaScript и передаёт результат в индексирование. На каждом этапе страница может застрять, и причины разные.
  • Обнаружение. Адрес попадает в очередь из ссылок на других страницах, из sitemap.xml, из запроса в кабинете вебмастера.
  • Сканирование. Робот проверяет robots.txt, запрашивает страницу и получает код ответа. Редирект, 404 или 5xx останавливают путь здесь.
  • Рендеринг. Google выполняет JavaScript в отдельной очереди. Страница ждёт в ней несколько секунд, но может и дольше.
  • Индексирование. Поисковик разбирает содержимое, выбирает канонический адрес среди дублей и решает, достойна ли страница места в индексе. Как дальше определяется порядок в выдаче, разбираем в статье про ранжирование.
Путь страницы от ссылки до индекса Четыре этапа: обнаружение, сканирование, рендеринг, индексирование. Под каждым этапом указано, что может остановить страницу: нет ссылок и sitemap, запрет в robots.txt или ошибка сервера, noindex или закрытые скрипты, дубли и низкое качество. Обнаружение Сканирование Рендеринг Индексирование ссылки, sitemap запрос, код ответа JavaScript canonical, качество Где страница застревает Нет входящих ссылок Адреса нет в sitemap Disallow в robots.txt Ответ 5xx, 404 или редирект HTML больше 2 МБ noindex в исходном HTML CSS и JS закрыты Контент только после скриптов Дубль, выбран другой адрес Мало пользы для поиска
Схема пути страницы: обнаружение по ссылке или sitemap, сканирование с проверкой robots.txt, рендеринг JavaScript, индексирование; под каждым этапом причины, по которым страница застревает

Схема: четыре этапа и что ломается на каждом.

Если страница не появляется в поиске, сначала определите, на каком этапе она остановилась. «Не просканирована» и «просканирована, но не проиндексирована» лечатся по-разному: первое вопрос доступности и ссылок, второе вопрос качества и дублей. Пошаговый разбор в статье про индексацию сайта.

Какие роботы есть у Google

Основной робот Googlebot работает в двух вариантах: Smartphone и Desktop. Рядом с ним роботы для картинок, видео, новостей и товаров, а также служебные: инструмент проверки URL и GoogleOther для внутренних задач.
Робот Для чего Что важно знать
Googlebot Smartphone и Googlebot Desktop Сканирование для Google Поиска Один токен в robots.txt: закрыть только мобильного или только десктопного робота нельзя. Различить их можно по заголовку User-Agent
Googlebot Image, Video, News Картинки, видео, новости Блокировка Googlebot затрагивает Поиск, Discover, Картинки, Видео и Новости
Google StoreBot Страницы товаров, корзины, оформления заказа Относится к общим краулерам Google
Google-InspectionTool Проверка URL в Search Console и проверка расширенных результатов Его визиты в логах это ваши ручные проверки
GoogleOther Сканирование для внутренних задач Google, не для Поиска Можно закрыть отдельно, на Поиск это не влияет
Google-Extended Не робот, а токен: можно ли использовать контент для обучения Gemini Google: не влияет на попадание в Поиск и ранжирование

Лимиты Googlebot по текущей документации: первые 2 МБ поддерживаемого файла и первые 64 МБ PDF. Каждый ресурс страницы (CSS, JS) загружается отдельно с тем же лимитом 2 МБ. Всё, что за пределом, в индексирование не попадает. Для обычной страницы это огромный запас, но страница каталога с тысячами товаров, встроенными в HTML данными и инлайновыми картинками в base64 может его превысить.

Частота визитов: Google пишет, что для большинства сайтов Googlebot заходит в среднем не чаще одного раза в несколько секунд. Короткие всплески бывают, это нормально.

Какие роботы есть у Яндекса

Основной индексирующий робот YandexBot. Отдельные роботы есть у Картинок, Видео, Маркета, Метрики, Директа и Бизнеса. Часть из них не читает общие правила для *, а некоторые не используют robots.txt вовсе.

Справка Яндекса перечисляет больше 40 агентов. Тех, что чаще всего видны в логах обычного сайта:

  • YandexBot главный индексирующий робот, соблюдает robots.txt.
  • YandexImages и YandexVideo индексируют картинки и видео.
  • YandexRenderResourcesBot загружает ресурсы для рендеринга JavaScript. Он игнорирует robots.txt, если HTML-страница, которая их использует, доступна Яндексу.
  • YandexMetrika несколько версий: проверка доступности страниц, кэширование CSS для Вебвизора. Часть из них robots.txt не использует.
  • YandexAccessibilityBot проверяет доступность страниц для пользователей, не чаще трёх запросов в секунду.
  • YandexAdditional не делает запросов: это имя для правил, ограничивающих показ контента в быстрых ответах с YandexGPT.

Важная деталь для настройки robots.txt: многие роботы Яндекса помечены в справке как не следующие общим правилам. Если хотите ограничить их, указывайте нужный User-agent по имени. Сравнение самих поисковиков есть в статье про поисковые системы.

Что такое рендеринг и почему он задерживает индексацию

Рендеринг это выполнение JavaScript, чтобы увидеть страницу такой, какой её видит браузер. Google делает это в отдельной очереди на актуальной версии Chromium. Контент, который появляется только после выполнения скриптов, индексируется позже и с риском.

Что следует из документации Google по JavaScript:

  • Если исходный HTML содержит noindex, Google может вообще не выполнять JavaScript. Убрать noindex скриптом не получится.
  • Страницы с кодом ошибки, например 404, могут не рендериться.
  • Если CSS и JS закрыты в robots.txt, робот видит страницу не так, как пользователь.

Самый надёжный вариант для важного контента: серверный рендеринг или предварительная генерация HTML. Тогда текст и ссылки есть уже в первом ответе сервера, и этап рендеринга не критичен. Скорость ответа сервера тоже влияет на обход, подробнее в статье про скорость загрузки сайта.

Что такое краулинговый бюджет и кому о нём думать

Это набор адресов, которые поисковик может и хочет просканировать за определённое время. Он складывается из лимита нагрузки на сервер и спроса на обход. По оценке Google, думать о нём стоит сайтам от 10 тыс. страниц с ежедневными изменениями или от 1 млн с еженедельными.

Две составляющие по документации Google:

  • Лимит пропускной способности. Сайт отвечает быстро и без ошибок: лимит растёт. Сайт тормозит, отдаёт 5xx или 429: Google снижает частоту запросов.
  • Спрос на обход. Зависит от числа известных адресов, популярности страниц и того, как часто они меняются. Без подсказок Google пытается обойти все известные ему адреса, включая дубли.

Что съедает бюджет на практике: фильтры и сортировки, порождающие миллионы комбинаций адресов; цепочки редиректов; «мягкие» 404, когда пустая страница отвечает 200; бесконечные календари и пагинация.

Что Когда подходит Чем платите Почему важно
Disallow в robots.txt для мусорных параметров Фильтры, сортировки, внутренний поиск Закрытые адреса не передают сигналы, страница может остаться в индексе без описания Робот перестаёт тратить запросы на дубли
Canonical и Clean-param Дубли с метками и параметрами, которые должны склеиться Робот всё равно загружает адреса, экономия меньше Сигналы переходят на основной адрес
404 или 410 для удалённых страниц Товар снят навсегда, раздел удалён Адрес уходит из поиска Google реже возвращается к таким адресам
Ответ 304 Not Modified Крупные сайты с редкими изменениями страниц Нужна поддержка на сервере Робот не скачивает заново неизменённую страницу

Чего делать не стоит. Noindex не экономит бюджет: Google всё равно запрашивает страницу и только потом её отбрасывает. И не закрывайте разделы в robots.txt временно, надеясь «перекинуть» обход на другие страницы: Google пишет, что освободившийся бюджет перераспределится, только если сайт и так упирается в лимит нагрузки. У Яндекса скорость обхода регулируется отдельно: «Индексирование → Скорость обхода» в Вебмастере, значение там считается рекомендацией для робота.

Где посмотреть, что роботы делают на сайте

В Яндекс Вебмастере это отчёт «Индексирование → Статистика обхода», в Search Console отчёт «Статистика сканирования» в настройках. Самую полную картину дают логи сервера.

В Вебмастере отчёт показывает, сколько страниц робот обошёл с разбивкой по кодам ответа, список адресов с датой последнего обхода (до 50 000 страниц) и изменения кодов ответа. Данные обновляются ежедневно, в течение шести часов после визита робота.

Отчёт «Статистика сканирования» в Google Search Console: 841 запрос за 90 дней, распределение по ответу и по типу файла

Search Console → «Настройки» → «Статистика сканирования» для tools.seoxl.ru, 14.11.2026: 841 запрос Googlebot за 90 дней, 92% ответов 200, 5% 404, 56% запросов к HTML. Аналогичный отчёт Вебмастера «Статистика обхода» в тот день был недоступен из-за технических работ Яндекса. В Search Console «Статистика сканирования» показывает число запросов, объём загруженных данных и среднее время ответа. Как подключить сам кабинет, описано в статье про Google Search Console. Для собственного аудита можно запустить и свой краулер, например Screaming Frog: он обходит сайт так же, как поисковый робот, и показывает, какие страницы недоступны по ссылкам.

Как проверить, что в логах настоящий Googlebot или YandexBot

Заголовок User-Agent легко подделать, поэтому проверяют IP: обратный DNS-запрос должен вернуть имя на домене поисковика, а прямой запрос по этому имени тот же IP. Google дополнительно публикует списки IP в JSON.

Шаг 1. Найдите в логе запросы робота. Строка в формате Nginx выглядит примерно так:

66.249.66.1 - - [14/Nov/2026:10:02:11 +0300] "GET /catalog/ HTTP/1.1" 200 51234 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) ... (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Шаг 2. Обратный запрос по IP.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

Шаг 3. Прямой запрос по имени.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

IP совпал, имя на googlebot.com: робот настоящий.

Проверка подлинности поискового робота по DNS Взять IP из лога, сделать обратный DNS-запрос, проверить домен имени хоста, сделать прямой DNS-запрос и сравнить IP. Если домен чужой или IP не совпал, запрос поддельный. 1. IP из лога 66.249.66.1 User-Agent: Googlebot 2. Обратный DNS host 66.249.66.1 crawl-66-249-66-1 .googlebot.com 3. Домен googlebot.com google.com yandex.ru, .net, .com 4. Прямой DNS host по имени вернул тот же IP? Да Робот настоящий, не блокировать Чужой домен или другой IP Это парсер с подставленным User-Agent. Его можно ограничить на сервере без риска для индексации. Google дополнительно публикует IP в JSON, Яндекс нет.
Схема проверки робота: IP из лога, обратный DNS-запрос, проверка домена, прямой DNS-запрос, сравнение IP; при несовпадении запрос поддельный

Схема: четыре шага проверки подлинности робота.

Поисковик Допустимые домены в обратном DNS Списки IP
Google googlebot.com, google.com, googleusercontent.com Публикуются в JSON: common-crawlers.json для Googlebot, special-crawlers.json для AdsBot и других, отдельные файлы для запросов по действиям пользователей
Яндекс yandex.ru, yandex.net, yandex.com Не публикуются: адреса часто меняются, роботы работают из AS13238, AS208722 и AS212066. В Вебмастере есть инструмент проверки IP

Если имя хоста на другом домене или прямой запрос вернул другой IP, это не робот поисковика, а парсер с подставленным User-Agent. Такие запросы можно ограничивать на сервере без риска для индексации. То же правило касается ИИ-ботов: OpenAI и Perplexity публикуют IP своих роботов в JSON-файлах (ссылки в источниках).

Наши данные: как ищут роботов

Методика: точные частоты запросов темы в Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026.

  • Тема собирает 614 запросов в месяц: «краулер», «веб краулер», «googlebot».
  • Это больше, чем у темы robots.txt (394) в 1,56 раза, но меньше, чем у темы sitemap (1 064).
  • Три темы технического обхода вместе дают 2 072 запроса, на роботов приходится 29,6%.

Что из этого следует: о роботах чаще спрашивают через англоязычный термин и название конкретного робота Google, а не «поисковый робот Яндекса». Поэтому мы начали статью с определения и дали отдельный раздел про проверку Googlebot по логам: это задача, с которой человек приходит после того, как увидел имя робота в логе.

Кому не нужно разбираться глубже

  • Сайт до нескольких тысяч страниц без фильтров. Краулинговый бюджет не ваша проблема. Если страницы не индексируются, причина почти всегда в качестве или дублях.
  • Сайт на конструкторе. Логи сервера обычно недоступны; хватит отчётов Вебмастера и Search Console.
  • Нет признаков подделки. Проверять каждого Googlebot в логах незачем, это нужно при подозрительной нагрузке или перед блокировкой по IP.

Частые вопросы

Чем поисковый робот отличается от парсера?

Технически ничем: все они автоматически ходят по ссылкам и загружают страницы. Разница в цели и правилах. Поисковый робот собирает страницы для индекса, соблюдает robots.txt и подтверждается обратным DNS. SEO-программы вроде Screaming Frog обходят сайт для аудита, парсеры собирают данные и часто подделывают User-Agent.

Как часто Googlebot заходит на сайт?

Google пишет, что для большинства сайтов в среднем не чаще одного раза в несколько секунд. Частота зависит от размера сайта, скорости ответа и того, как часто меняются страницы.

Можно ли попросить робота зайти на страницу?

Да. В Search Console это «Запросить индексирование» в инструменте проверки URL, в Яндекс Вебмастере «Переобход страниц». Оба инструмента ставят адрес в очередь, но не гарантируют индексацию.

Как снизить нагрузку от роботов на сервер?

Для Яндекса установите скорость вручную в «Индексирование → Скорость обхода». Google снижает частоту сам, если сайт отвечает 5xx или 429. Закрывать робота через 401 или 403 Google не рекомендует.

Видит ли робот контент, который загружается скриптом?

Google видит после рендеринга, но позже и не всегда: если в исходном HTML стоит noindex, скрипты могут не выполниться. Важный текст и ссылки надёжнее отдавать в HTML сразу.

Источники

Частный SEO-специалист. Пишу про поиск и нейропоиск, а цифры беру из Wordstat и первоисточников.

Читайте также

© MoreSEO, Алексей Демкин · все статьи