Я.Вебмастер: «исключена при обходе» — что делать

Симптом

• В Яндекс.Вебмастере в разделе «Индексация» строка «исключена при обходе» появляется рядом с URL‑адресом страницы.
• Страница не попадает в индекс, но не получает ошибку 404/500.
• В отчёте о статусе страницы указано «исключено при обходе» без дополнительного сообщения.
• При попытке открыть страницу через «Проверить URL» она загружается, но в отчёте остаётся статус «исключено при обходе».
• В логах сервера нет ошибок, но в Google Search Console может быть «Blocked by robots.txt» или «Crawl-delay».

Причина

1. robots.txt – директива Disallow или Noindex блокирует доступ к странице.
2. Meta‑тег noindex – страница содержит <meta name="robots" content="noindex">.
3. HTTP‑заголовок X-Robots-Tag: noindex – сервер посылает заголовок, запрещающий индексацию.
4. Crawl‑delay – слишком большое значение Crawl-delay в robots.txt заставляет Яндекс пропустить страницу.
5. Динамический контент – страница генерируется JavaScript, но Яндекс не видит её содержимое.
6. Проблемы с кэшированием – сервер отдаёт устаревший Cache-Control: no-store или Expires с нулевым сроком, что мешает кэшированию.

Как проверить

1. Проверка robots.txt
   bash curl -I https://example.com/robots.txt Ищите строки Disallow: и Crawl-delay:.

2. Проверка заголовков страницы
   bash curl -I https://example.com/page Обратите внимание на X-Robots-Tag.

3. Проверка meta‑тегов
   Откройте исходный код страницы и найдите
   html <meta name="robots" content="noindex">

4. Проверка JavaScript‑генерируемого контента
   Откройте страницу в браузере, нажмите F12 → Network → Reload → посмотрите, загружается ли контент после выполнения скриптов.

5. Проверка кэширования
   bash curl -I https://example.com/page Ищите Cache-Control и Expires.

Решение

1. robots.txt
   - Удалите или измените директиву Disallow для нужной страницы.
   txt User-agent: * Disallow: /private/ # Уберите строку, если нужно индексировать /private/page.html
   - Если нужен Crawl-delay, установите разумное значение (≤10).

2. Meta‑тег
   - Удалите <meta name="robots" content="noindex"> или замените на index.
   html <meta name="robots" content="index, follow">

3. HTTP‑заголовок
   - В конфигурации сервера (nginx, Apache) уберите X-Robots-Tag: noindex.
   nginx location /page { add_header X-Robots-Tag "index, follow"; }

4. JavaScript‑генерация
   - Если контент создаётся после загрузки, добавьте prerender или server‑side rendering.
   - В качестве временного решения можно использовать noscript‑блок с ключевыми данными.

5. Кэширование
   - Настройте корректные заголовки кэширования.
   nginx location /page { add_header Cache-Control "public, max-age=86400"; }

6. Переиндексация
   - После исправлений отправьте URL в Яндекс.Вебмастер через «Проверить URL» → «Запросить индексацию».
   - Подождите 24–48 ч, пока статус обновится.

Связанные

• robots.txt: как правильно настроить
• Проблемы с JavaScript‑генерируемыми страницами