robots.txt блокирует важные разделы

Симптом

• В Search Console / Вебмастере страницы помечены «Заблокировано в robots.txt».
• В выдаче по site:domain.ru/catalog/ пусто.
• Аудит показывает, что коммерческие разделы не индексируются.

Причина

В robots.txt есть Disallow:, который случайно перекрывает нужное. Типичные ошибки:

Disallow: /catalog        # закрывает /catalog/ и /catalog-test/
Disallow: /*?             # закрывает все страницы с любыми GET-параметрами
Disallow: /               # закрывает вообще весь сайт (катастрофа)

Как проверить

1. Открыть https://domain.ru/robots.txt.
2. Search Console → Инструмент проверки robots.txt — вставить URL, увидеть, какое правило его блокирует.
3. Если своего инструмента нет — пройти по правилам глазами, найти то, которое матчит проблемный URL.

Решение

1. Правильно оформлять пути: # Плохо — блокирует /catalog/ и /catalog-categories/ Disallow: /catalog # Хорошо — только /catalog/ и его подпути Disallow: /catalog/test/
2. Не закрывать целиком параметры — только конкретные: # Плохо — закроет фильтры товаров с любым параметром Disallow: /*? # Хорошо — только сортировка, фильтры остаются Disallow: /*?sort= Disallow: /*?utm_
3. После правки — отправить sitemap заново в SC и Я.Вебмастер, запросить переиндексацию для важных страниц.

Что закрывают обычно

• /admin/, /wp-admin/
• /cart/, /checkout/
• /account/, /profile/
• /search? (внутренний поиск)

Что НЕ нужно закрывать

• CSS и JS — Google рендерит страницу, ему нужно их видеть
• /catalog/, /products/, /blog/ — основной коммерческий и информационный трафик идёт туда
• Пагинацию (/page/2/) — проще через noindex в meta

Связанные

• Страница не попадает в индекс
• Дубли страниц от GET-параметров