robots.txt блокирует важные разделы
Каталог, товары или статьи закрыты от поисковиков случайным Disallow. Как найти и починить безопасно.
Симптом
- В Search Console / Вебмастере страницы помечены «Заблокировано в robots.txt».
- В выдаче по
site:domain.ru/catalog/пусто. - Аудит показывает, что коммерческие разделы не индексируются.
Причина
В robots.txt есть Disallow:, который случайно перекрывает нужное.
Типичные ошибки:
Disallow: /catalog # закрывает /catalog/ и /catalog-test/
Disallow: /*? # закрывает все страницы с любыми GET-параметрами
Disallow: / # закрывает вообще весь сайт (катастрофа)
Как проверить
- Открыть
https://domain.ru/robots.txt. - Search Console → Инструмент проверки robots.txt — вставить URL, увидеть, какое правило его блокирует.
- Если своего инструмента нет — пройти по правилам глазами, найти то, которое матчит проблемный URL.
Решение
- Правильно оформлять пути:
# Плохо — блокирует /catalog/ и /catalog-categories/ Disallow: /catalog # Хорошо — только /catalog/ и его подпути Disallow: /catalog/test/ - Не закрывать целиком параметры — только конкретные:
# Плохо — закроет фильтры товаров с любым параметром Disallow: /*? # Хорошо — только сортировка, фильтры остаются Disallow: /*?sort= Disallow: /*?utm_ - После правки — отправить sitemap заново в SC и Я.Вебмастер, запросить переиндексацию для важных страниц.
Что закрывают обычно
/admin/,/wp-admin//cart/,/checkout//account/,/profile//search?(внутренний поиск)
Что НЕ нужно закрывать
- CSS и JS — Google рендерит страницу, ему нужно их видеть
/catalog/,/products/,/blog/— основной коммерческий и информационный трафик идёт туда- Пагинацию (
/page/2/) — проще черезnoindexв meta
Связанные
SEO КП · нужна помощь?
Не хотите разбираться сами?
Запустите технический аудит сайта за 5 минут — получите PDF-отчёт с разбором всех 64 параметров и конкретными точками роста. Или закажите комплексное SEO-продвижение сайта — починим всё это и возьмём на себя дальнейшую оптимизацию.