Постраничный фильтр Яндекса

Симптом

• На отдельных страницах сайта появляется сообщение «Сайт подвержен фильтру» в Яндекс.Вебмастере.
• Страницы с фильтром не индексируются, а остальные страницы сайта работают нормально.
• В поисковой выдаче Яндекса страницы с фильтром показываются только как «неиндексируемые» (показывается «Не индексируется»).
• В логах сервера видны частые запросы от Яндекса к тем же URL‑адресам, но ответы имеют статус 403/404/410.
• В отчёте о штрафах Яндекса указано «Постраничный фильтр» без конкретного списка страниц.

Причина

Постраничный фильтр Яндекса – это механизм, который блокирует индексацию отдельных страниц, если они считаются «плохими» по определённым критериям (дублирование, низкое качество, спам, нарушение правил). Причины могут быть:

1. Дублирующий контент – страницы с почти одинаковым текстом, но разными URL (например, параметры ?page=2, ?sort=price).
2. Низкое качество контента – слишком короткие страницы, отсутствие уникального текста, чрезмерное использование ключевых слов.
3. Слишком много внутренних ссылок – страницы, которые ведут только на другие страницы с фильтром.
4. Проблемы с robots.txt или x-robots-tag – случайное запрещение индексации конкретных страниц.
5. Недопустимый контент – ссылки на спам, вредоносные скрипты, нарушения правил Яндекса.
6. Частые ошибки сервера – 5xx ответы на запросы к этим страницам.

Как проверить

1. Проверка в Яндекс.Вебмастере
   - Откройте раздел «Проблемы» → «Фильтр страниц».
   - Скопируйте список URL, отмеченных как «Фильтр».

2. Проверка дублирования
   bash wget -qO- https://example.com/page1 | md5sum wget -qO- https://example.com/page2 | md5sum
   Если хеши совпадают, контент дублируется.

3. Проверка качества контента
   - Посчитайте количество уникальных слов:
   bash wget -qO- https://example.com/page | tr -s '[:space:]' '\n' | sort | uniq | wc -l - Если уникальных слов < 200, страница может быть низкокачественной.

4. Проверка robots.txt
bash curl -s https://example.com/robots.txt Убедитесь, что в файле нет правил вида: Disallow: /page1

5. Проверка заголовка X-Robots-Tag
bash curl -I https://example.com/page1 | grep -i X-Robots-Tag Если встречается noindex, страница будет исключена из индекса.

6. Проверка логов сервера
   bash grep "YandexBot" /var/log/nginx/access.log | grep -v "200" | wc -l Высокое число 403/404/410 указывает на проблемы с доступностью.

7. Проверка на спам
   - Используйте сервисы проверки качества контента (например, Yandex Webmaster Tools → «Проверка качества»).

Решение

1. Устранить дублирование
   - Объедините дублирующие страницы в одну, используйте канонический тег:
   html <link rel="canonical" href="https://example.com/unique-page" /> - Перенаправьте старые URL на новую страницу (301).

2. Повысить качество контента
   - Добавьте уникальный, информативный текст (не менее 200 слов).
   - Удалите избыточные ключевые слова и спам.

3. Оптимизировать внутренние ссылки
   - Убедитесь, что каждая страница имеет хотя бы 3 внешних и 3 внутренних ссылки с релевантным анкором.

4. Проверить и исправить robots.txt
   - Удалите запрещающие правила для нужных страниц.
   - Пример корректного файла:
   txt User-agent: * Disallow:

5. Проверить заголовок X-Robots-Tag
   - Убедитесь, что в ответах нет noindex.
   - Если нужно исключить страницу из индекса, используйте noindex только там, где это оправдано.

6. Обновить страницы
   - После исправлений загрузите страницы в Яндекс.Вебмастер: «Проверить URL».
   - Подождите 1–2 дня, пока Яндекс пересканирует сайт.

7. Проверить на наличие ошибок сервера
   - Убедитесь, что сервер отвечает 200 на все запросы к страницам.
   - Если есть 5xx ошибки, исправьте конфигурацию сервера или скриптов.

8. Подать запрос на снятие фильтра
   - В разделе «Проблемы» → «Фильтр страниц» нажмите «Проверить снова».
   - Если все исправления выполнены, Яндекс автоматически снимет фильтр в течение 24–48 часов.

Связанные

• Как проверить и исправить дублирующий контент
• Проблемы с robots.txt и их решение