Сайт не индексируется в Яндексе: чек-лист причин и решений
Систематически проходим по причинам: robots.txt, noindex, sitemap, фильтры, технические ошибки. Что чинить и в каком порядке.
Симптом
- Страницы сайта не появляются в поиске Яндекса.
- В Яндекс.Вебмастере статус «Не проиндексировано» у большинства URL.
- В отчётах о покрытии виден низкий процент проиндексированных страниц.
- По запросу «сайт не индексируется в яндексе» в Google/Яндексе появляются только общие статьи, а конкретного ответа нет.
- При проверке URL через «Проверить как видит Яндекс» виден статус «Не проиндексировано» или «Заблокировано».
Причина
- robots.txt – запрещает сканирование нужных разделов.
- noindex – метатег или HTTP‑заголовок запрещает индексацию.
- Sitemap – отсутствует, неверно указан или содержит ошибки.
- Фильтры Яндекса – блокировка по IP, User‑Agent, гео‑фильтры.
- Технические ошибки – 5xx, 4xx, неправильные редиректы, дублирование контента, слишком медленное время ответа.
- Недостаток ссылочного веса – внутренние ссылки мало, внешние ссылки отсутствуют.
- Проблемы с кодировкой, UTF‑8, BOM – Яндекс не распознаёт страницу.
Как проверить
| Шаг | Команда / действие | Что искать |
|---|---|---|
| 1 | curl -I https://example.com/robots.txt |
Disallow: / для нужных каталогов? |
| 2 | curl -I https://example.com/page |
Заголовок X-Robots-Tag: noindex или метатег <meta name="robots" content="noindex"> |
| 3 | curl -I https://example.com/sitemap.xml |
Код ответа 200, MIME application/xml |
| 4 | В Яндекс.Вебмастере → «Покрытие» → «Проверить URL» | Статус 200, 404, 301/302, 5xx |
| 5 | ping -c 4 example.com |
Время отклика, наличие DNS‑результатов |
| 6 | wget --spider -r -l1 -nd -np -S https://example.com/ |
Проверка доступности всех страниц |
| 7 | curl -I https://example.com/page | grep -i content-type |
text/html; charset=utf-8 |
| 8 | https://search.yandex.ru/search?text=site%3Aexample.com |
Сколько страниц видит Яндекс? |
Решение
1. Исправить robots.txt
User-agent: *
Disallow: /admin/
Disallow: /tmp/
# Убедитесь, что главная часть сайта доступна
Allow: /
Проверьте через https://www.yandex.ru/robots.txt после публикации.
2. Удалить noindex
- В шаблоне страниц удалите
<meta name="robots" content="noindex">. - Если используется заголовок
X-Robots-Tag, уберите его из конфигурации сервера.
3. Создать и отправить sitemap
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/</loc>
<lastmod>2026-04-28</lastmod>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>
<!-- Добавьте остальные URL -->
</urlset>
Разместите файл в корне (https://example.com/sitemap.xml) и добавьте ссылку в robots.txt:
Sitemap: https://example.com/sitemap.xml
Отправьте URL в Яндекс.Вебмастере.
4. Проверить и исправить редиректы
- Убедитесь, что 301/302 ведут к существующим страницам.
- Не создавайте цепочки редиректов > 3 перехода.
5. Улучшить скорость и доступность
- Включите кеширование (E‑Tag, Cache‑Control).
- Используйте CDN, если сайт глобальный.
- Минимизируйте размер HTML, CSS, JS.
6. Увеличить внутреннюю ссылочную структуру
<nav>
<ul>
<li><a href="/category1/">Категория 1</a></li>
<li><a href="/category2/">Категория 2</a></li>
</ul>
</nav>
Добавьте ссылки в контент, чтобы Яндекс мог «поймать» все страницы.
7. Проверить кодировку
- В
<head>добавьте<meta charset="utf-8">. - Убедитесь, что файл не содержит BOM.
8. Отправить запрос на пересканирование
В Яндекс.Вебмастере → «Покрытие» → «Запросить пересканирование» для проблемных URL.
После выполнения всех пунктов подождите 1–2 недели, пока Яндекс обновит индексацию.
Связанные
Не хотите разбираться сами?
Запустите технический аудит сайта за 5 минут — получите PDF-отчёт с разбором всех 64 параметров и конкретными точками роста. Или закажите комплексное SEO-продвижение сайта — починим всё это и возьмём на себя дальнейшую оптимизацию.