Сайт пропал из Яндекса полностью: алгоритм действий

Симптом

• В Яндекс.Вебмастере отсутствуют все URL вашего сайта (отсутствует вкладка «Страницы»).
• По поисковому запросу «site:вашдомен» в Яндексе ничего не возвращается.
• В Google Search Console тоже нет индексации (если сайт одновременно пропал).
• На сайте появляются ошибки 404/5xx при попытке открыть любую страницу.
• В логах сервера видны частые запросы от Яндекса с кодом 403/404/503.
• В панели управления хостингом отображается статус «сайт не доступен» или «сайт выключен».

Причина

1. Блокировка индексации
   - robots.txt запрещает доступ к всему сайту (Disallow: /).
   - Meta‑тег noindex на всех страницах.
   - HTTP‑заголовок X-Robots-Tag: noindex.

2. Доступность сервера
   - Сервер недоступен (выключен, перезагружается, IP‑блокировка).
   - Ограничение по IP Яндекса в файле .htaccess или настройках брандмауэра.
   - Превышение лимитов хостинга (дисковый лимит, лимит запросов).

3. Проблемы с DNS
   - Запись A/AAAA не указывает на правильный IP.
   - TTL слишком большой, но DNS не обновился после миграции.

4. Проблемы с SSL
   - Неверный сертификат, просроченный, несовместимый протокол.
   - Яндекс не может установить HTTPS‑соединение.

5. Проблемы с sitemap
   - sitemap.xml недоступен, содержит ошибки, или не указан в Яндекс.Вебмастере.
   - В sitemap указаны URL, которые не существуют (404).

6. Неправильные настройки HTTP‑заголовков
   - X-Frame-Options: DENY может блокировать сканирование.
   - Cache-Control: no-store может помешать кэшированию.

Как проверить

Решение

1. Разрешить индексацию

robots.txt

User-agent: *
Disallow:

Meta‑тег (если используется noindex на всех страницах, удалите его)

<meta name="robots" content="index,follow">

HTTP‑заголовок (если установлен X-Robots-Tag)

Header set X-Robots-Tag "index,follow"

2. Убедиться, что сервер доступен

• Перезапустите веб‑сервер (nginx, apache).
• Проверьте логи /var/log/nginx/error.log на наличие ошибок.
• Убедитесь, что IP вашего сервера открыт для Яндекса (проверьте файрвол).

3. Проверить DNS

dig вашдомен A
dig вашдомен AAAA

Если IP неверный, обновите запись в панели управления DNS.

4. Исправить SSL

• Установите актуальный сертификат (Let’s Encrypt, Cloudflare).
• Проверьте протоколы TLS (TLS 1.2/1.3).
• В nginx:

listen 443 ssl http2;
ssl_certificate /etc/ssl/certs/вашдомен.crt;
ssl_certificate_key /etc/ssl/private/вашдомен.key;
ssl_protocols TLSv1.2 TLSv1.3;

5. Обновить sitemap

• Сгенерируйте новый sitemap (например, через Yoast, Screaming Frog).
• Убедитесь, что все URL существуют и возвращают 200.
• В Яндекс.Вебмастере отправьте новый sitemap.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://вашдомен/</loc>
    <lastmod>2026-04-28</lastmod>
    <changefreq>daily</changefreq>
    <priority>1.0</priority>
  </url>
  <!-- остальные URL -->
</urlset>

6. Проверить HTTP‑заголовки

curl -I https://вашдомен/

Убедитесь, что нет X-Robots-Tag: noindex и Cache-Control: no-store не мешают.

7. Переиндексация в Яндекс

1. В Яндекс.Вебмастере откройте «Проверка URL» и введите корневой URL.
2. После успешной проверки нажмите «Запросить индексацию».
3. В разделе «Сайт» нажмите «Запросить индексацию всего сайта» (если доступно).
4. Подождите 24–48 ч, затем проверьте статус индексации.

Связанные

• Как проверить доступность сайта для поисковых роботов
• Проблемы с robots.txt: что делать, если сайт пропал из индекса