Аффилиаты: как Яндекс склеивает сайты с одним владельцем

Симптом

• В поисковой выдаче Яндекса при запросе, относящемся к одной компании, отображается один сайт вместо всех её доменов.
• На странице результатов виден только один URL, но в его содержимом присутствуют ссылки и контент с других сайтов‑собственников.
• При переходе по ссылке Яндекса вы видите страницу, где часть контента загружается из другого домена (например, через iframe, script, или просто копируется текст).
• Внутренние ссылки на сайте ведут на другие домены, но в выдаче они «объединены» в один результат.
• В отчёте о технических ошибках Яндекса (инструмент «Отчёт о проблемах») появляется сообщение о «склеивании сайтов» или «синхронизации контента».

Причина

Яндекс использует алгоритм, который группирует страницы, принадлежащие одному владельцу, чтобы избежать дублирования и повысить релевантность. Склейка происходит, когда:

1. Общие технические признаки
   - Один и тот же IP‑адрес, CDN, или серверный домен.
   - Общий набор файлов cookie, пользовательских данных, или shared‑storage.
   - Один и тот же веб‑сервер (Apache, Nginx) с одинаковыми настройками, включая одинаковые заголовки Server и X-Powered-By.

2. Общие метаданные
   - Один и тот же meta name="author" или meta name="copyright".
   - Один и тот же canonical URL, указывающий на один домен.
   - Один и тот же hreflang атрибут, связывающий все страницы как вариации одного ресурса.

3. Общий контент
   - Копирование текста, изображений, видео, или схемы навигации между сайтами.
   - Использование одинаковых шаблонов и CMS‑плагинов, которые автоматически вставляют одинаковый блок «О компании» или «Контакты».

4. Общие внешние ссылки
   - Один и тот же набор внешних ссылок, ведущих на другие сайты компании, но с разными URL‑параметрами.
   - Использование rel="canonical" в обратном направлении, указывающего на один домен.

Когда Яндекс видит эти признаки, он решает, что все эти сайты представляют один «источник» и объединяет их в один результат, чтобы не показывать дублирующий контент.

Как проверить

Пример команды для проверки заголовков:

curl -I https://example1.com
curl -I https://example2.com

Если в ответах одинаковые заголовки Server и X-Powered-By, это сигнал о схожести.

Решение

1. Разделить серверные настройки
   - Если сайты находятся на одном сервере, перенесите их на отдельные виртуальные хосты с разными IP‑адресами.
   - Установите уникальные заголовки Server и X-Powered-By для каждого домена.

2. Уникализировать метаданные
   - Удалите общие meta name="author" и canonical ссылки.
   - Добавьте уникальные meta теги для каждого сайта:

html <meta name="author" content="Компания А"> <link rel="canonical" href="https://example1.com/page1">

3. Разделить контент
   - Перепишите тексты, изображения и видео для каждого сайта.
   - Если используете CMS, создайте отдельные шаблоны без общих блоков «О компании».

4. Изменить внешние ссылки
   - Удалите rel="canonical" из ссылок, которые указывают на один домен.
   - Убедитесь, что каждая страница имеет собственный набор внешних ссылок.

5. Проверка после изменений
   - Отправьте обновлённые sitemap.xml в Яндекс.Вебмастер.
   - Используйте инструмент «Проверка URL» для каждой страницы, чтобы убедиться, что они индексируются отдельно.
   - Через 1–2 недели проверьте, что в выдаче отображаются все сайты.

6. Постоянный мониторинг
   - Настройте автоматический мониторинг IP‑адресов и заголовков.
   - Регулярно проверяйте метаданные и контент на наличие дублирования.

Связанные

• Как Яндекс обрабатывает duplicate content
• Проблемы с canonical URL в Яндексе