Дубли страниц – подводные камни продвижения сайта

Многие вебмастера сталкиваются с таким понятием как «дубли страниц», которое означает наличие частично или полностью одинакового контента на разных адресах одного сайта. Такое явление приводит к потере ссылочного веса страниц, понижению позиций сайта в поисковой выдаче и, в худшем случае, наложению штрафных санкций в виде АГС. Поэтому своевременное выявление дублей страниц является одним из необходимых мероприятий по сео-оптимизации сайта.

Виды дублей и причины их появления

Все дубли страниц относятся к одной из двух категорий:

Полные или четкие
Страницы имеют полностью идентичное содержание, а различаются расширением URL-адресов, идентификаторами сессий и другими параметрами. Наиболее распространенными причинами возникновения полных дублей являются технические недоработки той или иной CMS, неправильно произведенный редизайн, смена движка или структуры сайта. Не исключается и человеческий фактор (ошибки вебмастера или администратора сайта).

Неполные или нечеткие
Частичное совпадение контента на различных страницах сайта может возникнуть в случае, если сквозные элементы страниц сайта (футер, хедер, сайдбар) по объему превышают основное содержимое. Чаще всего такая ситуация возникает со страницами описаний товаров в интернет-магазинах, галереях, страницах с анонсами статей или результатами поиска по сайту.

Чем опасны дубли страниц

При наличии на сайте страниц-дублей вебмастеру придется столкнуться с определенными проблемами при продвижении ресурса:

  • ухудшением индексации. Каждая страница сайта может иметь неограниченное число дублей. Если количество страниц ресурса исчисляется сотнями или тысячами, то можно себе представить общий объем работы, который нужно выполнить поисковым роботам;
  • изменением релевантных страниц. Поисковые системы не всегда могут определить исходную страницу и заменяют ее в поисковой выдаче клоном, в результате чего позиции сайта ухудшаются;
  • потерей ссылочного веса. При размещении пользователями естественных ссылок на страницы-дубли, их ценность для сайта теряется.

Проверка сайта на дубли страниц

Обнаружить внутренние дубли ресурса можно с помощью различных методов и инструментов:

Сервис Google Webmasters
В панели для вебмастеров от Google есть раздел «Оптимизация HTML», в котором можно увидеть повторяющиеся мета-описания и заголовки TITLE. Данный способ позволяет выявить только полные дубли.

Поисковая выдача
Частичные дубли можно обнаружить с помощью расширенного поиска. Для этого нужно взять отрывок текста проверяемой страницы и указать адрес сайта. Наличие нескольких сайтов в результатах выдачи говорит о наличии дублей. При этом не нужно проверять каждую страницу ресурса, достаточно проанализировать несколько страниц из различных групп (новости, статьи, категории, страницы товаров и т.д.).

Специальные программы
Одной из таких программ оптимизаторов является Xenu Link Sleuth. С ее помощью можно найти полные дубли страниц на больших интернет-ресурсах.

После того, как дубли были обнаружены, нужно проанализировать причины их появления и в зависимости от этого искать пути устранения. К основным методам удаления дублей относятся: указание канонического адреса страницы, использование 301 редиректа, запрет индексации отдельных страниц в файле robots.txt.