Борьба с дублированым контентом

OnArs — Wed, 17 Mar 2010 10:02:44 +0000

Как избежать дубликатов в индексе поисковых систем – один из ключевых вопросов который мы слышали от вебмастеров и владельцев сайтов. За последние несколько лет мы добились значительных успехов в поиске дублированного контента, а так же дали веб-мастерам, лучшие инструменты для контроля за этим. Сегодня мы объявляем о нашей поддержке нового HTML тега, тега, который помогает снизить число дубликатов путем указания предпочтительного URL для определённой страницы.

При использовании тега , вы можете указать канонический URL для сканеров, который можно использовать для каждой страницы, независимо от того, каким образом эта страница была получена. Таким образом Вы укажете предпочтитетльный URL с содержанием, доступным поисковому роботу не зависимо от идентификатора сессии или прочих параметров (к примеру сортировка).

Укажите тег межу тегами и :

Это позволит устранить следующие дубликаты:

http://www.example.com/products?trackingid=feed
http://www.example.com/products?sessionid=hgjkeor2
http://www.example.com/products?printable=yes&trackingid=footer

Несколько технических деталей:

URL указаный в теге может быть указан как в абсолютной (http://www.example.com/products), так и в относительной (/products) форме, но мы рекомендуем использовать абсолютные пути, чтобы избежать вероятности ошибок.
Канонический URL в теге может указывать только на URL в пределах одного домена, а не между доменами. К примеру, тег на домене третьего уровня test.example.com может указывать на домен example.com, но не на домен yahoo.com или любой другой домен.
Тег рассматривается по аналогии с 301 редиректом, с точки зрения передачи свойств и прочих еффектов.
Мы будем использовать тег , как это предусмотрено, но также оставляем право использовать алгоритмические механизмы, чтобы избежать ситуаций, когда мы считаем, что тег используется не по назначению. Например, если указаный в теге URL не существует (возвращается некая ошибка), или если содержимое на исходной и целевой страницах существенно различны и достаточно уникальны, каноническая связь может считаться ошибочной и не будет учитываться.
В случаех когда URL А указывает на URL B, а URL B указывает на URL C – Мы используем имено URL C как канонический, а возможные бесконечные (круговые) цепи будут разорваны в любом случае.

В течение нескольких лет мы имели четкую политику в отношении обработки перенаправлений (301 и прочие редиректы), которая позволяет вам взять под свой контроль то как сканеры и браузеры перемещаются между страницами на вашем сайте. Yahoo Site Explorer – еще один полезный инструмент для устранения «ложных» динамических URL и устранения дублированного контента. Все, что вам нужно сделать, это подтвердить подлинность Вашего сайта в Yahoo Site Explorer, теперь это может быть сделано немедленно, после Вы сможете создать правило инлексирования для Ваших страниц. Преимущество такого подхода – не нужно сканировать дублированый контент для обнаружения тега и какнонических URL’ов. Тег также поддерживается другими поисковыми системами: Google и Microsoft.

При создании Вашего сайта Мы рекомендуем нормализировать URL’ы (использовать ЧПУ и не использовать динамические адреса страниц), свести к минимому дублированый контент и как можно реже использовать 301 редирект. Если без этого не обойтись, используйте Yahoo Site Explorer и/или тег. Мы начнём поддержку тега в течении нескольких месяцев. Наша поддержка тега будет осуществляться в течение ближайших нескольких месяцев. Сообщите нам, если у вас есть вопросы на нашем Site Explorer Suggestion Board.

Priyank Garg,
Директор по управлению продуктами,
Yahoo! Поиск

Оригинал статьи: http://www.ysearchblog.com/?p=850

Блог seonArs.ru » canonical

Борьба с дублированым контентом