Борьба с дублями страниц
Владелец может и не подозревать, что на его сайте некоторые страницы имеют копии – чаще всего так и бывает. Страницы открываются, с их содержимым все в порядке, но если только обратить внимание на , то можно заметить, что при одном и том же контенте адреса разные. Что это значит? Для живых пользователей ровным счетом ничего, так как им интересна информация на страницах, а вот бездушные поисковые машины воспринимают такое явление совершенно по-другому – для них это совершенно разные страницы с одинаковым контентом.
Вредны ли дубли страниц? Итак, если рядовой пользователь даже не сможет заметить наличие дублей на вашем сайте, то поисковики это сразу определят. Какой реакции от них ждать? Так как по сути копии видят как разные страницы, то контент на них перестает быть уникальным. А это уже негативным образом сказывается на ранжировании.
Также наличие дублей размывает , который оптимизатор пытался сосредоточить на целевой странице. Из-за дублей, он может оказаться совсем не на той странице, на которую его хотели перенести. То есть эффект от внутренней перелинковки и внешних ссылок может многократно снизиться.
В подавляющем большинстве случаев в возникновении дублей виноваты – из-за неправильных настроек и отсутствия должного внимания оптимизатора генерируются четкие копии. Этим грешат многие CMS, например, Joomla. Для решения проблемы трудно подобрать универсальный рецепт, но можно попробовать воспользоваться одним из плагинов для удаления копий.
Возникновение же нечетких дублей, в которых содержимое не полностью идентично, обычно происходит по вине вебмастера. Такие страницы часто встречаются на сайтах интернет-магазинов, где страницы с карточками товаров отличаются лишь несколькими предложениями с описанием, а весь остальной контент, состоящий из сквозных блоков и прочих элементов, одинаковый.
Многие специалисты утверждают, что небольшое количество дублей не повредит сайту, но если их больше 40-50%, то ресурс при продвижении могут ждать серьезные трудности. В любом случае, даже если копий не так много, стоит заняться их устранением, так вы гарантированно избавитесь от проблем с дублями.
Поиск страниц-копий Существует несколько способов поиска дублированных страниц, но для начала стоит обратиться к нескольким поисковикам и посмотреть, как они видят ваш сайт – нужно лишь сравнить количество страниц в индексе каждого. Сделать это довольно просто, не прибегая ни к каким дополнительным средствам: в «Яндексе» или Google достаточно в строку поиска ввести host:yoursite.ru и посмотреть на количество результатов.
Если после такой простой проверки количество будет сильно отличаться, в 10-20 раз, то это с некоторой долей вероятности может говорить о содержании дублей в одной из них. Страницы-копии могут быть и не виноваты в такой разнице, но тем не менее это дает повод для дальнейшего более тщательного поиска. Если же сайт небольшой, то можно вручную посчитать количество реальных страниц и потом сравнить с показателями из поисковых систем.
Искать дублированные страницы можно по URL в выдаче поисковика. Если у них должны быть ЧПУ, то страницы с URL из непонятных символов, вроде «index.php?s=0f6b2903d», будут сразу выбиваться из общего списка.
Еще один способ определения наличия дублей средствами поисковых систем – это поиск по фрагментам текста. Процедура такой проверки проста: надо ввести фрагмент текста из 10-15 слов с каждой страницы в строку поиска, а затем проанализировать результат. Если в выдаче будет две и более страниц, то копии есть, если же результат будет всего один, то дублей у данной страницы нет, и можно не волноваться.
Логично, что если сайт состоит из большого количества страниц, то такая проверка может превратиться в невыполнимую рутину для оптимизатора. Чтобы минимизировать временные затраты, можно воспользоваться специальными программами. Один из таких инструментов, который наверняка знаком опытным специалистам, – программа Xenu`s Link Sleuth .
Чтобы проверить сайт, необходимо открыть новый проект, выбрав в меню «File» «Check URL», ввести адрес и нажать «OK». После этого программа начнет обработку всех URL сайта. По окончании проверки нужно экспортировать полученные данные в любой удобный редактор и начать поиски дублей.
Кроме вышеперечисленных способов в инструментарии панелей «Яндекс.Вебмастер» и Google Webmaster Tools есть средства для проверки индексации страниц, которыми можно воспользоваться для поиска дублей.
Методы решения проблемы После того как все дубли будут найдены, потребуется их устранение. Это тоже можно сделать несколькими способами, но для каждого конкретного случая нужен свой метод, не исключено, что придется использовать их все.
- Страницы-копии можно удалять вручную, но такой способ скорее подойдет только для тех дублей, которые и были созданы ручным способом по неосмотрительности вебмастера.
- Редирект 301 отлично подходит для склеивания страниц-копий, URL которых отличаются наличием и отсутствием www.
- Решение проблемы с дублями с помощью тега canonical можно применять для нечетких копий. Например, для категорий товаров в интернет-магазине, которые имеют дубли, отличающиеся сортировкой по различным параметрам. Также canonical подойдет для версий страниц для печати и в других подобных случаях. Применяется он довольно просто – для всех копий указывается атрибут rel=”canonical”, а для основной страницы, которая наиболее релевантна, – нет. Код должен выглядеть примерно так: link rel="canonical" href="http://yoursite.ru/stranica-kopiya"/, и стоять в пределах тега head.
- В борьбе с дублями может помочь настройка файла robots.txt. Директива Disallow позволит закрыть доступ к дублям для поисковых роботов. Подробнее о синтаксисе этого файла вы можете прочитать в нашей рассылки.
Поводом для написания этой статьи стал очередной звонок бухгалтера с паникой перед сдачей отчетности по НДС. В прошлом квартале потратил много времени на уборку дублей контрагентов. И вновь они, те же самые и новые. Откуда?
Решил потратить время, и разобраться с причиной, а не следствием. Ситуация с основном актуальна при настроенных автоматических выгрузках через планы обмена из управляющей программы (в моем случае УТ 10.3) в бухгалтерию предприятия (в моем случае 2.0).
Несколько лет тому назад были установлены эти конфигурации, и настроен автоматический обмен между ними. Столкнулись с проблемой своеобразности ведения справочника контрагентов отделом продаж, которые начали заводить дубли контрагентов (с тем же ИНН/КПП/Наименованием) по тем или иным причинам (одного и того же контрагента они раскидывали по разным группам). Бухгалтерия высказала свое "фи", и постановила - нам не важно, что там у них, объединяйте карточки при загрузке в одну. Пришлось вмешаться в процесс переноса объектов правилами обмена. Убрали для контрагентов поиск по внутреннему идентификатору, и оставили поиск по ИНН+КПП+Наименование. Однако и тут всплыли свои подводные камни в виде любителей переименовывать наименования контрагентов (в результате создаются дубли в БП уже самими правилами). Собрались все вместе, обсудили, решили, убедили, что в УТ у нас дубли недопустимы, убрали их, вернулись к стандартным правилам.
Вот только после "причесывания" дублей в УТ и в БП - внутренние идентификаторы у многих контрагентов различались. А так как типовые правила обмена осуществляют поиск объектов исключительно по внутреннему идентификатору, то с очередной порцией документов в БП прилетал и новый дубль контрагента (в случае, если эти идентификаторы различались). Но универсальный обмен данными XML не был бы универсальным, если бы эту проблему обойти было невозможно. Т.к. идентификатор существующего объекта штатными средствами изменить невозможно, то можно обойти эту ситуацию при помощи специального регистра сведений "Соответствие объектов для обмена", который имеется во всех типовых конфигурациях от 1С.
Для того, чтобы не возникало новых дублей алгоритм уборки дублей стал следующим:
1. В БП при помощи обработки "Поиск и замена дублирующихся элементов" (она типовая, ее можно взять из конфигурации Управление торговлей или на диске ИТС, либо выбрать наиболее подходящую среди множества вариаций на самом Инфостарте) нахожу дубль, определяю верный элемент, нажимаю выполнить замену.
2. Получаю внутренний идентификатор единственного (после замены) объекта нашего дубля (набросал специально простенькую обработку для этого, чтобы внутренний идентификатор автоматически копировался в буфер обмена).
3. Открываю в УТ регистр "Соответствие объектов для обмена", делаю отбор по собственной ссылке.
Довольно часто на одном и том же сайте существуют копии страниц, причем его владелец об этом может и не догадываться. При их открытии все отображается правильно, но если вы бросите взгляд на адрес сайта, тогда сможете заметить, что одному и тому же содержанию могут соответствовать различные адреса.
Что это означает? Для простых пользователей в Москве ничего, поскольку они пришли на ваш сайт не на названия страниц смотреть, а потому что их заинтересовал контент. А вот о поисковых машинах этого сказать нельзя, поскольку они такое положение вещей воспринимают совсем в другом свете - они видят отличные друг от друга страницы с одинаковым содержанием.
Если обычные пользователи могут и не заметить на сайте продублированные страницы, от внимания поисковиков это точно не ускользнет. К чему это может привести? Поисковые роботы определят копии как разные страницы, в результате они перестанут воспринимать их контент как уникальный. Если вас интересует продвижение сайта , то знайте, что на ранжировании это непременно отразится. К тому же наличие дублей снизит ссылочный вес, появившийся в результате немалых усилий оптимизатора, который пытался выделить целевую страницу. Дублирование страниц может привести к тому, что будет выделена совершенно иная часть сайта. А это может в разы снизить эффективность внешних ссылок и внутренней перелинковки .
Могут ли дубли страниц принести вред?
Зачастую виновником появления дублей является CMS , неправильные настройки которых или недостаток внимания оптимизатора может привести к генерированию четких копий. Такие системы по управлению сайтами, как Joomla часто этим грешат. Сразу отметим, что универсального средства для борьбы с этим явлением просто не существует, но можно установить один из плагинов, предназначенный для поиска и удаления копий. Однако могут появиться нечеткие дубли, содержимое которых не полностью совпадает. Это чаще всего случается из-за недоработок вебмастера. Нередко такие страницы можно найти в интернет-магазинах , в которых карточки товаров отличаются только несколькими предложениями описания, остальной же контент, который состоит из различных элементов и сквозных блоков, является одинаковым. Часто специалисты соглашаются, что некоторое количество дублей не помешает сайту, но если их около половины или больше, тогда продвижение ресурса вызовет немало проблем. Но даже в тех случаях, когда на сайте несколько копий, лучше их отыскать и устранить - так вы наверняка избавитесь от дублей на своем ресурсе.
Поиск дублированных страниц
Найти дублированные страницы можно несколькими способами. Но перед самим поиском было бы хорошо посмотреть на свой сайт глазами поисковиков: как они его себе представляют. Для этого просто сравните количество ваших страниц с теми, которые находятся в их индексе. Чтобы это увидеть, просто введите в поисковую строку Google либо «Яндекса» фразу host:yoursite.ru, после чего оцените результаты.
Если такая простая проверка предоставит различные данные, которые могут отличаться в 10 и более раз, то есть основания полагать, что ваш электронный ресурс содержит дубли. Хотя это и не всегда происходит по вине дублированных страниц, но эта проверка послужит хорошим основанием для их поиска. Если ваш сайт имеет небольшие размеры, тогда вы можете самостоятельно подсчитать число реальных страниц, после чего сравнить результат с показателями поисковиков. Произвести поиск дубликатов можно и посредством URL, которые предлагаются в поисковой выдаче. Если вы используете ЧПУ, тогда страницы с непонятными символами в URL, такие как «index.php?с=0f6b3953d», сразу же привлекут ваше внимание.
Другим методом определения наличия дублей является поиск фрагментов текста. Чтобы выполнить такую проверку, необходимо ввести текст из нескольких слов каждой страницы в поисковую строку, потом просто проанализировать полученный результат. В тех случаях, когда в выдачу попадает две или больше страниц, становится очевидным, что копии имеют место быть. Если же страница в выдаче только одна, тогда она не имеет дубликатов. Конечно, эта методика проверки подойдет только для небольшого сайта, состоящего из нескольких страниц. Когда сайт содержит их сотни, его оптимизатор может использовать специальные программы, например, Xenu`s Link Sleuth.
Для проверки сайта откройте новый проект и зайдите в меню «File», там найдите «Check URL», введите адрес интересующего вас сайта и нажмите «OK». Теперь программа приступит к обработке всех URL указанного ресурса. Когда работа будет выполнена, полученную информацию нужно будет открыть в любом удобном редакторе и произвести поиск дублей. На этом методы поиска дублированных страниц не заканчиваются: в панели инструментов Google Webmaster и «Яндекс.Вебмастер» можно увидеть средства, позволяющие проверить индексацию страниц. С их помощью тоже можно найти дубли.
На пути решения проблемы
Когда вы найдете все дубли, перед вам появится задача устранить их. Существует несколько возможностей решения этой проблемы и различные способы устранения дубликатов страниц.
Склеивание страниц-копий можно произвести с помощью редиректа 301. Это действенно в тех случаях, когда URL отличаются отсутствием или наличием www. Удалить страницы-копии можно и в ручном режиме, но этот метод успешен лишь для тех дублей, которые создавались вручную.
Решить проблему дублей можно при помощи тега canonical, который используется для нечетких копий. Так, его можно использовать в интернет-магазине для категорий товаров, для которых имеются дубли и которые отличаются лишь сортировкой по разным параметрам. К тому же тег canonical подходит для использования на страницах для печати и в аналогичных случаях. Использовать его совсем не сложно - для каждой копии задается атрибут в виде rel=”canonical”, для продвигаемой страницы с наиболее релевантными характеристиками, этот атрибут не указывается. Приблизительный вид кода: link rel="canonical" href="http://site.ru/stranica-kopiya"/. Располагаться он должен в области тега head.
Правильно настроенный файл robots.txt тоже позволит достичь успеха в борьбе с дублями. С помощью директивы Disallow вы можете перекрыть доступ поисковых роботов ко всем дублированным страницам.
Даже профессиональная разработка сайта не поможет вывести его в ТОП, если ресурс будет содержать дублированные страницы. На сегодняшний день страницы-копии являются одним из часто встречающихся подводных камней, от которых страдают новички. Их большое количество на вашем сайте создаст значительные трудности по выведению его в ТОП, а то и вовсе сделают его невозможным.
Всем привет! В прошлой статье мы затронули важную тему — поиск дублей страниц сайта . Как показали комментарии и несколько пришедших мне на почту писем, эта тема актуальна. Дублированный контент на наших блогах, технические огрехи CMS и различные косяки шаблонов не дают нашим ресурсам полной свободы в поисковых системах. Поэтому нам приходится с ними серьезно бороться. В этой статье мы узнаем как можно убрать дубли страниц любого сайта, примеры этого руководства покажут как от них можно избавиться простым способом. От нас просто требуется использовать полученные знания и следить за последующими изменениями в индексах поисковиков.
Моя история борьбы с дублями
Перед тем, как мы займемся рассмотрением способов устранения дубликатов, я расскажу свою историю борьбы с дублями.
Два года назад (25 мая 2012 года) я получил в свое распоряжение учебный блог на курсах se0-специалиста. Он мне был дан для того, чтобы во время учебы практиковать полученные знания. В итоге за два месяца практики я успел наплодить пару страниц, десяток постов, кучу меток и вагон дублей. К этому составу в индекс Google в последующие полгода, когда учебный блог стал моим личным сайтом, прибавились и другие дубликаты. Это получилось по вине replytocom из-за растущего число комментариев. А вот в базе данных Яндекса количество проиндексированных страниц росло постепенно.
В начале 2013 года я заметил конкретное проседание позиций моего блога в Гугле. Тогда то я и задумался, почему так происходит. В итоге докопался до того, что обнаружил большое число дублей в этом поисковике. Конечно, я стал искать варианты их устранения. Но мои поиски информации ни к чему не привели — толковых мануалов в сети по удалению дублей страниц я не обнаружил. Но зато смог увидеть одну заметку на одном блоге о том, как можно с помощью файла robots.txt удалить дубликаты из индекса.
Первым делом я написал кучу запрещающих директив для Яндекса и Гугла по запрету сканирования определенных дублированных страниц. Потом, в середине лета 2013 года использовал один метод удаления дублей из индекса Goоgle (о нем Вы узнаете в этой статье). К тому времени в индексе этой поисковой системы накопилось более 6 000 дублей! И это имея на своем блоге всего пятерку страниц и более 120-ти постов…
После того, как я реализовал свой метод удаления дублей, число их стало стремительно уменьшаться. В начале этого года я использовал еще один вариант удаления дубликатов для ускорения процесса (о нем Вы тоже узнаете). И сейчас на моем блоге число страниц в индексе Гугла приближается к идеальному — на сегодняшний день в базе данных находится около 600 страниц. Это в 10 раз меньше, чем было раньше!
Как убрать дубли страниц — основные методы
Существует несколько различных способов борьбы с дублями. Одни варианты позволяют запретить появление новых дубликатов, другие могут избавиться от старых. Конечно, самый лучший вариант — это ручной. Но для его реализации нужно отлично разбираться в CMS своего сайта и знать работу алгоритмов поисковой системы . Но и другие методы тоже хороши и не требуют специализированных знаний. О них мы сейчас и поговорим.
Данный способ считается самым эффективным, но и самым требовательным к знанию программирования. Дело в том, что здесь прописываются нужные правила в файле.htaccess (находиться в корне директории сайта). И если они прописываются с ошибкой, то можно не только не решить поставленную задачу удаления дублей, но и вообще убрать весь сайт из Интернета.
Как же решается задачка удаления дублей с помощью 301-го редиректа? В основу его лежит понятие переадресации поисковых роботов с одной страницы (с дубля) на другую (оригинальную). То есть робот приходит на дубликат какой-то страницы и и с помощью редиректа появляется на нужном нам оригинальном документе сайта. Его то он и начинает изучать, пропуская дубль вне поля своего зрения.
Со временем после прописки всех вариантов этого редиректа, склеиваются одинаковые страницы и дубли со временем выпадает с индекса. Поэтому этот вариант отлично чистит уже проиндексированные ранее дубли страниц. Если Вы решите воспользоваться этим методом, то обязательно перед пропиской правил в файле.htaccess, изучите синтаксис создания редиректов. Например, рекомендую для изучения руководство по 301-му редиректу от Саши Алаева .
Создание канонической страницы
Данный способ используется для указания поисковой системе того документа из всего множества его дублей, который должен быть в основном индексе. То есть такая страница считается оригинальной и участвует в поисковой выдаче.
Для ее создания необходимо на всех страницах дублей прописать код с урлом оригинального документа:
Конечно, прописывать все это вручную тяжковато. Для этого существуют различные плагины. Например, для своего блога, который работает на движке ВордПресс, я указал этот код с помощью плагина «All in One SEO Pack». Делается это очень просто — ставиться соответствующая галочка в настройках плагина:
К сожалению, вариант с канонической страницей не удаляет дубли страниц, а только предотвращает их дальнейшее появление. Для того, чтобы избавиться от уже проиндексированных дубликатов, можно использовать следующий способ.
Директива Disallow в robots.txt
Файл robots.txt является инструкцией для поисковых систем, в которой им даются указания, как нужно индексировать наш сайт. Без этого файла поисковый робот может дотянуться практически до всех документов нашего ресурса. Но такая вольность поискового паука нам не нужна — не все страницы мы желаем видеть в индексе. Особенно это кассается дублей, которые появляются благодаря не соврешнеству шаблона сайта или наших ошибок.
Вот поэтому то и создан такой файл, в котором прописываются различные директивы запрета и допуска индексации поисковым системам. Запретить сканирование дублей страниц можно с помощью директивы Disallow:
При создании директивы тоже нужно правильно составлять запрет. Ведь если ошибиться при заполнении правил, то на выходе может получиться совсем не та блокировка страниц. Тем самым мы можем ограничить доступ к нужным страницам и дать просочиться другим дублям. Но все же здесь ошибки не так страшны, как при составлении правил редиректа в.htaccess.
Запрет на индексацию с помощью Disallow действует для всех роботов. Но не для всех эти запреты позволяют поисковой системе убирать из индекса запрещенные страницы. Например, Яндекс со временем удаляет блокированные в robots.txt дубли страниц.
А вот Google не будет очищать свой индекс от ненужного хлама, который указал веб-мастер. К тому же директива Disallow не является гарантом этой блокировки. Если на запрещенные в инструкции страницы идут внешние ссылки, то они со временем появятся в базе данных Гугла.
Избавляемся от дублей, проиндексированных в Яндексе и Google
Итак, с различными методами разобрались, пришло время узнать пошаговый план удаления дубликатов в Яндексе и Гугле. Перед тем, как проводить зачистку, необходимо найти все дубли страниц — об этом я писал в прошлой статье. Нужно перед глазами видеть, какие элементы адресов страниц отражены в дублях. Например, если это страницы с древовидными комментариями или с пагинацией, то мы фиксируем содержащие в их адресах слова «replytocom» и «page»:
Замечу, что для случая с replytocom можно взять не это словосочетание, а просто вопросительный знак. Ведь он всегда присутствует в адресе страниц древовидных комментариев. Но тогда нужно помнить о том, что уже в урлах оригинальных новых страниц не должно быть символа «?», иначе и эти станицы уйдут под запрет.
Чистим Яндекс
Для удаления дублей в Яндексе создаем правила блокировки дубликатов с помощью директивы Disallow. Для этого совершаем следующие действия:
- Открываем в Яндекс Вебмастере специальный инструмент «Анализ robot.txt».
- Вносим в поле директив новые правила блокировки дублей страниц.
- В поле «список URL» вносим примеры адресов дубликатов по новым директивам.
- Нажимаем кнопку «Проверить» и анализируем полученные результаты.
Если мы все верно сделали, то данный инструмент покажет о наличии блокировки по новым правилам. В специальном поле «Результаты проверки URL» мы должны увидеть красную надпись о запрете:
После проверки мы должны отправить созданные директивы по дублям в настоящий файл robots.txt и переписать его в директории нашего сайта. А далее нам просто нужно подождать, пока Яндекс автоматически не выгребет из своего индекса наши дубли.
Чистим Google
С Гуглом не все так просто. Запретные директивы в robots.txt не удаляют дубли в индексе этой поисковой системы. Поэтому нам придется все делать своими силами. Благо для этого есть отличный сервис Google вебмастер . А конкретно нас интересует его инструмент «Параметры URL».
Именно благодаря этому инструменту, Google позволяет владельцу сайта сообщить поисковику сведения о том, как ему нужно обрабатывать те или иные параметры в урле. Нас интересует возможность показать Гуглу те параметры адресов, страницы которых являются дублями. И именно их мы хотим удалить из индекса. Вот что нам нужно для этого сделать (для примера добавим параметр на удаление дублей с replytocom):
- Открываем в сервисе Гугла инструмент «Параметры URL» из раздела меню «Сканирование».
- Нажимаем кнопку «Добавление параметра», заполняем форму и сохраняем новый параметр:
В итоге у нас получается прописанное правило для пересмотра Гуглом своего индекса на наличие дублированных страниц. Таким образом дальше мы прописываем следующие параметры для других дубликатов, от которых хотим избавиться. Например, вот так выглядит часть моего списка с прописанными правилами для Гугла, чтобы он подкорректировал свой индекс:
На этом наша работа по чистке Гугла завершена, а мой пост подошел к концу. Надеюсь, эта статья принесет Вам практическую пользу и позволит Вам избавиться от дублей страниц Ваших ресурсов.
С уважением, Ваш Максим Довженко
P.S. Друзья, если нужно сделать видео по этой теме, то напишите мне в комментарии к этой статье.