Дублюючі сторінки: як знайти й усунути?

Що прийнято розуміти під дублями сторінок? Це сторінки web-сайту, які містять різний URL, але на них повністю або частково дублюється вміст сторінки сайту.

Чим небезпечні дублікати сторінок?

Чим небезпечні дублікати сторінок?

Небезпека полягає у тому, що на сайті немає однієї максимально релевантної сторінки до пошукового запиту, і пошукові боти не можуть визначити, яка з двох однакових сторінок максимально точно підходить під запит користувача.

Це призводить до таких наслідків:

  • Зниження релевантності сторінок і, як наслідок, падіння позицій сайту в пошуку;
  • Спостерігаються “гойдалки” позицій в пошуку – це пов’язано з тим, що йде постійна зміна релевантної пошуковому запиту сторінки;
  • Загальне падіння позицій сайту в пошуку.


Подібні проблеми змушують SEO-оптимізаторів бути запеклими борцями із клонами сторінок.

Види дубльованих сторінок

Для того, щоб успішно боротися з дубльованими сторінками, потрібно розуміти, які дублі бувають:

  • Повні дублі – 100% однаковий контент розміщений на різних URL;
  • Часткові дублі – дублюється тільки частина матеріала, розміщеного на сторінці сайту.

 

Повні дублі сторінок

  1. Дзеркала сайту, розміщенні за адресою з “www” і без “www”. Необхідно провести настройку і вибрати головне дзеркало сайту;
  2. Дублі головної сторінки. Основна частина дублів пов’язана з особливостями CMS систем з управління сайтами.
  3. Дублі реферальних програм. Реферальні посилання можуть дублювати контент сайту і бути доступними для індексації пошуковим ботам, як підсумок – непотрібні сторінки в індексі Google або Яндекс;
  4. Дублі сторінок, які пов’язані з помилками ієрархії сторінок. Не правильно складена логіка роботи каталогу сайту може привести до того, що одна і та ж картка товару буде доступна за різними URL.
  5. Некоректне налаштування сторінки 404. Коли вона віддає відповідь сервера 200, то отримуємо нескінченну кількість дубльованих сторінок;
  6. Сторінки з utm-мітками. Наприклад, “gclid” позначка рекламних оголошень. Сторінки, помічені utm-мітками містять важливі параметри для відстеження ефективності рекламних кампаній, але при цьому, вони повністю дублюють сторінку сайту.
  7. Сторінки, в URL яких міститься множинний слеш // і ///
  8. Дублі, пов’язані з некоректним переїздом на захищений протокол передачі даних (переїзд на https);

 

Всі перераховані вище дублі вимагають уваги SEO-оптимізатора і швидкого усунення. Тому що в іншому випадку будуть серйозні втрати позицій сайту в пошуку.

Часткові дублі сторінок

Часткові дублі сторінок – це в першу чергу сторінки, згенеровані CMS системами сайту.

1. Сторінки пагінації і сортування сторінок. Найчастіше, вони пов’язані з особливостями CMS систем сайтів і містять відповідний get-параметр;

Часткові дублі сторінок

2. Сторінки результатів пошуку по сайту. Цей тип сторінок небезпечний тим, що користувачі можуть згенерувати велику кількість подібних сторінок за короткий проміжок часу.

3. Сторінки фільтрації товарів. Мова йде не про адаптовані для пошуку сторінки, а саме про дублі товарних категорій.

4. Сторінки відгуків, коментарів, характеристик. Йдеться про сторінки, які генеруються в інтернет-магазині при виборі того чи іншого таба у картці товару;

5. Сторінки для друку і для скачування. Спеціальні чорно-білі або зручні сторінки для скачування або друку.

6. HTML копії сторінок, створених за допомогою AJAX.

Як знайти дублі сторінок

Як знайти дублі сторінок

Спосіб 1. За допомогою спеціалізованих програм, таких як: Screaming Frog SEO Spider, NetPeak Spider, Xenu. Подібні інструменти покажуть дублі сторінок за збігом мета-тегів.

Спосіб 2. За допомогою пошукових операторів “site” і “inurl”. Подібні оператори допоможуть визначити список потрібних URL в пошуку Google.

Спосіб 3. Панель Вебмайстра Яндекс і Search Console Google. Пошукові системи самі покажуть дублі сторінок, і дадуть рекомендації до їх усунення.

Як знайти дублі сторінок через яндекс вебмайстер

 

як знайти дублі сторінок через Search Console Google

Спосіб 4. Пошук дублів сторінок на сайті вручну.

Спосіб 5. Пошук дублів за допомогою сервісів web-аналітики, таких як Serpstat, наприклад.

Для усунення дублікатів сторінок існує декілька способів і застосовуються вони в залежності від ситуації або типу дублів.

  1. Немає сторінки – немає проблеми. Тобто видаляються статичні сторінки, які дублюють контент, і видаляються посилання з внутрішньої перелінковки сайту.
  2. Заборона для сканування і індексації. Найпростіше – це заборонити пошуковим системам сканувати та індексувати сторінки, частково або повністю дублюючі контент сайту. Зробити це можна за допомогою текстового файлу robots.txt або за допомогою мета-тега. Такий спосіб підійде для усунення дублів, пов’язаних з групуванням, фільтрами і пошуком усередині сайту.
  3. Налаштування 301-редиректів за допомогою файлу “.htaccess”. Відмінний спосіб, щоб прибрати дублі головної сторінки або прибрати посилання реферальних програм.
  4. Налаштування атрибута rel = “canonical”. Такий спосіб підійде для усунення дублів сторінок пагінації, фільтрів товарів, групувань, utm-міток.
  5. Тег <meta name = “robots” content = “noindex, nofollow” />. Розміщення цього тега дозволить боротися з дублями у вигляді сторінок для друку і PDF версіями сторінок.

 

Більшість дублів сторінок усувається за допомогою настройки коду CMS системи або движку сайту. Тобто, повне усунення дублів сторінок сайту зводиться до складання ТЗ розробнику сайту і перевірки його реалізації.