Здрастуйте, шановні читачі блогу . Сьогодні я хочу порушити проблему розуміння того, можна використовувати rel=»nofollow» і noindex для того, щоб закрити посилання від індексації пошуковими системами Яндекс і Google, бо за останні півроку або рік відбулося кардинальне зміна алгоритму роботи nofollow.
Проблема тут полягає в тому, що Google змінив принцип розрахунку статичної ваги при його використанні rel nofollow і зміна це давно й гаряче обговорюється на різних тематичних форумах з просування та оптимізації сайтів.
Який вплив чинять rel тег nofollow і noindex
Так і Яндекс теж не відстав від свого найбільшого конкурента на ринку пошуку рунета і змінив, починаючи з 2010 року, своє ставлення до nofollow (він став його враховувати).
Раніше дзеркало рунета його ігнорувала, але тепер, як видно з скріншота знятого на цій сторінці хелп, даний атрибут працює і враховується.
Тег ж noindex, який Яндекс ввів в обіг одноосібно і який доти був єдиною альтернативою нофоллоу, зараз ніяк не впливає на облік закритій їм посилання.
Але за допомогою нього можна закривати від індексації окремі фрагменти веб-сторінки. Цей тег є парним і враховуватися пошуком не буде все, що потрапило між відкриваючим і закриваючим елементом.
Т. к. ноиндекс був чисто нашим містечковим винаходом, то, природно, що він не був включений до реєстру дозволених тегів поточної версії мови Html 4.01 і валідатор на нього лається.
У уникнення цього можна використовувати його в якості Html коментаря, як це було показано на скріншоті вище. У цьому випадку валідатор W3c, природно, лаятися не буде, бо у коментарях можна писати все, що завгодно.
текст, індексування якого потрібно заборонити
Яндекс пише на своїй сторінці хелп, що noindex і nofollow слід інтерпретувати так само, як і аналогічні значення, які використовуються в мета тег robots.
Тобто нофоллоу забороняє перехід роботу пошуку за цим посиланням, а ноиндекс забороняє додавати укладений в ньому фрагмент тексту в індекс.
Google так взагалі ніколи не враховував noindex і, природно, його з успіхом ігнорує, так само як і будь-який інший пошуковик крім Яндекса. Змінилося ставлення до підрахунку статичної ваги на сторінках, де знаходяться гіперпосилання з доданим до них атрибутом rel=»nofollow». Раніше їх можна було взагалі не враховувати, проте зараз все стало трохи складніше і сумніше.
Але про все розповісти в двох словах — це не наш метод. Тому я зараз трохи підпущу «води», як висловлюються деякі господа в коментарях, і спробую на пальцях і абстрактних прикладах показати наявний стан. Так, відразу обмовлюся, що моя думка ні в якій мірі не є абсолютною істиною, бо воно лише висловлює свою точку зору на дану проблему. Заздалегідь спасибі всім коментаторам, бо в суперечці народжується істина.
Отже, давайте спершу повернемося трохи в минуле і подивимося, як можна було за допомогою тегів nofollow і noindex закрити від індексації для пошукових систем гіперпосилання (найчастіше все ж намагаються закрити від індексації зовнішні беклінків, бо вони сприяють утеканию статичної ваги, але про це поговоримо трохи пізніше).
Так от, тексти посилань, які називають ще анкорами, дозволяють Яндексу і Гуглу проводити так зване посилальне ранжування, істотно впливає на положення ресурсу в пошуковій видачі. Саме з цієї причини для просування сайту по якомусь запиту (статистика пошукових запитів вам в допомогу) оптимізатори намагаються закупити якомога більше беклінків з текстами (анкорами), що містять ключові слова з того запиту, за яким просувається дана сторінка.
У свій час ряд ентузіастів зробили так, що за запитом «жалюгідний невдаха» відкривався ресурс тодішнього президента Америки Буша молодшого. Що примітно, на самому ресурсі взагалі не зустрічалися дані ключові слова, але на нього була проставлена гігантська посилальна маса з цим текстом (анкором), в результаті чого вийшов такий казус.
Зараз вже такий фокус не пройде, бо посилальне ранжирування не має такого колосального впливу на ранжирування і потрібно, щоб і на самому порталі Буша зустрічалася ця фраза, що малоймовірно.
Але на цьому роль посилань в пошуковому просуванні не закінчується, бо алгоритми пошуку в обов’язковому порядку для кожної сторінки кожного окремо узятого ресурсу розраховують так званий статичний вагу. Можливо, що різні системи розраховують його трохи по різному, але суть залишається не зміненим — статвес передається сторінці тільки по гіперпосиланню і при цьому не враховується її анкор.
Щоправда, будь-яка сторінка (документ, як їх іменують пошуковики) відразу після своєї появи (індексації) має початковий мінімальний статична вага (що таке pr в Гуглі), який може бути необмежено збільшений за рахунок вхідних зовнішніх і внутрішніх посилань на цю сторінку. Тут ключовим моментом є те, що він передається не тільки зовнішніми, але й внутрішніми посиланнями.
Причому документ, посилаючись на інші зовнішні або внутрішні сторінки, зовсім не втрачає свій статичний вага (pr для Google або Віц для Яндекса), який цілком і повністю залежить тільки від кількості і вагомості входять на неї гіперпосилань. Під останнім я маю на увазі власний статвес сторінок донорів (донори — ті, звідки проставлені беклинки на ваш документ, який у цьому випадку виступає акцептором).
Як закрити від індексації зовнішні посилання
Пам’ятаєте, в школі колись були популярні задачки про басейн з кількома вхідними та вихідними трубами? Там ще треба було розрахувати той час наповнення басейну, то рівень води в ньому. Але не суть важливо. Просто я хочу взяти в якості абстрактного прикладу для більшої наочності саме такий басейн, та не простий, а з низкою припущень.
Кожен документ на сайті можна буде представити як окремий басейн, в який буде підводитися вода по ряду труб різного діаметру (наші вхідні внутрішні і зовнішні гіперпосилання документів з різними статичним вагою), а так само ряд труб, по яких вода побіжить на інші документи вашого ж або будь-якого іншого ресурсу (вихідні внутрішні і зовнішні лінки).
Рівень води в басейні буде еквівалентний статичної ваги, набраному даним документом (вебстраницей вашого ресурсу). Допущення ж буде полягати в тому, що вода, витікаючи по трубах вихідних посилань, не буде зменшувати рівень води в басейні (статична вага документа).
Тепер дивіться уважно. Допусти, що у нас з одного документа проставлено 4 внутрішніх посилання і одна зовнішня (в аналогією з басейном це буде еквівалентно п’яти вихідних труб однакового перерізу). В результаті максимальний статвес, який може передати цей документ (веб-сторінка), буде поділений на 5 частин і лише одна п’ята цієї ваги передасться на кожну з 4 внутрішніх документів, а одна п’ята піде по зовнішній.
А тепер уявіть, що ви маєте можливість попросити пошукові системи Яндекс і Google не індексувати цю саму одну зовнішню посилання (закрити її або в аналогією з басейном — перекрити вентиль на трубі, що веде не на ваш проект).
Тоді максимальна вага документа, який він може передати, потрібно буде ділити вже не на 5 частин, а тільки на 4, що дозволить внутрішнім посиланнями документа отримати по одній чверті, а не по однієї п’ятої максимальної ваги, що здатна віддати дана веб-сторінка.
Начебто дрібниця, але якщо у вашого ресурсу тисяча сторінок, а ви закриєте від індексації кілька наскрізних зовнішніх посилань (які будуть присутні на всіх документа, наприклад, з лічильників відвідувань), то сумарний приріст статвеса буде відчутним. А адже він безпосередньо впливає на стан вашого ресурсу у видачі Яндекса і Гугла при ранжуванні (природно, при інших рівних умовах оптимізації).
Думаю, що з питанням, навіщо закривати зовнішні гіперпосилання від індексації, ми розібралися і тепер залишилося тільки з’ясувати, а як це зробити? Раніше було все просто — укладаєте непотрібну вам гіперпосилання в відкриваючий і закриваючий тег noindex для того, щоб її не враховував Яндекс, а в Html тег посилання A прописуєте атрибут rel=»nofollow» (для Google), наприклад, так:
В WordPress для автоматизації процесу закрити від індексації всіх зовнішніх посилань можна використовувати, наприклад, плагін WP-NoRef. При його використанні, якщо тег гіперпосилання прописати спеціальний клас, вона залишиться відкритою для індексації пошуковими системами. Це може знадобитися, наприклад, при поставленні лінка в постовом або рекламному огляді.
Статична вага не передавався по закритій таким чином гіперпосилання та внутрішні сторінки вашого сайту, в результаті, отримували дещо більше його значення, ніж у випадку з відкритою зовнішньою посиланням. Але так було раніше, а зараз все стало дуже і дуже проблемно.
Це стосується тільки утримання статвеса на сайті. Тут важливо розуміти, що, наприклад, в коментарях просто необхідно закривати посилання від індексації, бо велика кількість посилань на спамний ресурси (ви в змозі перевірити всі ресурси коментаторів?) зробить ваш проект теж спамным в очах пошукових систем.
Отже, повернемося до того, що Google змінила алгоритм роботи rel=»nofollow» — тепер за посиланням, в яку вставлений цей атрибут, статична вага на документ передаватися не буде, але в той же час це не збільшить частку ваги, переданого на внутрішні сторінки, з проставленим з даного документа внутрішнім гіперпосиланнями.
Якщо повернутися до нашого прикладу з басейном і трубами, то ситуація з rel=»nofollow», яка була до нововведення, може бути представлена як перекриття вентиля на трубі, що веде на інший ресурс. І при цьому більше води (статичної ваги) перетікало за рештою трубах (внутрішнім).
А ось поточна ситуація виглядає, як видирання труби зовнішньої із коренем — посилальну вагу вже не потече на зовнішній ресурс, але і у нас в басейні залишиться дірка, а отже, внутрішні сторінки вашого ресурсу і раніше будуть недоотримувати статичної ваги.
Як Яндекс враховує rel nofollow і noindex
Це ми всі говорили за Гугл, а як виглядає ситуація з використанням rel=»nofollow» для Яндекса, адже це наш незабутній лідер пошуку в рунеті. Тут все багато туманнішими, бо однозначних суджень немає по цьому питанню.
Але схоже, що дзеркало рунета, після того як стало враховувати rel nofollow в тегах гіперпосилань, зняв з noindex всяке вплив на заборону індексації посилань.
Тепер noindex служить однієї єдино мети — закривати від індексації в Яндексі, Рамблері і деякі фрагменти тексту. І якщо використовувати його для посилань, то він просто заборонить цим пошуковим системам індексувати текст (анкор), а от сама гіперпосилання та передається по ній статвес як і раніше будуть враховуватися і братися в розрахунок.
Інше питання, як Яндекс враховує rel nofollow? Копіює він схему роботи у старого Google або ж відразу взяв на озброєння перероблений алгоритм розрахунку? Особисто мені важко відповісти на це питання, але гадаю, що варто розраховувати саме на найгірший варіант.
Тоді виходить, що у нас з вами вже не залишилося інструментарію, що дозволяє повноцінно закрити від індексації посилання, та так, щоб не було витоку ваги з сайту в порожнечу.
Раніше ми можемо закрити від індексації цілі сторінки або гіперпосилання на них за допомогою мета-тега Robots, призначення якого описано в статті наведеної на початку публікації, але от з окремо взятими посиланнями виникають складності та rel nofollow перестав бути вдалим рішенням цієї проблеми.
Можна, звичайно ж, проставляти зовнішні гіперпосилання через редиректи або java, але Google їх вже навчився враховувати, а Яндекс, якщо ще і не навчився, скоро обов’язково навчиться. У зв’язку з цим взагалі не зрозуміло як бути з бэклинками з коментарів і лічильників відвідувань. Вони за будь-якої виходить будуть смоктати статична вага з сайту в порожнечу (при закритті їх в нофоллоу), або на ресурси коментаторів або лічильників (у разі відмови від його використання).
Деякі вебмастера, до речі, використовують в коментарях external nofollow, хоча це тут зовсім не має на увазі закриття зовнішніх гіперпосилань, а позначає відкриття сторінки у зовнішньому вікні (аналог атрибута target=»_blank», який XHTML став не валідним, тобто не відповідним стандартам), але цей external працювати буде тільки в зв’язці ще й зі спеціально написаним скриптом на javascript. Загалом, це вже зовсім з іншої теми і до закриття від індексації ніякого відношення не має.
Власне, я вирішив спробувати взагалі прибрати беклинки з коментарів і подивитися, як це вплине на загальний стан мого блогу як в Гуглі, так і в Яндексі. Якщо змін на краще не буде, то поверну все як і було. Експеримент вийде, напевно, репрезентативним, бо коментарів у мене близько 6 000 і більшість з них мають беклинк на ресурс коментатора.
Якщо комусь цікаво, то прибрати посилання з коментарів WordPress досить просто. Вам потрібно буде за допомогою ftp-клієнта (менеджера) FileZilla підключитися по FTP і відкрити на редагування файл comments.php з папки з використовуваної вами теми Вордпресс. У ньому вам потрібно знайти місце, де прописаний такий шматочок коду:
і замінити його на трохи змінений варіант:
А так само для того, щоб прибрати з форми додавання коментаря рядок для введення URL, вам потрібно буде видалити такий фрагмент коду:
Якщо наведена мною теорія щодо поточного положення з rel nofollow і noindex виявиться правдивою, то має відбутися поступове збільшення накопиченого на блозі статичної ваги, що не зможе не позначитися на позиції сайту в пошуковій видачі. Загалом, подивимося.
P. S. Зараз найбільш дієвим способом закриття посилань і контенту від індексації пошуковиками є забирання їх у Аякс. Про це я писав у статті про Технічний аудит і внутрішню оптимізацію (пункт номер 6 під другим підзаголовком).
Удачі вам! До зустрічей на сторінках блогу
