|
 Атрибут nofollow (часто называемый тегом «nofollow») – тег, работающий на уровне ссылки, когда вы помещаете его в отдельную ссылку.
Метатег nofollow - тег, работающий на уровне страницы, когда вы добавляете его в секцию <head> своей веб-страницы.
Метатег запрета индексации – другой тег, работающий на уровне страницы, когда вы помещаете его в секции <head> своей веб-страницы.
Файл robots.txt – работает на уровне сайта и контролирует индексацию всех ваших веб-страниц, когда вы его размещаете в ту же директорию, что и главную страницу сайта (т.е. в корневую директорию).
Каждый из этих инструментов выполняет свою уникальную функцию. Необходимо, чтобы вы понимали её прежде, чем приступите к управлению сбором информации с вашей страницы и её последующей индексацией и ранжированием. Итак, чтобы вы стали экспертом по «паукам», давайте определим четкие границы между сбором информации, индексированием и ранжированием.
 Сбор информации – процесс, когда поисковая система загружает страницу, сканирует её на наличие ссылок, а затем проходит по этим ссылкам, чтобы найти больше страниц. Учтите, что, хотя поисковая система заходит на страницу, это не обязательно значит, что она в действительности сохраняет контент этой страницы на своих серверах; это также не означает, что поисковая система будет отображать страницу в результатах поиска. С технической точки зрения, это значит, что поисковая система знает о данной странице.
Индексация происходит после того, как поисковая система зашла на страницу и обработала её контент, чтобы извлечь из него ключевые слова, определяющие, о чем эта страница. Затем данные о странице сохраняются для последующих показов в результатах поиска. Каждая проиндексированная страница должна сначала подвергнуться собору информации, но, как видите, не все страницы, прошедшие сбор информации, проходят индексацию
Ранжирование – результат расчета поисковой системы, учитывающего контент, найденный на странице, на сайте и по ссылкам, расположенным на странице и сайте. Здесь вступает в дело алгоритм расчета авторитетности страницы (Google PageRank), чтобы определить, где и по каким ключевым словам/фразам должна отображаться ваша страница в результатах поиска.
Заметьте, что когда мы в этой статье говорим о PageRank (PR), мы не имеем в виду рейтинг страницы, отображающийся на панели инструментов Google. Важно знать разницу, потому что PageRank на панели инструментов (TPR) это лишь приближенное значение действительного PageRank (APR). Известно, что Google отображает данные PageRank месячной давности (а то и старее).
Вместо этого, мы ссылаемся на APR по вопросам того, что в англоязычной части интернета обычно именуют термином link juice, что значит «способность страницы зарабатывать рейтинг для себя и других страниц, основанная на качестве и количестве входящих ссылок страницы».
Веб-страницы реализуют этот принцип, когда ссылаются друг на друга. Все крупные поисковые системы используют принцип link juice в качестве главного фактора при ранжировании.
Кстати, интересно проанализировать работу иностранных линк-брокеров, например, linkjuice.net. Они дают информацию не только по PageRank ссылающейся страницы, но и подсеть IP класса C, местонахождение сайта и кол-во слов в анкоре, т.е. в тексте ссылки.
Четыре нити управления пауком Google
Атрибут nofollow обсуждался нами в предыдущих статьях. Главная цель этого тега, действующего в пределах ссылки, - сказать поисковой системе, что ссылка не должна включаться в оценку рейтинга страницы (link juice). Вот как выглядит тег nofollow, связанный с ссылкой:
<a hrеf="httр://www.seo-study.ru" rel="nofollow">Курсы поисковой оптимизации</a>
Размещение этого атрибута в рамках ссылки означает, что ссылка не будет увеличивать рейтинг. Однако страница, указанная в ссылке, будет обработана, проиндексирована и все еще сможет ранжироваться в поисковых системах. Поэтому название «nofollow» немного неверно. В действительности поисковая система следует по ссылкам в большинстве случаев. Она просто-напросто не обеспечивает link juice. Может быть, лучшим названием было бы nocredit или nojuice.
Нужно отметить, что официальная установка Google такова, что они не следуют по ссылкам с атрибутом nofollow. Также следует отметить, что Yandex, Yahoo, Microsoft и Ask все еще следуют по ним. Итак, вы не должны опираться на ссылки с атрибутом nofollow чтобы предотвратить сбор информации или индексирование.
И все-таки атрибут nofollow может использоваться для того, чтобы контролировать рейтинг страниц связанных с вашим сайтом в Google. Вы можете использовать атрибут nofollow, чтобы не выделять неважные ссылки. Это сохранит ваш рейтинг для важных, заслуживающих большего внимания страниц.
Примером страниц, которые не нужно подчеркивать, может послужить страница «Контакты» или страница, посвященная политике конфиденциальности. Зачастую ссылки на подобные страницы располагаются в меню навигации или внизу страницы. В принципе, это хорошая идея, поскольку эти страницы должны быть доступны пользователю. Однако вы врядли захотите, чтобы такие малозначимые страницы превосходили по рейтингу другие, более важные страницы.
Итак, используя атрибут nofollow в ссылках на ваши менее важные страницы, вы можете благоразумно уменьшить расход рейтинга вашего сайта (из-за большого числа внутренних ссылок) и направить его на страницы, которые должны получать высокие рейтинги в поисковых результатах.
Предположим, что на вашей странице с PageRank 5, присутствуют пять ссылок на страницы с PageRank 3. Две из этих страниц являются важными, а три остальные (например, страница, посвященная политике конфиденциальности, страница внутренней поисковой системы и всплывающее окно с возможными цветами товара) являются неважными.
Используя атрибут nofollow в ссылках, указывающих на менее важные страницы, вы наверняка сможете поднять рейтинг (PR) важных страниц до 4. Это, без сомнения, благоприятно отразится на ранжировании ваших страниц.
Важно также учесть, что если вы таким способом перенесли рейтинг с менее важных на более важные страницы, то увеличенного рейтинга страницы может быть достаточно, чтобы она получила дополнительный рейтинг Google к основному рейтингу.
Однако, будьте осторожны с атрибутом nofollow. Если вы добавите этот атрибут в слишком большое количество ссылок, трудно будет предсказать результаты. Нередко начинающие вебмастера лишь вредят своим рейтингам, когда пытаются управлять рейтингом страниц при помощи nofollow.
Частая ошибка состоит в добавлении nofollow на большое количество собственных страниц, в надежде, что рейтинг наиболее важных страниц увеличится. Дело в том, что менее важные страницы также содержат ссылки на важные страницы сайта, и использование атрибута nofollow значит, что у менее важных страниц будет меньше PageRank чтобы передать его более важным страницам. Результатом будет падение рейтинга сайта в целом.
Эффект также может быть отрицательным, если сайт имеет много исходящих ссылок. В случае, когда уменьшение числа внутренних ссылок приводит к тому, что количество исходящих ссылок превышает количество оставшихся внутренних ссылок, доступный PageRank будет переходить больше на страницы вне сайта, чем внутри него. Другими словами, в результате ваш рейтинг страниц достанется другим сайтам.
Поэтому использовать атрибут nofollow следует аккуратно и не так часто. Начните с добавления его в страницы, добиваться высокого рейтинга для которых нет смысла. Страницы типа «О нас», «Обратная связь», «Политика конфиденциальности» и другие административные страницы попадают в эту категорию.
И, если вы хотите научиться мастерски манипулировать рейтингами страниц при помощи атрибута nofollow, ознакомьтесь с нашей статьей, посвященной динамическому линкингу. Также информацию по данной теме вы можете найти в Advanced SEO курсе, где рассказанно про использование JavaScript вместо атрибута nofollow, но все принципы остаются теми же.
Метатег nofollow в действительности сильно отличается от атрибута nofollow? Но, к сожалению, они имеют одинаковое название. Метатег nofollow означает, что ни по одной из ссылок на странице поисковая система не проследует, и рейтинг для таких страниц будет считаться с учетом ссылок на эти страницы.
<mеta nаme="robots" content="nofollow">
Однако страница, содержащая этот тег, все еще может быть проиндексирована и ранжирована, а другие страницы, на которые ссылается данная страница, могут быть найдены через другие ссылки, проиндексированы и ранжированы.
Метатег nofollow используется редко. Фактически, при помощи него намного легче навредить рейтингу ваших страниц, чем поднять его. Например, если вы разместите метатег nofollow на нескольких страницах с вашими товарами, то внесете беспорядок во внутреннюю систему ссылок сайта, так как рейтинг не будет распространяться с данных страниц на другие страницы вашего сайта. Наш совет: избегайте использование этого тега, пока точно не будете знать, что делаете.
Метатег запрета индексации - означает, что поисковые системы будут собирать информацию с вашей страницы и проходить по ссылкам на ней, но страница сама по себе не будет отображаться в выдаче поисковой системы.
Если вы хотите, чтобы ваши страницы не попадали в список, но хотите разрешить оценку их рейтинга, то вы должны разместить метатег запрета индексации в секцию <head> вашей веб-страницы:
<mеta nаme="robots" content="noindex">
В действительности мы едва ли сможем найти примеры использования метатега запрета индексации. Однако если у вас есть страница, которую вы не хотите видеть в поисковой выдаче, но хотите, чтобы поисковая система следовала по ссылкам на этой странице, используйте этот метатег.
Файл robots.txt используется для того, чтобы запретить поисковым системам индексировать определенные страницы или даже целые директории вашего сайта. Это единственный файл, который поисковая система должна «прочитать» на вашем сайте перед совершением какого-либо действия. Однако, «пауки» поисковых систем не всегда следуют правилам robots.txt – поисковая система сама решает, как собирать информацию с вашего сайта. Но в большинстве случаев поисковые системы тщательно стараются соблюдать правила, изложенные в файле robots.txt.
Если «паук» следует в каком-либо направлении, страницы, заблокированные в robots.txt, не будут подвержены сбору информации. Однако эти страницы все еще смогут получать рейтинг, поэтому robots.txt – эффективный способ контроля ранжирования страниц на вашем сайте.
Страницы, заблокированные robots.txt, все еще будут отображаться в списках Google – хоть они и не были подвергнуты сбору информации. Это происходит, потому что Google находит ссылки на эти страницы, и, следовательно, вносит их в свой список, но отображает только ссылки на эти страницы. Обычно у подобных страниц не бывает названия или описания в поисковых результатах (пока Google не найдет его в списке DMOZ), но люди все еще смогут находить вашу страницу, используя Google.
Очень важно, чтобы вы не использовали robots.txt для хранения важной информации (например, паролей). Как уже было упомянуто, robots.txt – это только предложение – поисковые системы могут индексировать и часто индексируют страницы, заблокированные в этом файле. Если у вас есть что-либо в режиме онлайн, что не должно быть известно поисковой системе, убедитесь, что вы защитили это с помощью пароля.
Подведем итоги
В этом разделе мы охватили предметы, которые легко спутать, поэтому давай упростим, резюмируем и сведем в таблицу все важные различия между инструментами, которые мы обсудили.
|
Инструмент |
Ранжирование |
Сбор информации |
Индексирование |
|
Атрибут nofollow |
Нет |
Да
(кроме Google) |
Да
(кроме Google) |
|
Метатег nofollow |
Нет |
Нет |
Нет |
|
Метатег запрета индексирования (NoIndex) |
|
Да |
Нет |
|
Файл robots.txt |
Да |
Нет |
Нет
(но если на страницу указывает какая-либо ссылка, то URL этой страницы отображается в результатах поиска) |
«Двойной удар» nofollow и robots.txt
Как вы уже заметили, большинство манипуляций по контролю «паука» осуществляется через атрибут nofollow и файл robots.txt. Но важно знать, как работают метатеги nofollow и noindex, чтобы вы случайно не повредили способность вашего сайта получать рейтинги. Скорее всего, вы будете использовать их корректно в тех редких случаях, когда они действительно подходят.
Новичкам мы рекомендуем остановить внимание на административных страницах. Так как нет никакого смысла включать, например, вашу страницу «Контакты» в выдачу поисковых систем, мы предлагаем сначала использовать robots.txt, чтобы заблокировать страницу от сбора информации, а затем атрибут nofollow в ссылки на эту страницу на вашем сайте. Посетители вашего сайта могут найти страницу, посвященную политике конфиденциальности, когда им это надо, но не стоит тратить зря время «паука» поисковой системы и тратить драгоценный PageRank вашего сайта. Это хорошая стратегия работы со страницами вашего сайта, попадающими в эту категорию.
И, в заключение, ваше главное правило: если нет хорошей причины ранжировать страницу, то лучше всего вообще избежать её индексирования поисковыми системами. Правильно свяжите эти «шелковые нити» для манипуляции «пауком» из вашего инструментария, и вы заставите эти хитрые механизмы индексации с жадностью индексировать ваши ценные и прибыльные страницы.
| 
