Статья для тех, кому лень читать справку по GoogleWebmaster и ЯндексВебмастер

1. Метатег robots

Метатег robots

Для управления поведением поисковых роботов на веб-странице, в существует метатег robots и его атрибут content. закрытия веб-страницы от поисковой индексации,

1. Метатег robots
2. Почему метатег robots лучше файла robots.txt

Здравствуйте, дорогие посетители!

Если вы попали на данную страницу, то вероятнее всего, что где-то вам посоветовали использовать тег noindex для закрытия какого-либо содержимого от индексации.

В этой статьи я вкратце расскажу, зачем он нужен и особенности его применения. Также покажу, где его применяю я на своем ресурсе.

Общие сведения

Как и в случае с атрибутом , с которым я рекомендую ознакомиться, noindex имеет значения, как в случае обычного тега, так и мета-тега.

• Тег noindex закрывает от индексации только те части, которые заключены внутри него;
• Мета-тег noindex - закрывает всю страницу от индексирования.

В первом случае, тегом оборачиваются необходимые части текста на страницах, которые не нужно индексировать. Это могут быть служебные участки текста или же какая-то конфиденциальная информация.

Тег можно использовать, как в общепринятом варианте, так и валидном, чтобы сделать код страницы валидным и убрать ошибки за счет тега. Снизу даю 2 строки, первая из которых обычный вариант, а вторая - валидный.

тут часть контента, которую нужно закрыть

Какой вариант использовать, решайте сами. Я же пришел ко второму.

В случае же с мета-тегом, noindex добавляется в шапку сайта, что запрещает всю страницу от индексации. Необходим в том же случае (служебные страницы и так далее), только уже для полной страницы.

В данном случае noindex является значением мета-тега robots (см. ниже).

Теперь по поводу использования данного тега.

Применение

Как я уже я писал выше, применять его стоит в том случае, если на странице имеется какая-то служебная информация. Также это имеет место, когда имеются неуникальные куски текста, которые пагубно влияют на продвижения страницы. Их также можно закрывать тегом noindex.

Если же взять мета-тег, который применяется ко всей странице и содержится внутри мета-тега robots (скриншот выше), то данный случай стоит применять для закрытия целых страниц от индексации. Это могут быть целые служебные страницы, не несущие никакой пользы сайту и посетителям. Например, страницы контактов, карты сайта и так далее.

Также имеет место закрытие страниц пагинации, то есть тех страниц, которые разбиваются на списки. Например, в постраничной навигации на сайте можно закрыть все страницы, кроме первой, чтобы обезопасить себя от появления дублированного контента.

Хотя, в последнее время я перестал закрывать страницы мета-тегом noindex. Связано это с произведенным мной анализом других популярных сайтов. Я увидел, что никто из гигантов не использует такое закрытие. Исходя из этого, я также убрал. Хотя раньше я добавлял noindex на такие страницы и все работало на ура. Поэтому, если у вас мета-тег добавляется на страницы пагинации, то можете не переживать.

Главное, чтобы сами контентные страницы были полностью открыти и на них не было мета-тега noindex.

Посмотреть его наличие можно в исходном коде страницы, нажав комбинацию клавиш ctrl+u.

Касаемо моего сайта, то я применяю тег и довольно часто, но не в самих статьях, а в самой верстке шаблона. Я закрываю все части, которые не несут смысловой нагрузки сайту:

• социальные кнопки;
• формы подписки;
• на страницах рубрик, архивов и поиска закрываю текст краткого анонса, чтобы не дублировать контент, ведь он доступен и в полной версии статьи.

Проверить закрытые части данным тегом можно с помощью дополнения к браузеру RDS bar .

Вот, как выглядит закрытие формы подписки и социальных кнопок при активном RDS баре (закрытые области подсвечиваются коричневым).

А вот закрытый кусок текста на страницах рубрик, архивов и поиска.

Таким образом можно закрыть очень много ненужного в своем шаблоне.

На этом можно заканчивать данный материал. Больше о данном теге ничего толкового и не скажешь. В окончание хочу сказать, что если вы хотите закрывать внешние ссылки в noindex, то закроется только содержимое ссылки, то есть ее анкор.

Если у вас остались какие-то вопросы по поводу тега noindex, то пишите их в комментариях под блоком похожих записей, которые также можете почитать. Уверяю вас, будет интересно.

Все, друзья. До связи.

С уважением, Константин Хмелев!

Качественная оптимизация сайта – это путь к достижению успеха в достижении высоких позиций в выдаче поисковой системы. Для качественной оптимизации очень важно скрыть от поисковых систем ненужные фрагменты текста, или скрыть от индексации определенные ссылки, или скрыть целые страницы.

Для реализации запрета индексации определенных участков текста, используются:

• тег Noindex
• атрибут Nofollow

Эти теги имеют большое влияние на перераспределение веса ссылок на странице.

Зачем использовать тег Noindex ?

Тег Noindex применяется веб-мастерами для запрета индексации Яндексом определенных участков HTML-кода. Тег Noindex скрывает от индексации только определенные участки текста страницы. К сожалению, этим тегом нельзя скрывать изображения и ссылки.

Тег Noindex скрывает только анкор ссылки . Сам URL попадет в индекс поисковой машины. Тем не менее, этот тег неприемлем для многих HTML-редакторов.

Например, встроенный редактор «движка» WordPress не воспринимает его, а визуальный редактор Вордпресс вовсе убирает этот тег. Но, можно прибавить валидности этому тегу, используя его в следующем виде:

Используя тег такого вида в редакторе Вордпресс, можно не бояться за его удаление. Также необходимо различать обыкновенный тег noindex и мета-тег noindex , который ставится в начале страницы. Их задачи кардинально отличаются друг от друга.

• Обыкновенный тег, который мы рассматриваем, запрещает индексацию только определенной части HTML-кода, между и . Пример: Яндекс не видит это предложение
• Есть также другой вид тега noindex, который запрещает индексирование страницы или всего сайта через Robots.txt.

Существует мнение о том, что скрытый от индексирования код страницы может попасть в индекс поисковой системы. Они правы. Изначально поисковая машина добавляют в индекс весь код страницы, а после этого проводит фильтрацию, отбрасывая код страницы скрытый от индекса. Поэтому некоторое время тег ноиндекс может не работать.

Применять тег стоит в следующих случаях :

• скрытие от Яндекс счетчиков посещаемости;
• скрыть нецензурные выражения (лучше конечно вовсе не применять их);
• скрыть от индексации неуникальную часть контента (цитаты, копипаст);
• скрыть постоянно меняющийся контент (индексировать его не имеет смысла);
• скрыть подписки на почту или RSS;
• скрыть от индексации ненужную информацию в сайдбаре сайта;

Применение Noindex не имеет смысла в следующих случаях :

• скрывать ссылки от индексации;
• cсылки из комментариев также нельзя скрыть этим тегом;
• применять тег для скрытия рекламы на сайте также не имеет смысла;

Зачем использовать тег Nofollow ?

Атрибут nofollow служит для недопущения индексации ссылок поисковиками Google и Яндекс. Тег служит главным образом для недопущения манипуляций с распределением ссылок.

Если определенная ссылка используется с атрибутом nofollow, то вес этой ссылки «растворяется», и не переходит другим ссылкам на страницах. В связи с этим нет необходимости скрывать от индексации одни ссылки для добавления веса другим ссылкам на странице.

Атрибут nofollow чаще всего используется в следующих случаях :

• применять атрибут стоит для уменьшения количества ссылок на страницах сайта;
• скрыть от ПС ссылки на посторонние ресурсы, которые для вас не играют никакой роли;
• желательно применять при добавлении ссылок на не тематические ресурсы;
• не придавать вес популярным сайтам с высокими показателями ТИЦ и PR;
• скрыть ссылки из комментариев (если ваш блог не dofollow);

Совмесное использование Nofollow и Noindex

Nofollow и Noindex можно использовать и в паре. Совместное использование этих элементов может практически полностью скрыть ссылку от «глаз» поисковых роботов.

В случае применение атрибута и тега в паре:

анкор

• Google увидит только анкор;
• Яндекс не видит ни анкор ни ссылку;

Однако это не поменяет вес других ссылок на странице. В случае использование ссылок на посторонние и не тематические ресурсы достаточно будет тега Nofollow, поэтому использовать теги в паре не имеет смысла.

Существует распространенная легенда о том, что Яндекс работает исключительно с тегом noindex, а поисковая система Google с атрибутом nofollow. Как Вы уже увидели – это не совсем так. Атрибут Nofollow виден и Яндексу и Google.

Оптимизация сайта с помощью атрибута Nofollow и тега Noindex должна производиться правильно. Благодаря сегодняшнему материалу, мы узнали больше об этих тегах и их применению.

В последнее время, анализируя проблемные сайты клиентов, часто сталкиваюсь с тем фактом, что многие из них активно используют тег для скрытия части контента от Яндекса. Для тех, кто не знаком с этим тегом, привожу ссылку на документацию . Как там указано, он предназначен для запрета индексирования служебных участков текста.

Стоит заметить, что в документации указан ответ на вопрос “как использовать этот тег”, но совсем не сказано “зачем он введён”. Отчасти, это и является причиной возникновения многих вопросов от вебмастеров.

Если мы поищем в Google ответ на вопрос какая польза от тега noindex или любые рекомендации от сотрудников Яндекса по этому поводу, то ожидаемого ответа на вопросы, зачем он всё-таки был введён и в каких случаях его рекомендуется использовать, мы не получим. Сотрудники Яндекса не берут на себя ответственность в подобных рекомендациях, но при этом и не запрещают использовать noindex в своих целях.

Какие были преимущества у этого тега?

1. Можно было закрыть блок внешних ссылок от индексации (как это делает, например, студия Артемия Лебедева в легендарном смайлике).

Действительно, удобно было закрывать таким способом немодерируемые ссылки, в том числе и в комментариях. Но после введения Яндексом возможности использовать rel=nofollow, как это делают другие крупные поисковые системы, можно смело отказаться от тега noindex, если он использовался только для закрытия внешних ссылок.

2. Можно управлять сниппетом (описанием сайта) в поисковой выдаче.

Так как Яндекс не всегда умеет формировать из контента страницы хорошие сниппеты для своей выдачи, оптимизаторы нашли выход использовать , подбирая оптимальные варианты. Кто из вас так делает? Наверняка меньшинство, так как это трудная и долгая работа. Вместо того, чтобы решить проблему на своей стороне (в алгоритмах), Яндекс предлагает решать проблему вебмастерам. Кстати, в Google нет подобного тегу noindex функционала 😉

3. Для Google показывать одно, для Яндекса – другое!

Тегом вебмастера пытались оптимизировать контент сайта и для Яндекса (от которого надо было спрятать некоторые участки кода) и для Google, используя совместно другие техники. Не это ли является явным манипулированием поисковыми алгоритмами или подменой контента, против которой так яро борятся яндексоиды? 🙂

4. Подбирать оптимальную плотность ключевых фраз.

Доходит до того, что в тексте оптимизаторы лишние фразы закрывают этим тегом, чтобы Яндекс не счел этот текст спамным. При этом, для посетителей он-таки часто остаётся спамным 🙂 Отсюда и корни большинства бед в SEO , а нужно было лишь дать оптимизаторам этот тег. С другой стороны, Яндекс всегда может узнать по таким маркерам, работал ли с текстом оптимизатор или это нормальный контент.

Кстати, Яндекс не рекомендовал использовать noindex для подбора оптимальной плотности ключевиков, это уже происки оптимизаторов (об этом яндекс и не мог подозревать при введении поддержки тега), зато он активно пессимизирует документы, где часто встречается этот тег.

5. Закрывать счетчики и баннеры.

Экономя на каждой ссылке, вебмастера закрывали в noindex и счетчики посещаемости. Прошло много лет, сейчас Яндекс прекрасно понимает, где что у вас расположено на сайте (в том числе и счетчики). Закрывать их от индексации смысла нет, лучше убрать всё неиспользуемое.

Как мы видим, используется лишь оптимизаторами и всё, для чего используется это не попытка сделать ресурс лучше, а попытка управлять поисковым алгоритмом в свою сторону, хотя это и не всегда получается. Также все рекомендации, присутствующие в сети по использованию noindex даны оптимизаторами и ни одной от А.Садовского или И.Сегаловича.

Учитывая всё вышеперечисленное, настоятельно не рекомендуется использовать инструмент серой оптимизации noindex, особенно если он раньше не использовался на сайте и существуют дополнительные проблемы с ресурсом (фильтры, подмена релевантной страницы, и другие).

И ещё… У яндекса нет ни одной причины продолжать поддерживать тег noindex (разве что “не трогать то, что работает”). После ввода поддержки атрибута nofollow для ссылок, сложно понять мотив яндексоидов оставить noindex. Возможно, скоро его поддержка будет прекращена.

Таков мой взгляд на однобокий тег noindex. А что вы думаете по этой теме?