Современное общество уже не представляет жизни без социальных сетей. Интернет-аудитория активных пользователей продолжает неуклонно расти. Предлагаю взглянуть на это все со стороны продвижения бизнеса. Какие социальные сети индексируются поисковиками и помогают ли социальные факторы в поисковом продвижении сайтов?

Индексация Twitter

Поисковые системы охотно индексируют твиты. У Яндекса даже есть отдельный поиск по твитам. Ссылки в твитах также индексируются, в том числе и непрямые (например, через сервисы goo.gl/ и др.). При этом твиттер индексируют быстророботы, узнать такие ссылки в выдаче можно по указанной рядом дате или времени:

До момента ее индексации подобная ссылка передает только трафик с твиттера. Интернет в целом движется в сторону социальщины, так что пора начинать «собирать лайки на коммерческие сайты», чтобы оказаться на гребне волны, когда поисковые машины пересмотрят свою политику.

Итак, для того чтобы твит лучше индексировался, нужно:

• большее количество ретвитов;
• добавление в favorites;
• авторитетный аккаунт

Таким образом твиттер помогает продвижению сайта и ускоряет его индексацию.

Индексация Одноклассников

Около недели как страницы пользователей социальной сети « » начали индексироваться поисковиками. Это относится и к группам. Любой пользователь может отключить функцию индексации, чтобы защитить личную информацию о себе. Также у пользователей социальной сети есть возможность выборочно закрывать от поисковиков свою информацию – статусы, фотографии и другую информацию.

Индексация Facebook

Cсылки в Facebook стоят с атрибутом nofollow, т.е. вес по ним не передается поисковым системам и не влияет на тИЦ и PageRank. Но они все равно индексируются поисковиками. И наибольшую пользу приносят лайки самой социальной странички компании, а не публикаций на ней. Именно такие ссылки учитываются поисковыми системами. Чем больше лайков получает страница в Facebook продвигаемого сайта, тем больше ссылок с разных страниц пользователей социальной сети будет стоять на продвигаемый сайт.

Наибольшую ценность и вес, как и в твиттере, представляют лайки авторитетных аккаунтов и известных страниц. Это так же положительно сказывается и на трафике сайта. Для привлечения лайков на продвигаемый сайт можно создавать интересный контент, проводить различные конкурсы и опросы.

Влияние на SEO несколько ниже, чем у Twitter, но тем не менее приносит определенную пользу, и не стоит этим пренебрегать.

Индексация Google+

Хотя Мэтт Катс в свое время заявлял, что Google+ не имеет прямого влияния на релевантность сайта, по нашему опыту подобное влияние все же существует. В выдаче Google отдает предпочтение сайтам, добавленным в Google+ Круги. При поиске по местным результатам Google часто ставит местные Google+ результаты выше других.

Положительно на продвижение влияют не только +1 от авторитетных пользователей (Google Author Rang), но и пользователей старой почты Gmail. Проверенное авторство на информацию в Google+ служит залогом доверия у поисковой машины, т.е. в выдаче информация от проверенного аккаунта будет иметь большую релевантность, чем информация без подобной проверки.

Но не стоит искусственно накручивать +1, это чревато санкциями со стороны поисковика, ведь определить такие манипуляции для Google не представляет большого труда.

Индексация ВКонтакте

ВКонтакте все ссылки стоят через редирект, т.е. для передачи тИЦ и PageRank они бесполезны. Но в выдаче Яндекса можно найти профили из , а в поиске по блокам – статусы и заметки, где так же могут быть размещены и ссылки. Как минимум это обеспечит дополнительный трафик.

Яндекс так же обращает внимание на количество человек в группе продвигаемого сайта, а вернее на виджет, расположенный непосредственно на сайте. Если их более 500, поисковик учитывает эти данные при ранжировании сайта.

Индексацию личного профиля поисковыми системами при желании можно отключить.

Индексация YouTube

Все хорошо знают чей это сервис) Очень хорошо индексируется в Google, немного хуже в Яндексе. YouTube может дать большое количество посетителей. Для этого нужно заполнять все поля (описание,теги), выбрать удачное изображение на обложку видео. Особенно важно — это заголовок видео и ссылка на ваш ресурс.

Индексация Pinterest

В настройках социальной сети Pinterest можно выбрать будет ли ваш профиль индексироваться поисковыми системами или нет. В Яндексе не было замечено чтобы он индексировал профили. В Google все хорошо. Если у вас есть сайт то лучше добавить его в профиль.

Индексация Instagram

Пользователям Instagram которые предпочитают использовать функцию приватного доступа к аккаунту в Instagram, нет нужды беспокоиться о вопросах приватности с веб-профилями.

По словам разработчиков, если у вас приватный аккаунт, ваши фотографии смогут увидеть только залогиненные пользователи, которым вы дали доступ. Это также означает, что только эти ваши подписчики смогут комментировать и лайкать ваши фото в сети.

Более того, поисковики не индексируют фотографии в Instagram - вне зависимости от настроек приватности. Если у вас есть сайт то рекомендуется добавить его в профиль. Это будет бонусом как для поисковой индексации так и для узнаваемости.

В заключение

Ссылки из социальных сетей не имеют определяющего значения на положение сайта в выдаче и не передают вес сайту, но тем не менее косвенно влияют на его продвижение. Социальные сети и блогосфера – это миллионы людей, которые своими поведенческими реакциями отражают в том числе и свое отношение к сайтам. И для поисковиков социальные факторы – это в первую очередь человеческие сигналы, которые так же можно применять для . Пренебрегать SMM не стоит. Но даже если у вашей компании нет своей странички/группы в социальной сети, вы не ведете корпоративный блог или твиттер, имеет смысл хотя бы разместить на сайте кнопки социальных сетей для привлечения дополнительного трафика. Это пойдет только на пользу!

P.S Возможно я забыл какую то популярную социальную сеть которая индексируются поисковиками, напишите в комментарии.

Твитнуть

Отправить

То очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).

• Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
• Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
• В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).

Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе . Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

Несколько способов.

Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

• Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
• Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы

Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)

Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике .

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: https://сайт/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom =324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:

Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)

Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:

После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

Доброго времени суток, дорогие друзья. Многие начинающие веб-мастера, самостоятельно занимающиеся продвижением своих сайтов, не уделяют должного внимания индексации своего ресурса. Это приводит к потере времени и денег, затраченных на создание неэффективной интернет-площадки, которую не любят поисковики, а соответственно, и пользователи с рекламодателями.

Поэтому сегодня, продолжая цикл статей о сайтостроительстве, мы поговорим о том, как проверить проиндексирован ли сайт в целом и его отдельные страницы в частности, а также обсудим, как и для чего нужно ускорять процесс индексации.

Мы уже не раз говорили о том, что можно только при условии достижения высокого уровня посещаемости, интересного потенциальным рекламодателям.

Большинство пользователей попадает на определенный ресурс из поисковых систем, вводя в них интересующие их запросы. Поисковые роботы сверяют эти запросы со своей базой данных и выводят оптимальные результаты поиска. Для того чтобы сайт попал в эту базу, он должен быть проиндексирован поисковой системой. В противном случае посетители просто не смогут найти его.

При этом очень важно, чтобы не просто ресурс, но каждая его новая страничка была максимально быстро учтена поисковиком. Оптимально, если она содержит внутреннюю перелинковку, позволяющую не только заносить в базу новый материал, но и по указанным ссылкам обновлять старый.

Почему индексация должна быть быстрой?

Кроме увеличения трафика посетителей скорость индексирования влияет и на многие другие показатели ресурса.

Ежедневно в сети появляются новые сайты, тематика которых конкурирует с вашей веб-площадкой. Все они наполняются схожим контентом, который по мере роста численности конкурентов, теряет свою уникальность. Это происходит оттого, что большинство сайтов занимается публикацией многочисленных рерайтов. Простым языком, если вы написали уникальную статью и сразу не позаботились о ее учете поисковиком, не факт, что в момент такового материал останется уникальным.

Кроме того, не проиндексированный контент становится лакомой мишенью для мошенников. Недобросовестному веб-мастеру ничего не мешает попросту скопировать материал на свой ресурс, провести быстрое индексирование и получить от поисковых роботов право на его авторство. А вашу статью поисковики в дальнейшем сочтут не уникальной, что может привести к бану интернет-площадки. Поэтому контролировать и ускорять процесс индексации особенно важно для молодых ресурсов, пробивающих себе дорогу.

Еще одним моментом, зависящим от быстрого индексирования каждой страницы, является возможность получать деньги за платные ссылки. Ведь до тех пор, пока статья с ссылкой не будет проиндексирована поисковиками, свое вознаграждение вы не получите.

Как проверить проиндексирован ли сайт в целом?

Для начала стоит убедиться, что ваш сайт попадает в базу поисковиков. Для этого нужно узнать общее число его страниц. При наличии современной системы управления веб-ресурсом, посмотреть данную цифру можно в административной части. При этом учитывается итоговое число страничек и записей.

Если по какой-либо причине данная информация недоступна, можно воспользоваться сервисом Xml-sitemaps.com. Учтите, что он бесплатен только при работе с сайтами, имеющими в своем арсенале до полутысячи страниц.

Узнав требуемое число, можно приступать к проверке индексирования площадки в главных поисковых системах – Яндекс и Google. Для этого существует несколько способов:

• Использование специальных инструментов для веб-мастеров: webmaster.yandex.ru и google.com/webmasters . Зарегистрировавшись в них и добавив свой ресурс в систему, вам станут доступны не только данные о количестве проиндексированных страничек, но и статистика других «пузомерок».
• Ручная проверка через ввод специальных команд в строку поиска. При этом в Яндексе нужно ввести конструкцию host:имя сайта+домен либо host:www+ имя сайта+домен, например, host:abc.ru. На это система выдаст все проиндексированные страницы. Для проверки в Google потребуется ввести запрос: site:имя сайта+домен, т.е. site:abc.ru.
• Использование автоматических сервисов, проверяющих индексацию сразу в обеих поисковых системах. К числу таких относятся, например, Site-auditor.ru , Pr-cy.ru или Seolib.ru . Также можно добавить в свой браузер плагин RDS Bar, который будет показывать сведения о ресурсе, включая индексацию страничек, на котором вы находитесь.

С помощью любого из данных методов можно узнать, проиндексирован ли сайт в целом, и определить число занесенных в базу поисковиков страниц ресурса.

Что делать с полученной информацией?

В идеале, количество страничек сайта должно совпадать с числом проиндексированных страниц. К сожалению, так бывает далеко не всегда. Гораздо чаще встречаются два варианта развития событий:

• Проиндексированное число элементов – меньше. Соответственно, вы сильно теряете в трафике, ведь по многим запросам пользователей ваш сайт остается недоступным для них.
• Количество проиндексированных страниц превышает реальное число таковых. Если у вас подобный вариант, радоваться не стоит. Вероятнее всего имеет место дублирование страничек, что размывает их вес, увеличивает число повторяющегося материала и мешает продвижению ресурса.

Обе проблемы необходимо максимально быстро решить. Иначе вы рискуете получить неэффективную веб-площадку, заработать на которой можно только в мечтах. А для этого придется проверить индексацию всех страниц по отдельности, чтобы узнать, какие из них «стратили».

Как проверить индексацию отдельной или всех страниц

Проверка отдельной странички нужна, когда необходимо убедиться, что новый опубликованный контент успешно «замечен» поисковыми системами. Или когда вы приобрели на чужом ресурсе платную ссылку и теперь с нетерпением ждете ее индексации. Это можно сделать через:

• Ввод URL страницы в строку поиска Яндекс или Google. В случае если проблем с восприятием страницы поисковиками нет, она первой отобразится в результатах поиска.
• Уже упомянутый плагин RDS Bar.

Для проверки индексации всех страничек сайта понадобится список их адресов (URL). Для этого можно воспользоваться каким-либо генератором карт веб-ресурсов, к примеру, Sitemap Generator. Чтобы собрать только URL страниц, не забудьте внести маску ненужных адресов, например, на комментарии, в окне «Exclude Patterns». По окончании процесса следует перейти во вкладку Yahoo Map/Text, откуда скопировать сгенерированный перечень всех адресов.

Имея его на руках, индексацию всех страничек не составит труда проверить с помощью программы YCCY.ru . Просто добавьте данные в список исходных URL и выберите одну из предложенных поисковых систем: Google, Яндекс или Rambler. Нажмите кнопку «Начать Проверку» и получайте утешительные или не очень результаты.

Как улучшить и ускорить процесс индексации?

Узнав перечень непроиндексированных страниц, необходимо разобраться в причинах этого. Прежде всего, стоит проверить качество работы хостинга и самой веб-площадки и убедиться в уникальности размещенных материалов. Далее промониторьте ресурс на наличие контента слишком короткого (до 2 000 символов без пробелов), содержащего более 2-3 ссылок на сторонние ресурсы, либо много Java и Flash ссылок. Все эти факторы в первую очередь могут влиять на то, что ваш материал остается «невидимым» для поисковиков.

Ускорить процесс индексирования сайта можно с помощью:

• частого обновления уникального материала, что очень ценят поисковики;
• грамотной внутренней перелиновки страниц, позволяющей поисковым системам видеть новый и обновлять уже содержащийся в базе контент;
• публикации ссылок на статьи во всех социальных сетях и тематических форумах;
• закупки ссылок с прокачанного аккаунта.

Надеюсь, вы поняли, что быстрая индексация страниц ресурса – основа его продвижения в поисковиках, от которой напрямую зависит ваш потенциальный доход.

Как известно, сделать понятный, красивый и интересный сайт – это только полдела. Остальная работа – добиться высокой посещаемости. В начале существования сайта основная масса посетителей приходит на него из популярных поисковых систем.

Итак, сайт создан, выложен на хостинг, наполняется информацией. Владелец ведет над ним непрерывную работу, а посещаемость все равно не растет. Сайта нет в результатах выдачи Google и Yandex? Это непосредственно связано с тем, что поисковики не сразу индексируют новый сайт, а через определенный промежуток времени. Как долго ждать посетителей? Сколько времени индексируется сайт в Google и «Яндекс»?

Для начала нужно разобраться, от чего вообще зависит скорость индексации сайта. Как показывает практика, на нее влияют следующие факторы:

• движок сайта;
• возраст домена и доменная зона;
• частота наполнения сайта контентом.

Чтобы разобраться в том, сколько времени индексируется сайт в «Яндексе» или Google, нужно детальнее познакомиться с каждым из пунктов.

Индексация сайта в Google и «Яндекс»: разбивка по группам

1. Высшая категория. Живые форумы и новостные сайты. Боты на таких сайтах пасутся регулярно. Индексация для таких сайтов никогда не будет проблемой, так как страницы заходят в индекс практически моментально.
2. Первый сорт. Часто обновляемые, трастовые сайты. Сюда поисковые боты заглядывают каждый день и быстро индексируют новые страницы.
3. Второй сорт. Качественные сайты, обновляемые каждую неделю. На них поисковый робот заглядывает периодически, как только появилось сообщение о том, что ресурс обновился. В некоторых случаях индексация на них может задерживаться дней на семь.
4. Третий сорт. Если Ваши сайты не подходят к первым трем группам, то, скорее всего, они где-то здесь. «Яндекс» заходит на сайт, когда ему захотелось, и это никак не влияет на скорость. Иногда индексации ждать приходится очень долго.
5. Не сортовые сайты. К этой группе относятся все новые сайты, которые только недавно были выложены на хостинг. Если никак не влиять на их индексацию, то может уйти несколько месяцев, пока они появятся в поиске. Больше всего вопросов и возгласов, связанных с индексацией сайтов в Google и «Яндексе», поступает от владельцев таких ресурсов.

Естественно, такая разбивка на группы была сделана условно, а не из официальных источников «Яндекса» или Google.

Сколько времени индексируется сайт в Google?

На новый сайт быстрее всего заходит робот от Google. Уже в первую неделю после создания сайта в поиске могут появиться некоторые страницы. Google одинаково хорошо индексирует доменные зоны.ru и.com. Хотя в зоне.com сайты вылезают в поиске несколько раньше. Бытует мнение, что домен в зоне.info индексируется медленно. Что касается доменной зоны.рф, то здесь проблем индексации не отмечено (хотя мнения веб-мастеров в этом плане отличаются).

Сколько времени индексируется сайт в «Яндексе»?

В поисковой выдаче сайт появляется спустя две-четыре недели после добавления его в аддурилку. Но это время может несколько затянуться по причине редких апдейтов поисковой базы.

Если Вы создали сайт, но на нем нет посетителей, не стоит опускать руки. Ведите над ним планомерные работы, и в скором времени заметите первые движения.

Особенно хорошо индексируются «Яндексом» и Google сайты, построенные на популярных движках, таких как WordPress, Drupal, DLE, 1C-Bitrix, OpenCart и т.д. Такие скрипты интернет-магазинов, как Webasyst, Shop Script и Vam Shop, индексируются намного хуже. Могут встречаться проблемы и с индексированием сайтов на самописных движках.

Во многом скорость индексации сайта в «Яндексе» и «Гугле» зависит и от того, насколько часто он наполняется контентом. Например, поисковый бот зашел на сайт раз в три дня. Если он заметит, что контент редко обновляется, то, соответственно, и заглядывать на него он будет реже. При регулярном обновлении контента Google и «Яндексу» придется чаще заглядывать на сайт, чтобы никогда не отставать от последних обновлений. Если нет возможности регулярно добавлять новости самостоятельно, можно воспользоваться планировщиком записей.

Возраст домена тоже сказывается на скорости индексации ресурса. Более старые домены, имеющие определенный вес, будут индексироваться быстрее, чем новые. При этом трафик может идти с других сайтов посредством внешних ссылок.

Как ускорить индексацию сайта?

В поисковых системах есть специальные сервисы – аддурилки, которые позволяют «рассказать» поисковым системам о том, что появился новый сайт. Также Вы можете добавить свой сайт в популярные каталоги, такие как «Яндекс.Каталог», DMOZ и прочие.

Для ускорения индексации поможет регистрация в социальных сетях и закладках (vkontakte.ru, twitter.com, memori.ru и другие). Туда можно добавлять анонсы своих новостей.

Также можно завести свои блоги на livejournal.com, blogs.mail.ru, blogspot.com, my.ya.ru и др. Регулярно добавляйте записи со ссылками, и индексация сайта заметно улучшится.

Не забывайте о таком важном моменте, как внутренняя перелинковка. Она помогает продвигать сайт по НЧ-запросам, а также способствует улучшению поведенческих факторов.

Поисковые роботы часто посещают трастовые блоки с их комментариями. Они отслеживают в блогах все ссылки и индексируют их, переходя на Ваш ресурс. Но при размещении комментариев соблюдайте правила блога, добавляя ссылки в специально отведенное место, чтобы исключить удаление Вашего комментария.

Достаточно трудоемким является способ размещения большого количества текстов со ссылками на свой сайт. Сложность заключается в том, что Вам придется писать много интересных статей, которые бы выполняли функцию, похожую на каталог ссылок.

Нужно построить грамотную и четкую структуру ресурса. Она должна быть удобной и легкой для работы поисковых ботов со страниц. Добиться этого несложно. Принцип состоит в том, чтобы ссылки на страницах направляли бота с одной страницы на другую.

Если сайт состоит из огромного количества страниц, то робот просто может не добраться до последних страниц, наиболее удаленных от главной. В таком случае нужно создать карту сайта и продумать структуру так, чтобы каждая из страниц была не больше трех кликов от главной.

Веб-мастера отмечают, что основное содержимое сайта быстрее индексируется, нежели статьи в разделах, которые не отдаются в RSS-ленту и не появляются на главной. Статьи в скрытых разделах в некоторых случаях способствуют ускорению индексации. Хотя если Вы готовы ждать несколько недель, то дергаться не нужно.

В принципе способов улучшения индексации в «Яндексе» и Google гораздо больше, но даже этих вполне достаточно.

Что делать, если поисковик отказывается индексировать сайт?

Часто на форумах можно встретить вопрос: «Почему сайт не индексируется?». И на это есть несколько самых распространенных причин:

• Сайт закрыт от индексации командой в файле txt. Подкорректируйте файл, открыв сайт для индексации, добавив следующую строчку:

User-agent: *
Disallow:

• Ошибка в коде сайта, не позволяющая видеть поисковикам страницы сайта. К примеру, текст заключен в следующие теги .
• Неуникальный контент. Важно, чтобы тексты на сайте были уникальными, то есть они не должны встречаться на других сайтах. Поисковики особенно не любят сайты с неуникальным контентом, которые продают ссылки. Рано или поздно они попадают под фильтры, из которых выйти практически невозможно. Если ранее сайт имел неуникальный контент, но с него не продавались ссылки, то есть вероятность, что сайт будет нормально ранжироваться и индексироваться, если Вы добавите уникальные статьи.
• Переспам, переоптимизация. Не злоупотребляйте вхождением ключевых слов в статье и такими тегами, как , , , . Все должно быть непринужденно и естественно.
• Некачественный контент. Не стоит экономить на текстах, если Вы надеетесь на развитие сайта.
• Сайт выступает зеркалом другого сайта. Речь идет о той ситуации, когда есть сайт с полностью уникальным контентом, но по структуре и смыслу он частично или полностью копирует другой сайт. «Яндекс», по крайней мере, не очень любит такие сайты, и если он их вычисляет, то «склеивает» их с «главным зеркалом» всех ресурсов.
• Продажа ссылок с сайта. Поисковые системы плохо относятся к сайтам, которые продают ссылки. Как следствие, выпадение всех страниц из индекса. В этом плане «Яндекс» более жестокий, чем Google, который ранжирует все что можно и нельзя.
• Ссылочный взрыв. Если на неизвестный сайт в один прекрасный день начнут ссылаться сразу тысячи сайтов, то это может стать причиной санкций со стороны поисковиков.
• Домен, который Вы купили, был заблокирован (забанен) поисковыми системами.
• Хостинг блокирует поисковых ботов. К сожалению, и такая ситуация может быть. Поэтому пользуйтесь услугами хостинга с проверенной репутацией.

Как проверить индексацию сайта?

1. Проверить страницы, вошедшие в индекс, можно очень легко. Достаточно скопировать URL и вбить их в поисковую строку «Яндекса» или Google. Если Ваша страница видна в поиске, это означает, что она занесена в базу поисковика. Если ее нет в выдаче, то она не прошла индексацию.
2. Сервис pr-cy.ru и тому подобные позволяет Вам обо всем узнать быстрее и проще. С его помощью можно контролировать индексацию всего сайта и посмотреть, какие страницы уже вошли в индекс и каков их процесс. Внесите в форму адрес сайта и нажмите на кнопку «Анализировать», после чего Вы получите подробный отчет по данным.
3. В меню «Яндекс.Вебмастер» и GoogleWebmaster Они содержат функции проиндексированных страниц и другую полезную информацию. В «Яндекс.Вебмастере» отдельно подсчитывается число страниц, которые прошли проверку роботов, и общее количество загруженных страниц для будущей индексации.

Что делать, если Вы исправили все недочеты, но сайт все равно не индексируется?

Если вышеперечисленные советы не помогли, сайт все равно не индексируется, то здесь остается только одно – обратиться за помощью к сотрудникам поисковых систем:

• Написать Google. Вы можете задать вопрос Google на родном языке, но ответ получите на английском, и он будет стандартным. Первый ответ будет приблизительно таким: «Мы получили Вашу заявку на пересмотр сайта и т.д.» Второй ответ, если с сайтом все нормально, будет примерно следующим: «Мы рассмотрели сайт и не обнаружили присутствие спама. Ожидайте, пока сайт будет проиндексирован».
• Написать «Яндексу». В большинстве случаев ответ от «Яндекса» приходит такой: «Улучшайте качество сайта». Однако не стоит расстраиваться, если Вам пришел шаблонный ответ. Скорее всего, это означает, что времени на рассмотрение Вашего ресурса совсем не было. В таком случае вступите в долгую переписку с представителями поисковика, стараясь отстоять свои права. Они должны понять, что Ваш сайт им небезразличен. Если Вы будете до конца уверены в том, что ресурс качественный, фильтр будет снят.

Внимание! Не давайте адрес сайта на разных форумах, блогах и прочих ресурсах, если он еще не проиндексировался. В противном случае у Вас просто своруют контент, скопировав его с Вашего сайта и разместив на своем. Также не рекомендуем регистрировать сайт, который еще не вошел в индекс, поскольку владельцы каталогов могут проверить сайт на наличие страниц в поиске и своровать его страницы.