Всем привет! Сегодняшняя статья для тех, кто ведет блог на WordPress и использует для генерации XML-карты сайта плагин Google XML Sitemaps. 30 марта 2014 года плагин обновился до новой версии 4.0. Визуально карта для поисковиков теперь выглядит не совсем привычно. Что делать - искать альтернативу или оставить, как есть? Без паники, давайте во всем разберемся.

Для тех, кто не в курсе, что это такое и зачем оно вообще надо, читаем статью “ “. Там же найдете информацию по установке и настройке плагина версии 3.x. Она может пригодиться, если вы по каким-то причинам используете WordPress 3.2 и ниже.

Внимание! Для работы плагина Google XML Sitemaps 4.0 требуется PHP 5.1 и WordPress 3.3. С более низкими версиями он работать не будет.

Очевидно, что разработчики плагина люди не глупые и, если они считают, что создают правильный sitemap.xml, то им можно доверять. Новый формат официально поддерживается Гуглом.

Преимущества нового формата для создания динамической карты сайта XML

• Поисковики не обрабатывают карты, имеющие более 50 000 url-адресов и 10 Мб веса. Теперь этой проблемы для крупных порталов не существует, так как вместо одного огромного статического файла sitemap.xml, используется множество маленьких динамических суб-карт. Для каждого типа содержимого (посты, страницы, рубрики) создаются свои xml-файлы, отсортированные по месяцам.
• Меньше ресурсов задействуется на стороне сервера, так как нет необходимости генерировать огромный файл.
• Маленькие файлы загружаются быстрее, чем один большой.
• Поисковики видят, когда отдельная суб-карта была изменена и сканируют только ее, не делая лишних движений.

После обновления карта сайта выглядит так:

А вот, как было раньше:

Что делать тем, кто не хочет использовать новый формат? Искать альтернативу. Например, сделать XML-карту с помощью плагина All in One Seo Pack или WordPress SEO by Yoast. Для остальных продолжим.

Установка плагина Google XML Sitemaps (версия 4.0.4)

Скачать актуальную версию плагина можно по ссылке http://wordpress.org/plugins/google-sitemap-generator . Потом идем в админку блога по пути “Плагины ” – “Добавить новый ” и жмем кнопку “Загрузить “.

Выбираем на компьютере скачанный zip-архив и жмем “Установить “.

Активируем плагин и переходим к настройкам.

Обновление Google XML Sitemaps с версии 3.x до 4.0.4

Если старая версия у вас уже была установлена, то для ее обновления надо сделать два действия.

1. Заходим в админку Вордпресс и обновляемся стандартным способом.

2. Скорее всего, этот шаг вы уже давно сделали. Тем не менее, сама карта не обновилась. Поэтому идем в “Настройки ” – “XML-Sitemaps ” и видим предупреждающую надпись красного цвета. Она гласит, что на хостинге находятся файлы sitemap.xml и sitemap.xml.gz , которые надо удалить вручную или автоматически, нажав на ссылку.

После этого вы увидите сообщение, что файлы удалены.

На самом деле это не так, они все еще в папке блога, но уже под другими именами: sitemap.backup.xml и sitemap.backup.xml.gz . Советую пока не удалять, вдруг еще пригодятся.

Теперь можно настроить плагин.

Настройка Google XML Sitemaps

Переходим на страницу “Настройки ” – “XML-Sitemaps “. Чтобы было понятнее, я воспользовался переводчиком в браузере Гугл Хром. Далее делайте все, как на скриншотах. Некоторые моменты я буду разъяснять ниже.

Базовые параметры

Чтобы информировать об изменениях на сайте поисковые системы Google и Bing, ставим первые две галочки.

Если у вас на хостинге имеется файл robots.txt, а он обязательно должен быть, то третью галочку убираем. Но не забудьте вручную прописать в роботс ссылку на карту сайта вида http://ваш_сайт/sitemap.xml .

Можно отметить пункт “Include sitemap in HTML format ” (Включите карту сайта в формате HTML). В этом случае карта будет доступна по дополнительному адресу ваш_сайт/sitemap.html . Только не путайте с . Эта именно для поисковиков и выглядит так:

Тут можно добавить доп.страницы, не принадлежащие блогу. Мне это без надобности.

Приоритет статьи

По умолчанию отмечен пункт “Количество комментариев “, но я устанавливаю “Не использовать автоматическое вычисление приоритета “. В этом случае все посты будут иметь одинаковый приоритет, который можно задать в соответствующем разделе ниже. Если комментарии на сайте отключены, то тем более делаем, как я.

Тут отмечаем типы веб-страниц, которые мы хотим отображать в XML-карте. Обязательно ставим самую нижнюю галочку “Include the last modification time ” (Добавить дату последнего изменения). Поисковые системы могут использовать эту информацию для своевременной переиндексации изменений.

Исключенные элементы

Здесь можно исключить целые рубрики или отдельные web-страницы по ID.

Изменить частоты

Указываем, как часто поисковики должны проводить сканирование. Вот только они все равно все сделают по-своему.

Приоритеты

Тут можно ничего не менять. Разве что уменьшить значения для временных архивов, меток и авторских архивов - все равно они обычно закрыты от индексации.

После всех изменений, завершаем настройку Sitemap.xml, нажав на голубую кнопку “Обновить параметры “.

Добавляем файл Sitemap в поисковики

Внимание! Добавляем только основной индексный файл sitemap.xml. Остальные суб-карты поисковики просканируют автоматически.

Если вы уже добавляли карту в поисковики, то для Гугла это надо сделать повторно, а Яндекс должен сам все переиндексировать.

Для Google

Идем в Инструменты для веб-мастеров, выбираем нужный сайт и переходим на страницу “Сканирование ” – “Файлы Sitemap “. Находим ссылку на свой файл и нажимаем на нее.

На следующем этапе узнаем, когда был отправлен и обработан файл в последний раз, а также сведения об ошибках, если они есть. В правом верхнем углу жмем на большую красную кнопку “Отправить файл Sitemap повторно “.

Видим следующее сообщение.

Спускаемся немного ниже и наблюдаем, как обрабатываются все наши суб-карты.

Через несколько минут все статусы “В ожидании ” изменятся на дату обработки. Далее проследите, чтобы в графе “Проблемы ” были все прочерки. В графе “Элементы ” показывается фактическое количество страниц, которые содержит каждый суб-файл. Значения в графе “Проиндексированные ” должны совпадать с количеством отправленных страниц. Индексация url-адресов происходит не сразу, Гуглу надо для этого некоторое время.

Для Яндекса

У Яндекса нет возможности отправить файл повторно, он сам со временем его переиндексирует. Но на всякий случай можно произвести проверку.

Идем в Яндекс.Вебмастер по пути “Настройка индексирования ” – “Файлы Sitemap “. Жмем кнопку “Проверить “.

Если ошибок нет, то ждем пока Яндекс просканирует новую карту. Обычно это происходит раз в две недели.

Вот и все. Получилось много текста, но делается все это в течение нескольких минут. Если вы решили не изменять плагину Google XML Sitemaps, то эта статья вам пригодится. Можете сохранить ее в “Закладки ” .

P.S. Как вы считаете, что лучше использовать для создания правильной XML-карты сайта - плагин от Гугла или встроенные модули плагинов All in One Seo Pack, WordPress SEO и им подобных? Высказывайтесь в комментариях, не стесняйтесь.

Доброго времени суток.

Продолжаем описание плагинов для CMS WordPress из и сегодня мы поговорим о том как создать xml карту сайта с помощью плагина Google XML Sitemaps — мое мнение — его нужно устанавливать на каждый сайт в обязательном порядке. Затронем тему онлайн генераторов файла sitemap.xml а также что делать с картой сайта после ее создания.

Давайте сперва разберемся, что такое xml sitemap и для чего это вообще нужно:

XML Sitemap – это некая карта сайта, специально «подточенная» для поисковых систем как Google так и Яндекс и другие, не менее важные поисковики. Расширение этой карты — .xml – сделанное специально для того что бы поисковики смогли прочесть находящиеся там информацию. А находятся там все ссылки Вашего сайта, которые Вы допустили к индексации.

Из этого и следует предназначение xml карты сайта – создавать ее нужно для того что бы поисковики смогли быстрее проиндексировать нужные Вам страницы и материалы на сайте.

Для того что бы удалить ненужные Вам страницы как метки, рубрики и т.д. (то есть все то что приводит к дублированию контента) из индекса поисковиков – Вы должны настроить свой файл robots.txt , но об этом в других статьях.

Возвращаясь к наше теме, хочется обратить Ваше внимание на то что, как правило, карта сайта в формате «XML » создается для поисковых систем , «HTML » карта сайта – для Ваших посетителей . Пожалуйста не путайте эти 2 «понятия ».

Если хотите сделать карту сайта в html формате (это карта для Ваших посетителей), ознакомьтесь с описанием лучшего WordPress плагина для этой цели – – посмотрите на страницу «Все статьи блога » — моего сайта.

Если Вы не знаете как найти ID страниц, записей, категорий и т.д., которые Вам могут понадобиться для настройки плагинов DDSitemapGen, Google XML Sitemaps и т.д. – почитайте про плагин - .

Отвечу на, возможный, вопрос – «Какую из них создавать, xml или html карту сайт? »

Ответ – обе карты нужны, по вышеизложенным причинам.

Хочется отметить, что после создания именно xml карты своего сайта, и правильной настройки robots.txt , было замечено сокращение времени попадания новых статей в индекс Google и Яндекса.

И на последок, хочу привести пример некоторых исследований в сфере сайто-продвижения, которые явно показывают, что отсутствие xml карты сайта существенно влияет на индексирование и соответственно, попадание страниц ресурса в поисковых выдачах. Смотрите скриншот ниже:

Разбиваю статью на 3 части:

1. Как создать и настроить xml карту сайта с помощью плагина Google XML Sitemaps для сайтов на WordPress.

2. Онлайн генераторы файла sitemap.xml

3. Что делать после создания файла sitemap.xml

1. Google XML Sitemaps – WordPress плагин для создания карты сайта sitemap.xml

• Изменить частоты:

Этот параметр позволяет настроить частоту посещения робота поисковых систем на Ваш сайт. Почитайте внимательно вложенную информацию, и, как вариант можете настроить как на скриншоте:

• Приоритеты:

Настраивайте приоритеты для каждой страницы по желанию, можете оставить настройки по умолчанию. Главное не понижать приоритет главной страницы по отношению к другим страницам на сайте.

Все! На этом заканчивается настройка WordPress плагина Google XML Sitemaps. Не забудьте сохранить все выбранные настройки путем нажатия на соответствующую кнопку.

Проверить, создалась ли xml карта Вашего сайта можно написав в строке Вашего браузера следующее: «http://ваш_сайт.ru/sitemap.xml ». XML карта должна примерно выглядеть как на картинке ниже:

Напишите в комментариях, какие еще настройки Вы используете для создания xml sitemap , может я что пропустил…

2. Онлайн генераторы Sitemap XML

Ниже представлен список онлайн сервисов для генерации файла sitemap.xml :

• — простой, на первый взгляд онлайн генератор XML карты сайта, но обратите внимание на структуру полученной карты – могут попасть ссылки на картинки или ненужные страницы.

• - этот онлайн генератор, при создании карты, учитывает тег «noindex ». Можно указать ссылки на страницы которые Вы не хотите индексировать. Опять же, в структуру могут попасть и ссылки на картинки и т.д.

• - это более удачный сервис для нашего дела. Учитывает запреты указанные в файле robots.txt , тег «noindex ». Можете воспользоваться платным и бесплатным вариантом. Для бесплатного — стоит ограничение в генерации 3 XML карт в день и не позволяет загружать более 500 страниц. Можете настроить определенный фильтр и исключать ссылки которые содержат картинки. В платной версии – фильтров по больше.

Можете ознакомиться с этими сервисами и узнать более детальную информацию на их страницах.

Совет! Старайтесь создать файл sitemap.xml с помощью плагина Google XML Sitemaps, если не получится можете пользоваться онлайн генераторами или задать вопрос в комментариях .

3. Что делать после создания файла sitemap.xml

Если Вы запомнили то что написано выше, значит уже знаете что карту нужно показать основным поисковым системам для того что бы они смогли корректно отсканировать Ваш сайт.

Для начала, Вы должны зарегистрировать свой сайт в эти самые поисковики: и <<< почитайте подробные статьи о том как это сделать.

• Как добавить карту сайта sitemap.xml в Google

Зайдите в свой аккаунт для вебмастеров гугл -> Сканирование -> Файлы Sitemap -> красная кнопка «Добавление/Проверка Файла Sitemap ».

В нужном поле записываем название файла, не забываем указывать расширение .xml .

• Как добавить карту сайта sitemap.xml в Яндекс

Выполняем вход в свой аккаунт Яндекс.Вебмастер -> Настройка Индексирования -> Файлы Sitemap .

Сперва проверьте файл карты на наличие ошибок. Сделать это можно по ссылке которую Вы там найдете — «Валидатор »

Если ошибок не найдено, возвращаемся на страничку добавления карты, в аккаунте вебмастера.

По новой вводим адрес карты и нажимаем «Добавить ».

Учтите что Яндекс делает обход по Вашей карте раз в две недели – по официальным данным.

Следите за новостями блога и узнаете как правильно создать и настроить этот файл для правильного индексирования Вашего сайта поисковыми роботами.

На последок, хочется сказать то, что хоть и наличие файла sitemap.xml на сайте – сильно не влияет на индексирование сайта и его попадание в поисковую выдачу, но значительно помогает в этом. Не ленитесь, сделайте свою карту и забудьте о ней.

С надеждой на то что Вам помогла эта статья в решении своих задач, позвольте закончить ее, напоминая что вопросы можно задать в комментариях и кнопки соц.сетей находятся ниже.

Здравствуйте!

На связи Илья Журавлёв и сегодня я расскажу вам и покажу – как создать для своего сайта файл sitemap . Что это такое? если говорить своими словами, то файл sitemap предназначен для помощи поисковым системам в индексировании вашего сайта. То есть в данном файле указывается конкретный список страниц и записей вашего сайта, которые должен проиндексировать поисковый робот.

Смотрите, например поисковый робот зашёл на ваш сайт, а у вас там – Бардак! всё смешано, навалено всё в кучу, много разных прибамбасов на сайте. И в таком хаосе роботу сложно правильно индексировать ваш сайт, в таких условиях он может что-то пропустить. Для этого и нужен файл sitemap.xml – где будут указаны только страницы и записи, которые нужно проиндексировать, без лишнего мусора.

Вот что пишет Google о файле sitemap.

Итак, создавать файл sitemap.xml, мы будем с помощью плагина – Google XML Sitemaps . Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: Плагины – Добавить новый , введите название плагина в форму поиска, нажмите Enter, установите и активируйте найденный плагин.

Чтобы попасть на страницу настроек плагина, перейдите по вкладке: Настройки – XML Sitemap .

А теперь разберём настройки.

Search engines haven’t been notified yet , здесь можно посмотреть и открыть файл sitemap.xml в браузере. На остальную информацию в данном окне можно не обращать внимание так как она не важна.

Переходим к – Базовым Параметрам .

– Уведомить Google об изменениях в Вашем дневнике , здесь ставим галочку.

– Notify Bing (formerly MSN Live Search) about updates of your Blog , здесь то же ставим галочку, чтобы уведомить поисковую систему Bing.

– Add sitemap URL to the virtual robots.txt file , если вы используете файл , то здесь галочку ставить не нужно.

– Расширенные параметры , оставляем поля пустыми, а это значит по умолчанию.

– Try to automatically compress the sitemap if the requesting client supports it , оставьте здесь галочку, но если при проверке файла будут выдаваться ошибки, то отключите данную функцию. Данная функция позволяет сжать файл sitemap.xml

– Включить таблицу стилей XSLT , оставьте данное поле пустым, а в конце предложения должна стоять галочка, то есть использовать по умолчанию.

– Override the base URL of the sitemap , оставляем данное поле пустым. Данная функция предлагает сделать переадресацию на другой URL.

– Include sitemap in HTML format , здесь ставим галочку, чтобы карта отображалась в формате .

– Allow anonymous statistics (no personal information) , здесь галочку ставить не нужно. Ставя здесь галочку вы разрешаете доступ к анонимной информации, если она у вас есть.

Дополнительные страницы . Здесь вы можете указать файлы или URL адреса, которые должны быть включены в файл sitemap.xml, но которые не принадлежат вашему сайту или блогу. Чтобы добавить новую страницу, нажмите на вкладку – Добавить новую страницу .

Приоритет статьи . Здесь можно указать использовать ли приоритет для записей на вашем сайте. Лично я указал у себя не использовать вычисление приоритета, чтобы все статьи были равноценны. То есть у меня нет такого, что какая то статья важная, а какая-то не важная, у меня на сайте всё важно.

Содержание карты сайта . Здесь нужно указать какие страницы будут включены в файл sitemap.xml. По умолчанию будут отмечены основные страницы – Домашняя страница, статьи и статические страницы сайта. Я так же рекомендую оставить по умолчанию, как есть. Категории, архивы, страницы авторов, страницы меток – отмечать не стоит, так как это лишний груз.

– Further options, здесь ставим галочку , чтобы сообщать поисковикам при изменении содержании файла.

Excluded items . Если вы включили в файл sitemap категории, то можно здесь исключить некоторые из них. Так же здесь можно исключить определённые страницы, указав в поле их .

Изменить частоты . Здесь можно указать частоту осмотра страниц. Но обратите внимание на предисловие, что это не является командой для поисковых роботов, а лишь рекомендацией. Я указал для всех каждый день. Для страниц которые не включены в файл sitemap, можно ничего не указывать.

Приоритеты . Если в начале настроек вы указали не учитывать приоритеты, то можно здесь ничего не указывать. Но а если приоритеты для вас важны, то укажите их для страниц которые включены в файл sitemap. Если для вас всё важно и вы не хотите ничего выделять, то ставьте одинаковые приоритеты.

В конце жмём – Обновить параметры . На этом всё, плагин настроен, больше вам ничего делать не нужно. Если у вас остались вопросы, то пишите мне. До новых встреч!

Как настроить плагин Google XML Sitemaps обновлено: Май 15, 2018 автором: Илья Журавлёв

Приветствую вас, уважаемые читатели блога сайт. Сразу замечу, что для создания карты блога нам потребуется не один плагин, а целых два. Первый из них, под названием Google XML Sitemaps, будет создавать файл в формате XML, который затем будет скармливаться поисковикам (путем добавления ссылки на него в панелях Яндекс и Гугл Вебмастера, о которых я писал и ) .

Второй плагин, под названием Dagon Design Sitemap Generator, будет создавать предназначенную для посетителей вашего блога карту, примерно такого . Она поможет сделать ваш ресурс более прозрачным для посетителей, т.е. позволит упростить для них перемещение между материалами и поиск нужных постов.

Особенности создания карты в Вордпрессе

Как видно из рисунка, проект, построенный на Joomla (ему примерно четыре месяца), до сих пор проиндексирован достаточно не равномерно разными поисковиками. В то время, как блог сайт, построенный на Вордпрессе (ему тогда было меньше месяца), проиндексирован полностью всеми поисковыми системами. Этот пример, как мне кажется, наглядно показывает эффективность использования данного расширения для ускорения и гарантированности индексации.

Ну, а о Dagon Design Sitemap Generator читайте уже .

Удачи вам! До скорых встреч на страницах блога сайт

посмотреть еще ролики можно перейдя на

Вам может быть интересно

Создание в WordPress карты блога для посетителей (плагины Sitemap Generator и WP DS Blog Map)
Simple Counters и Category and Page Icons - красивые счетчики RSS и Twitter, а так же иконки для категорий и страниц в WordPress
Установка и настройка плагинов для WordPress, решение возможных проблем
All in One SEO Pack и внутренняя поисковая оптимизация блога на WordPress (метатеги Canonical, Description и Title)
Как проверить сайт на битые ссылки - Xenu Link Sleuth, плагин и онлайн-сервис Broken Link Checker, а так же поисковые системы
WordPress плагины на моем блоге (сайт)
Галерея для WordPress на основе плагина NextGEN Gallery - создание и вывод фотогалерей и слайдшоу в статьях

Настройка sitemap.xml и robots.txt

Правильная настройка файла robots.txt и sitemap.xml позволит исключить возможные проблемы, возникающие при индексации.

• § 1. Файл robots.txt
• 1.1. Настройка robots
• 1.2. Проверить файл robots.txt и мета теги
• § 2. Файл sitemap.xml
• 2.1. Карта сайта Sitemap.html(для посетителей)
• 2.1.1. Поиск на сайте через Яндекс
• 2.2. Карта сайта Sitemap.xml (для поисковиков)

§ 1. Файл robots.txt

Это обыкновенный файл, который должен находиться в корне вашего сайта, там же где находится и правильный htaccess, и этот файл говорит поисковым роботам как именно индексировать ваш проект, на какие страницы не стоит обращать внимание, а каким уделить особое внимание

Файл содержит инструкции, предназначенные для поисковых ботов. Размещается он обязательно в корневой директории, благодаря чему индексацию страницы боты начнут именно с чтения условий, изложенных в robots.txt.

Рассмотрим преимущества robots.txt, которые он дает ресурсу.

Файл robots.txt должен находиться на сервере, в корне вашего сайта. Можно также посмотреть на любом сайте в Интернет, для этого достаточно после адреса сайта добавить /robots.txt .

Файл robots.txt , у каждого сайта имеет свои особенности и бездумное копирование чужого файла, может создать проблемы с индексированием вашего сайта поисковыми роботами. Поэтому нужно четко понимать назначение файла robots.txt и назначение инструкций (директив), которые будете использовать, при его создании.

Инструкции файла robots.txt могут:

Запрещать к просмотру страницы (каталоги) для всех поисковых роботов;

Запрещать к просмотру страницы (каталоги) для выделенных поисковых роботов;

Производить редирект на другую страницу при ошибке 404;

Указывать на местонахождение карты сайта;

Указывать время загрузки страниц для индексации.

1.1. Настройка

Создать файл robots.txt , можно воспользоваться любым текстовым редактором, например Блокнотом . Легко написать вручную, не прибегая к помощи различных конструкторов. Для одного сайта нужен один такой файл.

Что нужно прописывать в файле?

Обязательно употребление двух директив: User-agent и Disallow .

User-agent определяет, какому боту адресовано данное послание, Disallow показывает, какую страницу или директорию ресурса запрещено индексировать.

Cписок имен ботов самых популярных поисковых систем:

1.2. Проверить файл robots.txt и мета теги

У некоторых вебмастеров вообще не индексируются сайт целиком или часть и что бы вы не делали, роботы не индексируют сайт. Причиной всему может быть файл robots.txt. Возможно в нем допущена ошибка или он сделан не правильно. Проверьте файл robots.txt на наличие в нем ошибок (например, строка Disallow: / закрывает сайт от индексации целиком или Disallow: /news/ закрывает к индексации раздел новостей.) или закрытых важных директорий. Если закрыта директория которая должна быть проиндексирована, то откройте ее.

Пример правильного файла на этом сайте.

User-agent: Google
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

User-agent: Mail.ru
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

Host: http://сайт
Sitemap: http://сайт/sitemap.xml

Лучше указывать инструкции для каждого поисковика, который представляет для вас интерес по отдельности, а также для указать инструкцию для всех других поисковиков.

User-agen t - указывает на поисковик, для которого пишется инструкция.

Allow - разрешает индексацию.

Disallow - запрещает индексацию.

Host - указывает на основной хост.

Sitemap - указывает поисковику на xml карту сайта.

Еще сайт может не индексироваться из-за мета тега для google и для яндекса. Если на странице размещены эти коды, то поисковые роботы не будет индексировать такие страницы или части страниц. если вы хотите что бы страницы индексировалось нужно удалить из кода эти мета теги.

Пример Robots.txt

На основе вышеуказанных данных можно вывести полноценный файл robots.

Теперь, когда вы знаете основные моменты разобранного нами файла, вы сможете управлять индексацией своего сайта: запрещать и открывать к индексации желаемые вами файлы, папки и страницы.

§ 2. Файл sitemap.xml

Файл Sitemap — это файл с информацией о страницах сайта, подлежащих индексированию. С помощью файла sitemap.xml веб-мастеры могут сообщать поисковым системам о веб-страницах, которые доступны для сканирования.

Основные требования к файлу Sitemap:

Файл должен располагаться на том же домене, что и сайт, для которого он составлен.

- При обращении к файлу сервер должен возвращать HTTP-статус с кодом 200 OK .

Файл может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 10 Мб. Если ваш sitemap не удовлетворяет этим требованиям, разбейте его на несколько отдельных файлов и укажите их в файле индекса sitemap.

В файле необходимо использовать кодировку UTF-8.

Файл может описывать только страницы того домена, на котором он расположен.

Создать карту Sitemap для своего сайта можно несколькими способами:

используя плагины и онлайн-генераторы, а также составляя ее вручную.

О том, как это сделать, какой генератор карты (sitemap generator) использовать и как добавить карту в поисковые системы Яндекс и Гугл, вы узнаете из этой статьи.

2.1 Карта сайта Sitemap.html (для посетителей)

Карта сайта (для посетителей) - это форма дополнительной навигации по сайту. С её помощью пользователь может передвигаться по сайту, не используя навигацию сайта.

При создании карты сайта для посетителей обратите внимание на важные моменты:

1. Расположение на видном месте . Карта должна находиться там, где ее будет сразу видно (например, в главном меню сайта или блога).

2. Правильная структура и форматирование . Качественная карта сайта обязательно содержит заголовки, подзаголовки и другие элементы форматирования. Это делает информацию более удобной для восприятия, посетителям будет проще найти те материалы, которые их интересуют.

3. Наличие краткого описания . Небольшие комментарии к отдельным страницам сайта, или категориям, или же один комментарий ко всей карте сайта - это дополнительное удобство для посетителя.

2.1.1. Поиск на сайте через Яндекс

Яндекс поиск для сайта исправит все недочёты и значительно упростит посетителям пользование вашим сайтом — информацию они смогут находить гораздо быстрее.

С настройками Яндекс поиска разберётся любой, кто даже не смыслит в языках программирования HTML и PHP, и не знаком с CSS.

Результаты Яндекс поиска более качественные, нежели результаты стандартного поиска. Они получаются наиболее релевантные искомому слову или предложению. Посетители задерживаются так на вашем сайте немного дольше, даже если они не находят абсолютного релевантного ответа на свой вопрос;

Яндекс поиск для сайта учитывает лексику и морфологию языка, позволяет использовать поисковые подсказки и настраивать поисковую форму и другие параметры. И всё это — бесплатно и без ограничений.

2.2 Карта сайта Sitemap.xml (для поисковиков)

Ограничения и особенности

Поисковые системы благоприятно относятся к сайтам, имеющим карту Sitemap.xml. Дело в том, что при ее наличии роботы поисковиков индексируют страницы сайта быстрее и лучше (уменьшается вероятность, что какая-та страница будет случайно пропущена). Очевидно, что карта сайта способствует более быстрому увеличению посещаемости сайта. Однако при этом поисковые системы накладывают на карту сайта Sitemap. xml определенные ограничения :

файл Sitemap должен содержать не более 50 тыс. ссылок и иметь размер не более 10 Мбайт (допускается использование архивации для уменьшения размера файла).

Что же делать, если ваш сайт настолько большой, что карта сайта превышает вышеуказанные значения. В этом случае можно поступать следующим образом:

2. создавать несколько карт сайта (например, основную, содержащую ссылки на все другие карты, и еще несколько второстепенных).

И даже если данные требования будут выполнены, нет гарантии, что поисковые системы будут придерживаться файла Sitemap. xml при индексации.

2.3. Онлайн-генераторы карты сайта Sitemap

Онлайн-генераторы (generator Sitemap) позволяют формировать карту сайта в виде отдельного файла. При добавлении новых страниц (или при удалении старых) придется формировать карту сайта с помощью генератора и снова добавлять ее на свой сайт.

Генератор Xml-Sitemaps

Простой и удобный генератор карты сайта, имеющий несколько серьезных недостатков:

Количество ссылок в карте может быть не более 500;

Нет возможности настраивать приоритет для отдельных групп страниц (посты, страницы, категории, метки и т.д.);

Нет возможности указывать частоту обновления для отдельных групп страниц;

Генератор просматривает «мусорные» ссылки, которые не должны находиться в карте сайта (ссылки на комментарии, ссылки-отклики, ссылки «печать» и т.д.).

Перейти на сайт генератора можно . Перед вами появится форма, которую нужно заполнить.

1. Ввоим адрес главной страницы сайта .

2. выбираем «примерной» частоты обновления сайта.

3. Настраиваем дату обновления страниц сайта (None - не использовать; Use server’s response - определить автоматически; Use this date/time - использовать текущие дату и время).

4. Настраиваем приоритет страниц для поисковых систем (None - не использовать; Automatically Calculated Priority - вычислять автоматически).

Кнопка «Start» — запуск генератора .

Спустя некоторое время карта будет сформирована. Появится страница, где по ссылке вы сможете скачать карту Sitemap.xml и добавить ее в корневой каталог сайта (как правило, это папка - «public_html»).

Путь к карте можно будет прописать в файле robots.txt с помощью следующего оператора:

Sitemap: http://ваш сайт /sitemap.xml

Http://ваш сайт /sitemap.xml - путь к карте сайта.

Генератор Mysitemapgenerator

1. Первым делом пройдите на сайт mysitemapgenerator.com Этот сервис даёт возможность сгенерировать бесплатную карту сайта XML, до 500 страниц. Более чем достаточно.

3. В поле "URL сайта" введите адрес вашего сайта.

4. Введите проверочный код, и нажмите кнопку старт.

5. После того как сканирование будет завершено, нажмите на ссылку "скачать Sitemap".

Скачанный файл необходимо переименовать в "sitemap". После остаётся закинуть его в корень сайта и сообщить адрес поисковикам.

2.4. Как добавить карту сайта в поисковые системы

Чтобы добавить sitemap на сайт, необходимо проделать следующие шаги:

1. Для соединения с сервером потребуется любой FTP-клиент. В примере будет использоваться FileZilla. Откройте программу и внесите необходимые данные для соединения с сервером по FTP:

Эту информацию можно получить от хостинг-провайдера.

1. Зайдите в корневую папку вашего сайта (папку, где лежат все файлы ресурса) и добавьте туда ваш sitemap.xml. Это можно сделать двойным щелчком мыши или просто при помощи переноса файла в соседнее окно. На вопрос о замене существующего файла, выбираем заменить.

2. Далее заходите в браузер по адресу site.ru/sitemap.xml и проверяете нахождение необходимого файла. Если по данному адресу нет вашего sitemap.xml, возможно вы переместили его не в ту папку, или просто необходимо обновить страницу.

2.5. Добавляем sitemap в Яндекс

Чтобы сообщить поисковому роботу Яндекс о наличии на вашем сайте файла sitemap.xml существует два наиболее эффективных способа:

1. Добавить sitemap через robots.txt. Для этого необходимо внести изменение в данный файл, дописав директиву:

Sitemap: ваш_сайт/sitemap.xml

2. Добавить sitemap через Яндекс.Вебмастер. Для этого способа должны быть подтверждены права на управление сайтом.

Заходим в панель вебмастера Яндекс , переходим на нужный сайт и во вкладке «Настройка индексирования» выбрать «Файлы Sitemap».

Для наиболее быстрого достижения эффекта рекомендуется совершить оба действия.

2.6. Добавляем sitemap в Google

Сделать, это можно следующим образом, заходите "Сканирование", нажимаете "Файлы Sitemap":

в правом верхнем углу кликаем на красную кнопку "Добавление/проверка файла Sitemap". В открывшееся окошко вписываем sitemap.xml. А затем, перед отправкой карты блога, лучше её проверить на наличие ошибок, поэтому жмём кнопочку Проверить файл Sitemap:

После появится сообщение "Проверка завершена", "Просмотреть результаты проверки". Смотрим, если ошибок нет, тогда картинка будет такая:

Вот, дорогие друзья и весь процесс. А я на этом с вами прощаюсь, не надолго. Очень надеюсь, что инструкция для вас будет полезна. Удачи и всего хорошего.