Настройка sitemap.xml и robots.txt

Правильная настройка файла robots.txt и sitemap.xml позволит исключить возможные проблемы, возникающие при индексации.

• § 1. Файл robots.txt
• 1.1. Настройка robots
• 1.2. Проверить файл robots.txt и мета теги
• § 2. Файл sitemap.xml
• 2.1. Карта сайта Sitemap.html(для посетителей)
• 2.1.1. Поиск на сайте через Яндекс
• 2.2. Карта сайта Sitemap.xml (для поисковиков)

§ 1. Файл robots.txt

Это обыкновенный файл, который должен находиться в корне вашего сайта, там же где находится и правильный htaccess, и этот файл говорит поисковым роботам как именно индексировать ваш проект, на какие страницы не стоит обращать внимание, а каким уделить особое внимание

Файл содержит инструкции, предназначенные для поисковых ботов. Размещается он обязательно в корневой директории, благодаря чему индексацию страницы боты начнут именно с чтения условий, изложенных в robots.txt.

Рассмотрим преимущества robots.txt, которые он дает ресурсу.

Файл robots.txt должен находиться на сервере, в корне вашего сайта. Можно также посмотреть на любом сайте в Интернет, для этого достаточно после адреса сайта добавить /robots.txt .

Файл robots.txt , у каждого сайта имеет свои особенности и бездумное копирование чужого файла, может создать проблемы с индексированием вашего сайта поисковыми роботами. Поэтому нужно четко понимать назначение файла robots.txt и назначение инструкций (директив), которые будете использовать, при его создании.

Инструкции файла robots.txt могут:

Запрещать к просмотру страницы (каталоги) для всех поисковых роботов;

Запрещать к просмотру страницы (каталоги) для выделенных поисковых роботов;

Производить редирект на другую страницу при ошибке 404;

Указывать на местонахождение карты сайта;

Указывать время загрузки страниц для индексации.

1.1. Настройка

Создать файл robots.txt , можно воспользоваться любым текстовым редактором, например Блокнотом . Легко написать вручную, не прибегая к помощи различных конструкторов. Для одного сайта нужен один такой файл.

Что нужно прописывать в файле?

Обязательно употребление двух директив: User-agent и Disallow .

User-agent определяет, какому боту адресовано данное послание, Disallow показывает, какую страницу или директорию ресурса запрещено индексировать.

Cписок имен ботов самых популярных поисковых систем:

1.2. Проверить файл robots.txt и мета теги

У некоторых вебмастеров вообще не индексируются сайт целиком или часть и что бы вы не делали, роботы не индексируют сайт. Причиной всему может быть файл robots.txt. Возможно в нем допущена ошибка или он сделан не правильно. Проверьте файл robots.txt на наличие в нем ошибок (например, строка Disallow: / закрывает сайт от индексации целиком или Disallow: /news/ закрывает к индексации раздел новостей.) или закрытых важных директорий. Если закрыта директория которая должна быть проиндексирована, то откройте ее.

Пример правильного файла на этом сайте.

User-agent: Google
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

User-agent: Mail.ru
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

Host: http://сайт
Sitemap: http://сайт/sitemap.xml

Лучше указывать инструкции для каждого поисковика, который представляет для вас интерес по отдельности, а также для указать инструкцию для всех других поисковиков.

User-agen t - указывает на поисковик, для которого пишется инструкция.

Allow - разрешает индексацию.

Disallow - запрещает индексацию.

Host - указывает на основной хост.

Sitemap - указывает поисковику на xml карту сайта.

Еще сайт может не индексироваться из-за мета тега для google и для яндекса. Если на странице размещены эти коды, то поисковые роботы не будет индексировать такие страницы или части страниц. если вы хотите что бы страницы индексировалось нужно удалить из кода эти мета теги.

Пример Robots.txt

На основе вышеуказанных данных можно вывести полноценный файл robots.

Теперь, когда вы знаете основные моменты разобранного нами файла, вы сможете управлять индексацией своего сайта: запрещать и открывать к индексации желаемые вами файлы, папки и страницы.

§ 2. Файл sitemap.xml

Файл Sitemap — это файл с информацией о страницах сайта, подлежащих индексированию. С помощью файла sitemap.xml веб-мастеры могут сообщать поисковым системам о веб-страницах, которые доступны для сканирования.

Основные требования к файлу Sitemap:

Файл должен располагаться на том же домене, что и сайт, для которого он составлен.

- При обращении к файлу сервер должен возвращать HTTP-статус с кодом 200 OK .

Файл может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 10 Мб. Если ваш sitemap не удовлетворяет этим требованиям, разбейте его на несколько отдельных файлов и укажите их в файле индекса sitemap.

В файле необходимо использовать кодировку UTF-8.

Файл может описывать только страницы того домена, на котором он расположен.

Создать карту Sitemap для своего сайта можно несколькими способами:

используя плагины и онлайн-генераторы, а также составляя ее вручную.

О том, как это сделать, какой генератор карты (sitemap generator) использовать и как добавить карту в поисковые системы Яндекс и Гугл, вы узнаете из этой статьи.

2.1 Карта сайта Sitemap.html (для посетителей)

Карта сайта (для посетителей) - это форма дополнительной навигации по сайту. С её помощью пользователь может передвигаться по сайту, не используя навигацию сайта.

При создании карты сайта для посетителей обратите внимание на важные моменты:

1. Расположение на видном месте . Карта должна находиться там, где ее будет сразу видно (например, в главном меню сайта или блога).

2. Правильная структура и форматирование . Качественная карта сайта обязательно содержит заголовки, подзаголовки и другие элементы форматирования. Это делает информацию более удобной для восприятия, посетителям будет проще найти те материалы, которые их интересуют.

3. Наличие краткого описания . Небольшие комментарии к отдельным страницам сайта, или категориям, или же один комментарий ко всей карте сайта - это дополнительное удобство для посетителя.

2.1.1. Поиск на сайте через Яндекс

Яндекс поиск для сайта исправит все недочёты и значительно упростит посетителям пользование вашим сайтом — информацию они смогут находить гораздо быстрее.

С настройками Яндекс поиска разберётся любой, кто даже не смыслит в языках программирования HTML и PHP, и не знаком с CSS.

Результаты Яндекс поиска более качественные, нежели результаты стандартного поиска. Они получаются наиболее релевантные искомому слову или предложению. Посетители задерживаются так на вашем сайте немного дольше, даже если они не находят абсолютного релевантного ответа на свой вопрос;

Яндекс поиск для сайта учитывает лексику и морфологию языка, позволяет использовать поисковые подсказки и настраивать поисковую форму и другие параметры. И всё это — бесплатно и без ограничений.

2.2 Карта сайта Sitemap.xml (для поисковиков)

Ограничения и особенности

Поисковые системы благоприятно относятся к сайтам, имеющим карту Sitemap.xml. Дело в том, что при ее наличии роботы поисковиков индексируют страницы сайта быстрее и лучше (уменьшается вероятность, что какая-та страница будет случайно пропущена). Очевидно, что карта сайта способствует более быстрому увеличению посещаемости сайта. Однако при этом поисковые системы накладывают на карту сайта Sitemap. xml определенные ограничения :

файл Sitemap должен содержать не более 50 тыс. ссылок и иметь размер не более 10 Мбайт (допускается использование архивации для уменьшения размера файла).

Что же делать, если ваш сайт настолько большой, что карта сайта превышает вышеуказанные значения. В этом случае можно поступать следующим образом:

2. создавать несколько карт сайта (например, основную, содержащую ссылки на все другие карты, и еще несколько второстепенных).

И даже если данные требования будут выполнены, нет гарантии, что поисковые системы будут придерживаться файла Sitemap. xml при индексации.

2.3. Онлайн-генераторы карты сайта Sitemap

Онлайн-генераторы (generator Sitemap) позволяют формировать карту сайта в виде отдельного файла. При добавлении новых страниц (или при удалении старых) придется формировать карту сайта с помощью генератора и снова добавлять ее на свой сайт.

Генератор Xml-Sitemaps

Простой и удобный генератор карты сайта, имеющий несколько серьезных недостатков:

Количество ссылок в карте может быть не более 500;

Нет возможности настраивать приоритет для отдельных групп страниц (посты, страницы, категории, метки и т.д.);

Нет возможности указывать частоту обновления для отдельных групп страниц;

Генератор просматривает «мусорные» ссылки, которые не должны находиться в карте сайта (ссылки на комментарии, ссылки-отклики, ссылки «печать» и т.д.).

Перейти на сайт генератора можно . Перед вами появится форма, которую нужно заполнить.

1. Ввоим адрес главной страницы сайта .

2. выбираем «примерной» частоты обновления сайта.

3. Настраиваем дату обновления страниц сайта (None - не использовать; Use server’s response - определить автоматически; Use this date/time - использовать текущие дату и время).

4. Настраиваем приоритет страниц для поисковых систем (None - не использовать; Automatically Calculated Priority - вычислять автоматически).

Кнопка «Start» — запуск генератора .

Спустя некоторое время карта будет сформирована. Появится страница, где по ссылке вы сможете скачать карту Sitemap.xml и добавить ее в корневой каталог сайта (как правило, это папка - «public_html»).

Путь к карте можно будет прописать в файле robots.txt с помощью следующего оператора:

Sitemap: http://ваш сайт /sitemap.xml

Http://ваш сайт /sitemap.xml - путь к карте сайта.

Генератор Mysitemapgenerator

1. Первым делом пройдите на сайт mysitemapgenerator.com Этот сервис даёт возможность сгенерировать бесплатную карту сайта XML, до 500 страниц. Более чем достаточно.

3. В поле "URL сайта" введите адрес вашего сайта.

4. Введите проверочный код, и нажмите кнопку старт.

5. После того как сканирование будет завершено, нажмите на ссылку "скачать Sitemap".

Скачанный файл необходимо переименовать в "sitemap". После остаётся закинуть его в корень сайта и сообщить адрес поисковикам.

2.4. Как добавить карту сайта в поисковые системы

Чтобы добавить sitemap на сайт, необходимо проделать следующие шаги:

1. Для соединения с сервером потребуется любой FTP-клиент. В примере будет использоваться FileZilla. Откройте программу и внесите необходимые данные для соединения с сервером по FTP:

Эту информацию можно получить от хостинг-провайдера.

1. Зайдите в корневую папку вашего сайта (папку, где лежат все файлы ресурса) и добавьте туда ваш sitemap.xml. Это можно сделать двойным щелчком мыши или просто при помощи переноса файла в соседнее окно. На вопрос о замене существующего файла, выбираем заменить.

2. Далее заходите в браузер по адресу site.ru/sitemap.xml и проверяете нахождение необходимого файла. Если по данному адресу нет вашего sitemap.xml, возможно вы переместили его не в ту папку, или просто необходимо обновить страницу.

2.5. Добавляем sitemap в Яндекс

Чтобы сообщить поисковому роботу Яндекс о наличии на вашем сайте файла sitemap.xml существует два наиболее эффективных способа:

1. Добавить sitemap через robots.txt. Для этого необходимо внести изменение в данный файл, дописав директиву:

Sitemap: ваш_сайт/sitemap.xml

2. Добавить sitemap через Яндекс.Вебмастер. Для этого способа должны быть подтверждены права на управление сайтом.

Заходим в панель вебмастера Яндекс , переходим на нужный сайт и во вкладке «Настройка индексирования» выбрать «Файлы Sitemap».

Для наиболее быстрого достижения эффекта рекомендуется совершить оба действия.

2.6. Добавляем sitemap в Google

Сделать, это можно следующим образом, заходите "Сканирование", нажимаете "Файлы Sitemap":

в правом верхнем углу кликаем на красную кнопку "Добавление/проверка файла Sitemap". В открывшееся окошко вписываем sitemap.xml. А затем, перед отправкой карты блога, лучше её проверить на наличие ошибок, поэтому жмём кнопочку Проверить файл Sitemap:

После появится сообщение "Проверка завершена", "Просмотреть результаты проверки". Смотрим, если ошибок нет, тогда картинка будет такая:

Вот, дорогие друзья и весь процесс. А я на этом с вами прощаюсь, не надолго. Очень надеюсь, что инструкция для вас будет полезна. Удачи и всего хорошего.

То первостепенное значение имеет то, какие позиции занимает сайт в выдаче поисковых систем. В большой степени занимаемые сайтом позиции зависят от своевременной индексации страниц. Поисковики Google, Yandex и др.быстрее находят и индексируют новые страницы нашего сайта с помощью важнейшего плагина на WordPress- Google XML Sitemaps. Этот плагин создает в формате XML карту сайта для поисковиков. Карта сайта для поисковиков – это не что иное, как список страниц сайта, который индексируется поисковыми системами Яндекс, Google и т.д.С картой сайта поисковым системам требуется гораздо меньше времени на процесс распознавания новой статьи и ее индексации. Благодаря карте сайта роботы поисковиков быстро узнают о появлении новой статьи и любом другом изменении на сайте. Вопрос этот важнейший, поэтому рассмотрим его подробно.

Поиск и загрузку плагина Google XML Sitemaps начинаем с открытия страницы поиска плагинов WordPress через кнопку WordPress. org во всплывающем окне в левой верхней части нашего сайта (рисунок 1).

Рисунок 1. Кнопка WordPress. Org

На открывшейся странице WordPress (рисунок 2) в поисковую строку вводим наименование плагина wordpress.org/extend/plugins/google-sitemap-generator/ и нажимаем «Enter» или прямо переходим по ссылкеhttp://wordpress.org/extend/plugins/google-sitemap-generator .

Рисунок 2. Страница WordPress/Русский

На открывшейся страницес плагином Google XML Sitemaps (рисунок 3) нажимаем кнопку Download Version 3.2.8. (загрузить версию 3.2.8.).

Рисунок 3. Страница плагина Google XML Sitemaps

Откроется окно загрузки файла (рисунок 4). Нажимаем кнопку «Сохранить». Выбираем место на компьютере и сохраняем файл в формате ZIP (рисунок 5).

Рисунок 4. Окно загрузки файла

Рисунок 5. Место загрузки файла с плагином

Установка плагина

Подробно установка некоторых плагинов рассмотрена ранее в статье . Здесь повторим некоторые моменты. Плагин Google XML Sitemaps скачан и сохранен в моем случае в папке «Плагины». Теперь его нужно установить на сайт и настроить. Для этого заходим Консоль —> Плагины —> Добавить новый (рисунок 6) и попадаем в раздел «Установить плагины» (рисунок 7). Нажимаем кнопку «Загрузить».

Рисунок 6. Консоль

Рисунок 7. Раздел «Установить плагины

Вместо записи «Поиск» (рисунок 7) открывается запись «Установить плагин в формате ZIP» (рисунок 8).Нажимаем кнопку «Обзор», ищем сохраненный ранее файл плагина и двойным нажатием вставляем его в окошко с кнопкой «Обзор». Нажимаем кнопку «Установить».

Рисунок 8. Окно установки плагинов

Плагин установлен (рисунок 9). Теперь нажимаем кнопку «Активировать» и активируем наш установленный плагин.

Рисунок 9. Раздел «Установленные плагины»

Настройка плагина

Заходим Консоль —> Параметры и во всплывающем списке находим наш установленный плагин XML- Sitemap (рисунок 10).

Рисунок 10. Раздел «Консоль-параметры»

Нажимаем на кнопку XML- Sitemap , появляется запись (рисунок 11) «The sitemap wasn’t generated yet» (карта сайта еще не сформировалась). Нажимаем «Нажмите здесь».

Рисунок 11. Информация о том, что карта сайта еще не построена

Result of the last build process…

Открывается информационное окно плагина (рисунок 12), с информацией об успешном построении карты сайта, информировании об этом основных поисковых систем, времени построения и обновления ее, занимаемом объеме жесткого дискаи времени, затраченном на ее построение. Здесь же можно вручную обновить файл sitemap.

Рисунок 12. Информационное окно плагина

Базовые параметры

Здесь нужно отметить отмечаем необходимые пункты для построения и обновления карты сайта. Обычно, они проставлены по умолчанию, поэтому ничего не меняем (рисунок13).

Рисунок 13. Базовые параметры

Приоритет статьи

Указываем, как будет вычисляться поисковыми системами приоритет статьи. (рисунок 14). Я обычно указываю «Не использовать автоматическое вычисление приоритета», а определять согласно разделу «Приоритеты» ниже по тексту.

Рисунок 14. Приоритет статьи

Расположение Вашего файла с картой сайта

По отметке «Автоматическое определение» прописывается обнаруженные путь и URL к файлу с картой сайта (рисунок 15).

Рисунок 15. Расположение файла с картой сайта

Здесь указывается, какие страницы добавляются в карту сайта. Пункт «Включить категории» отмечаем только в том случае, если сайт не заполнен контентом.Вообще, нужные пункты отмечены по умолчанию и отмечать дополнительные не нужно, так как это приведет к дублированию контента и, как следствие, к возможным санкциям поисковиков.

Рисунок 16. Содержание карты сайта

Excluded items (Исключены пункты)

Можно исключить из карты сайта категории, а также статьи или страницы, вводя их идентификаторы (ID).

Рисунок 17. Исключить пункты

Изменить частоты

Устанавливаем нужную нам периодичность посещения поисковыми системами карты сайта. Конечно, роботы работают по своим алгоритмам, поэтому будут учтены наши пожелания или нет, остается вопросом.

Hourly – почасовой;

Daily – ежедневно;

Weekly – еженедельно;

Monthly – ежемесячно;

Yearly – раз в год;

Always – всегда;

Never – никогда.

Рисунок 18. Изменение частоты посещения сайта роботами

Приоритеты

Устанавливаем приоритетность страниц от 0 до 1. У меня для «Главной страницы» и «Статьи» проставлено значение 1.0.

После произведения настройки плагина google xml sitemaps, нажимаем на кнопку «Обновить параметры».

Рисунок 19. Установка приоритетов страниц

Итак,карта сайта с помощью плагина Google XML Sitemaps создана. Теперь при создании новой статьи или страницы они сразу будут отраженыв виде URL в списке данной карты и предстанут для индексации поисковыми системами (Google, Ask, Bing). На самом сайте карта отображаться не будет, но её можно посмотреть по следующему адресу: http://наш сайт/sitemap.xml.

Для получения на почту статей сразу по их публикации подпишитесь на обновления сайта. Для этого достаточно внести свой E-mail и нажать кнопку «Получать статьи» в форме внизу.

Здравствуйте!

На связи Илья Журавлёв и сегодня я расскажу вам и покажу – как создать для своего сайта файл sitemap . Что это такое? если говорить своими словами, то файл sitemap предназначен для помощи поисковым системам в индексировании вашего сайта. То есть в данном файле указывается конкретный список страниц и записей вашего сайта, которые должен проиндексировать поисковый робот.

Смотрите, например поисковый робот зашёл на ваш сайт, а у вас там – Бардак! всё смешано, навалено всё в кучу, много разных прибамбасов на сайте. И в таком хаосе роботу сложно правильно индексировать ваш сайт, в таких условиях он может что-то пропустить. Для этого и нужен файл sitemap.xml – где будут указаны только страницы и записи, которые нужно проиндексировать, без лишнего мусора.

Вот что пишет Google о файле sitemap.

Итак, создавать файл sitemap.xml, мы будем с помощью плагина – Google XML Sitemaps . Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: Плагины – Добавить новый , введите название плагина в форму поиска, нажмите Enter, установите и активируйте найденный плагин.

Чтобы попасть на страницу настроек плагина, перейдите по вкладке: Настройки – XML Sitemap .

А теперь разберём настройки.

Search engines haven’t been notified yet , здесь можно посмотреть и открыть файл sitemap.xml в браузере. На остальную информацию в данном окне можно не обращать внимание так как она не важна.

Переходим к – Базовым Параметрам .

– Уведомить Google об изменениях в Вашем дневнике , здесь ставим галочку.

– Notify Bing (formerly MSN Live Search) about updates of your Blog , здесь то же ставим галочку, чтобы уведомить поисковую систему Bing.

– Add sitemap URL to the virtual robots.txt file , если вы используете файл , то здесь галочку ставить не нужно.

– Расширенные параметры , оставляем поля пустыми, а это значит по умолчанию.

– Try to automatically compress the sitemap if the requesting client supports it , оставьте здесь галочку, но если при проверке файла будут выдаваться ошибки, то отключите данную функцию. Данная функция позволяет сжать файл sitemap.xml

– Включить таблицу стилей XSLT , оставьте данное поле пустым, а в конце предложения должна стоять галочка, то есть использовать по умолчанию.

– Override the base URL of the sitemap , оставляем данное поле пустым. Данная функция предлагает сделать переадресацию на другой URL.

– Include sitemap in HTML format , здесь ставим галочку, чтобы карта отображалась в формате .

– Allow anonymous statistics (no personal information) , здесь галочку ставить не нужно. Ставя здесь галочку вы разрешаете доступ к анонимной информации, если она у вас есть.

Дополнительные страницы . Здесь вы можете указать файлы или URL адреса, которые должны быть включены в файл sitemap.xml, но которые не принадлежат вашему сайту или блогу. Чтобы добавить новую страницу, нажмите на вкладку – Добавить новую страницу .

Приоритет статьи . Здесь можно указать использовать ли приоритет для записей на вашем сайте. Лично я указал у себя не использовать вычисление приоритета, чтобы все статьи были равноценны. То есть у меня нет такого, что какая то статья важная, а какая-то не важная, у меня на сайте всё важно.

Содержание карты сайта . Здесь нужно указать какие страницы будут включены в файл sitemap.xml. По умолчанию будут отмечены основные страницы – Домашняя страница, статьи и статические страницы сайта. Я так же рекомендую оставить по умолчанию, как есть. Категории, архивы, страницы авторов, страницы меток – отмечать не стоит, так как это лишний груз.

– Further options, здесь ставим галочку , чтобы сообщать поисковикам при изменении содержании файла.

Excluded items . Если вы включили в файл sitemap категории, то можно здесь исключить некоторые из них. Так же здесь можно исключить определённые страницы, указав в поле их .

Изменить частоты . Здесь можно указать частоту осмотра страниц. Но обратите внимание на предисловие, что это не является командой для поисковых роботов, а лишь рекомендацией. Я указал для всех каждый день. Для страниц которые не включены в файл sitemap, можно ничего не указывать.

Приоритеты . Если в начале настроек вы указали не учитывать приоритеты, то можно здесь ничего не указывать. Но а если приоритеты для вас важны, то укажите их для страниц которые включены в файл sitemap. Если для вас всё важно и вы не хотите ничего выделять, то ставьте одинаковые приоритеты.

В конце жмём – Обновить параметры . На этом всё, плагин настроен, больше вам ничего делать не нужно. Если у вас остались вопросы, то пишите мне. До новых встреч!

Как настроить плагин Google XML Sitemaps обновлено: Май 15, 2018 автором: Илья Журавлёв

Всем доброго времени суток! Продолжается тема сайтостроения и в сегодняшнем посте разберем, что такое карта сайта в формате .xml и научимся устанавливать ее на блог.

Существует несколько карт сайта: одна служит для удобной навигации по блогу, чтобы посетитель быстро нашел искомое, а другая нужна исключительно для поисковых систем.

1. Изменить частоты.

1. Приоритеты.

Тут мы расставляем приоритеты для каждого из пунктов. На этом с настройками, все! Чтобы изменения вступили в силу жмем ”Обновить параметры”.

Вот как эта самая карта выглядит у меня.

Оповещаем Яндекс и Google о создании карты sitemap.xml.

Итак, карта сайта создана, теперь ее нужно добавить в поисковые гиганты. Данная операция возможна только после регистрации сайта в вышеперечисленных системах.

Добавление в Яндекс.

Заходим в ”Яндекс.Вебмастер”, затем в наш сайт. Далее ”Настройки индексирования” и ”Файлы Sitemap”.

Здесь можно добавить карту сайта, а также проверить ее на корректность. Примечание: вместо моего названия сайта, напишите свое.

Добавление в Google.

Процедура, практически, такая же как и в Яндексе. Переходим в панель для вебмастеров Google. Ищем там раздел ” Файлы Sitemap” и там жмем красную кнопку ”Добавление/проверка файла sitemap”.

В открывшемся окне вбиваем имя карты, затем ”Отправить файл Sitemap”. Google оповестит о том, что файл sitemap отправлен и попросит обновить страницу. Если все сделано правильно, то появится картинка, как в нижней части скриншота, где показано, что карта добавлена и проверена (в столбце ”Проблемы” должен быть прочерк).

На этом статья закончена. И напоследок скажу, что создание карты sitemap.xml способствует улучшению внутренней Seo оптимизации блога.

Если вы установили плагин Google XML Sitemaps для WordPress сайта и хотите подробнее разобраться в его установке, настройке и использовании, тогда данная статья поможет вам найти ответы на часто задаваемые вопросы.

Google XML Sitemaps - один из самых популярных плагинов для WordPress сайта, по этой причине у многих пользователей возникают те или иные вопросы касающиеся использования плагина. Давайте рассмотрим все по порядку.

Навигация по странице:

Общие вопросы, касающиеся XML Sitemaps

• Что такое Google Sitemap? В принципе, Google Sitemap представляет собой файл, который содержит URL-адреса и дополнительную информацию для всех страниц или документов вашего сайта. Google и другие поисковые системы могут читать этот файл и добавлять определенные страницы в свой индекс.
• Как я могу создать Google Sitemap для моего WordPress блоге? Это главная функция плагина Google Sitemap для WordPress. Его легко установить, после чего он будет генерировать карту сайта, содержащую все страницы сайта на платформе WordPress.
• Как Google Sitemap будет влиять на мой рейтинг и позиции в выдаче? Нет доказательств, что Google Sitemap напрямую влияют на рейтинг сайта. Тем не менее, карта может помочь Google индексировать и сканировать ваши страницы лучше и быстрее. Все это неизбежно приведет к более полной индексации страниц.

Вопросы, касающиеся установки Google XML Sitemaps

• Как установить плагин? Просто установите его, как и любой другой плагин WordPress. Самый простой способ установить карту сайта применив функцию «Добавить плагин» в WordPress. Читайте об этом отдельно.
  Если данная функция не доступна по каким то причинам, вы можете скачать его на свой компьютер и загрузить на ваш сервер. Вам не нужно ничего менять в конфигурации веб-сервера, файловых разрешений или загружать любые другие файлы.
• Мне нужно изменить какие-либо настройки? Настройки по умолчанию подходят для большинства блогов. Не бойтесь изменять приоритеты, частоту изменений или содержимого карты сайта. Если вам когда-нибудь понадобится сбросить настройки к значениям по умолчанию, нажмите на кнопку в конце страницы настроек.

Обзор настроек Google XML Sitemaps

Уведомления об обновлениях на сайте - настройка Google XML Sitemaps:

• Уведомление Google о новинках блога: Это настройка уведомления Google, которая будет срабатывать каждый раз при публикации нового поста или редактировании старого. Google будет получать карту сайта что, возможно, впоследствии ускорит индексацию вашего нового поста в кратчайшие сроки.
• Сообщите Bing об обновлениях блога : Это настройки уведомления Bing. Поскольку Yahoo работает на базе Bing, ваши сообщения должны также появиться в Yahoo в ближайшее время.
• Добавление карты сайта URL к : Если активировать плагин на добавление URL карты вашего сайта в файле robots.txt, это позволит поисковым системам, которые не поддерживают уведомления, таким как Baidu или Яндекс, найти карту сайта. Карта сайта генерируется WordPress, поэтому убедитесь, что файл robots.txt сохраняется в папке блога!

Выглядят настройки Google XML Sitemaps примерно так:

Расширенные опции:

• Попробуйте увеличить объем памяти. Эта опция в общем должна быть не нужной в большей части случаев, но если вы когда-нибудь получите сообщение об ошибке памяти при запросе карты сайта, вы можете попробовать увеличить лимит здесь.
• Включите XSLT стили: Обычно XML-карта сайта выглядит как XML документ, который трудно читать, человеку. Плагин поставляется со специальным стилем, что делает его более читабельным. Просто используйте плагин по умолчанию, чтобы использовать стиль, или введите полный URL на свой собственный, если вы хотите использовать именно его. Пожалуйста, убедитесь, что он находится в той же директории!
• Переместить базовый URL карты сайта : Используйте эту опцию, если вы хотите, чтобы карта сайта появилась в корневом каталоге вашего домена в случае установленного WordPress в подкаталоге.
• Включить карту сайта в формате HTML: Если активирована данная опция, то плагин также будет генерировать карту сайта в формате HTML. Это может быть полезно для ботов, которые не понимают стандарт XML.
• Разрешить анонимную статистику : Эта опция позволит послать некоторые анонимные сведения автору плагина. Будут отправляться следующие данные плагином: WordPress версия, версии PHP, язык, количество сообщений в вашем блоге (в шагах по 50) и уникальную строку, чтобы избежать дубликатов. Зачем это нужно? Автор может оптимизировать плагин для наиболее часто используемых версий WordPress / PHP и улучшить переводы для наиболее распространенных языков. Плагин никогда не будет посылать ничего личного, например ваш URL блога, название, имя или адрес электронной почты.

Дополнительные страницы:

• Здесь Вы можете указать файлы или URL, которые должны быть включены в карту сайта, но не принадлежат к вашему блогу. Например, если ваш домен www.foo.com и ваш блог находится на www.foo.com/blog вы можете включить свою страницу на www.foo.com
  Примечание: Если ваш блог в подкаталоге, и Вы хотите добавлять страницы, которые не в каталоге блога или под, вы должны разместить файл карты сайта в корневом каталоге.

Сообщения приоритета страницы:

• Не использовать автоматическое вычисление приоритета: Все сообщения будут иметь одинаковый приоритет на сайте. Он может быть определена в соответствии с функцией «Приоритеты».
• Графы комментариев : Использует количество комментариев для вычисления приоритета должностей.
• Средний комментарий: Использует количество комментариев для вычисления приоритета должностей. Расчет базы - среднее число комментариев на пост.

Содержимое карты сайта:

• WordPress стандартный контент: Проверьте пункты, которые вы хотите включить в карту сайта.
• Пользовательские таксономии: Проверьте все пользовательские таксономии, которые вы хотели бы включить.
• Включите время последней модификации: Это добавит дату последнего изменения для всех ваших записей в карте. Поисковые системы могут использовать эту информацию, чтобы вернуться на страницу снова, если она изменилась. Настоятельно рекомендуется, чтобы эта опция была включена.

Исключить позиции:

• Исключение категорий : Если исключить категорию здесь, записи из этой категории не появится в xml файле.
• Исключить записи: Используйте эту опцию, чтобы исключить определенные записи сайта. Вы должны ввести идентификатор поста. Разделяйте сообщения от запятой. можно узнать в специальной статье.

Изменить частоту / приоритеты:

• Изменить частоты: С помощью этой настройки вы можете дать поисковые системы намек, как часто содержание ваших страниц изменяется.
• Приоритеты: с помощью этой настройки вы можете дать поисковые системы намек, как важно содержание вашего блога. Это значение всегда назначается по отношению ко всем другим страницах вашего блога, поэтому установите все значения, чтобы не было высоких (= 1.0), которые не имеет никакого смысла.

Другие особенности Google XML Sitemaps

Направление карты сайта в корневой домен:

Если ваш блог находится в суб-директории (example.com/blog/~~pobj) карта сайта будет генерироваться при example.com/blog/sitemap.xml~~pobj. Если вы хотите переместить сайта в example.com/sitemap.xml~~V, пожалуйста, введите «http://example.com/blog/» под «Перекрыть базовый URL из файла Sitemap» на странице настроек плагина и добавьте следующее правило в файл.htaccess под корневой домен:

RewriteEngine On
RewriteRule ^ (sitemaps - + ( +))?.? \ XML (. \ GZ) $ /your-blogdir/sitemap$1.xml$2 [ L]

Заменить «свой-blogdir» с именем поддиректории с вашим установленным WordPress.

Общие проблемы и ошибки Google XML Sitemaps

Инструменты для веб-мастеров Google показывают информацию о проиндексированных страницах:

Иногда вы можете иметь проблемы, связанные с , который показывает несколько страниц карты сайта в «представлении», но не как «индексируемые». Или возможно количество проиндексированных страниц будет меньше, чем отправленных url. Рекомендуем вам проверить следующее:

• Проверьте указан ли правильный URL сайта. Google различает HTTP / HTTPS, WWW / не-WWW, корень / подпапка. Так что, если вы ведете свой блог на http://www.blog.com/ убедитесь, что вы добавить http://www.blog.com/ в Google Webmaster Tools, и http://www.blog.com/sitemap.xml карта сайта.
• Sitemaps сайта не имеет ошибок, но карта сайта может содержать предупреждения, например, если ваш сайт был загружен медленно, когда Google пытался сканировать его.
• Если карта сайта содержит ссылки на страницы, которые не доступны, попробуйте найти их в WordPress. Плагин читает все записи, которые опубликованы и не имеют паролей. Если что-то появляется в вашей карте сайта, значит это находиться в вашей базе данных WordPress.
• Статистические данные в Google Webmaster Tools , не являются данными вреальном времени. Они предназначены только для информационных целей. Используйте «site:» оператор в Google поиске, чтобы найти, какие страницы вашего блога на самом деле в настоящее время индексируются. Попадание данных в Google Webmaster может занять несколько часов или даже дней, пока новые URL-адреса не отображаются как индексируемые, но на самом деле они уже включены в результатах поиска.

Google Webmaster Tools: отчеты «Недостающие XML теги».

Это обычно происходит, если Google читает карту сайта без всякого содержания. Проверьте карту сайта и посмотрите, если есть какие-либо URL-адреса внутри. Если нет, пожалуйста, попробуйте следующее:

• Если проблемой является externals.xml. Вы добавляли какие-либо внешние страницы? Если это так, пожалуйста, проверьте что URL-адрес для каждого из них является правильным. Также убедитесь, что нет пустой строки в разделе «Дополнительные страницы» на странице настроек плагина. Также попытайтесь сохранить все настройки еще раз, используя кнопку «Обновить настройки» в конце страницы.
• Если проблемой карты сайта является archives.xml. Если у вас нет каких-либо сообщений (только страницы), вы можете отключить «Включить архивы», чтобы решить эту проблему.

Google Webmaster Tools сообщает «Invalid XML» или браузер говорит ошибка на линии Х-Х в столбце 6.

Декларация XML допускается только в начале документа. Пожалуйста, откройте карту сайта в браузере и выберите «Исходный код». Есть пустая строка или пробелы перед XML тегом? Это проблема. Возможно ваши RSS-каналы также не работают. Что такое RSS можно . Причиной этой проблемы является новая линия или пробелы в другом плагине или файл functions.php вашей темы. Убедитесь, что файл functions.php заканчивается на?> и нет пустой строки или пробелов после него. Если это не работает, попробуйте отключить другие плагины один за одним, чтобы найти вредоносный.

Google Webmaster Tools, отчет «404 Not Found» для карты сайта.

• Проверьте ваши постоянные параметры WordPress и нажмите кнопку «Сохранить».
• Если вы используете Nginx в качестве веб-сервера, пожалуйста, добавьте правила перезаписи вручную. Они должны быть представлены на странице Plugins настроек.
• Если вы используете W3 Total Cache и активирован «Не обрабатывать ошибки 404 для статических объектов с WordPress» функция «под Browser Cache», пожалуйста, добавьте правила, указанные ниже, чтобы были внесены «404 ошибки, в список исключений»:
  * sitemaps [а-z0-9 _ \ -] * \ (XML | XSL | HTML). (. \ GZ)?
  Новые версии W3 Total Cache (> 0.9.4) уже включают в себя исправления.

Моя XML Карта сайта не обновляется

Вы уверены в этом? С версии 4, плагин использует новый формат для сайта. В основной карте сайта (sitemap.xml) есть только одна запись в месяц для сообщений. Нажмите текущий месяц вы сможете увидеть фактические посты. Там вы, вероятно, также найдете вашу новую публикацию.

В общем настройки Google XML Sitemaps достаточно просты, плагин же по своему предназначению выполняет огромную роль при работе с поисковыми системами. Игнорирование создания XML карты может негативно сказаться на продвижении сайта в дальнейшем.