Критическая ошибка в яндекс вебмастере. Малополезный контент, спам Удаление фатальных ошибок яндекс вебмастера
В июле поступил на продвижение новый сайт, созданный на вордпресс. Пока делался аудит сайта, проиндексированные страницы все были исключены из поиска Яндекс. Почему? Ответ нашла в панели яндекс вебмастер. Смотрите на восклицательный знак в красном треугольнике.
Как оказалось, была одна фатальная ошибка, которая и стала причиной исключения сайта целиком из поиска. Сайт показался Яндексу дорвеем.
Проблема оказалась в том, что Яндекс посчитал сайт дорвеем. Почему? Ведь никаких внешних ссылок на сайте не было. Загружались страницы, которые и должны были загружаться.
Оказывается, Яндекс считает сайт дорвеем не только тогда, когда он перенаправляет на другие сайта. Но и тогда, когда внутри самого сайта оказывается слишком много редиректов. Откуда могли взяться редиректы? Ответ так же нашелся в панели яндекс вебмастер.
Как оказалось, вордпресс генерит дубли страниц, и перенаправляет с них на страницы с ЧПУ
После исправления ошибок, это будет отдельный пост, была нажата кнопка Я ВСЕ ИСПРАВИЛ. Нажимать повторно эту кнопку можно только через 30 дней. Поэтому советую тщательно проверить ваш сайт, который посчитали дорвеем, исправить все ошибки и только после этого можно смело отправлять ресурс на проверку.
10 августа в панели вебмастера появилась информация, что фатальных ошибок нет. Т.е. сайт перестал считаться дорвеем.
Ну и приятный бонус — сайт появился в поиске по некоторым запросам.
Статья направлена в первую очередь на владельцев сайтов и маркетологов, которые хотят разобраться с глобальными фатальными ошибками, которые в целом связаны со всем сайтом. Если что-то подобное происходит, то это сразу влияет на весь сайт и причем часто очень-очень плохо.
- Аудит сайта и мониторинг проблем.
- Коротко о том, как работает поиск.
- Какие проблемы могут возникнуть у всего сайта с ранжированием?
Аудит сайта и мониторинг проблем
Когда мы разбираем какой-либо инструмент аудита или мониторинга, мы должны понимать, как этот инструмент работает, и откуда он берет данные. Понятно, что, если мы говорим о каком-нибудь разовом аудите сайта, который мы проводим, мы говорим о поиске глобальных проблем, которые есть на настоящий момент.
Если мы говорим о постоянном мониторинге сайта, то мы говорим о том, что на какой-то момент с сайтом может быть все хорошо, а потом что-то случится. Например, выложили новую версию с кучей 404-ых ошибок или с кучей дублей, или затерли robots.txt, может быть все, что угодно, и этот момент нам нужно промониторить и понять в реальном времени.
Источники данных для наших мониторингов могут быть очень-очень разные, и, собственно, сами инструменты для мониторинга могут быть тоже разными. Например, обычное поведение пользователей будем мониторить через какие-то счетчики, типа той же Метрики, а представление сайта в поиске, если мы говорим в частности о Яндексе, то, скорее всего, это Яндекс. Вебмастер.
Данные Яндекс.Вебмастера – это те данные, которые есть у поиска. Вы можете видеть ваш сайт так, как владелец сайта, считать его самым лучшим, самым отличным, и все страницы у вас могут грузиться в вашем браузере, даже у ваших разработчиков они могут грузиться и у некоторых пользователей.
Но это не значит, что поиск видит их точно так же, что они грузятся у поиска, что они доступны для индексирования и т.д. Поэтому данные, которые есть у поиска, которые даются, в частности, в Яндекс.Вебмастере – это те данные, которые представляют действительно реальную ценность, потому что это данные первоисточника.
Диагностика сайта
Если вдруг вы именно владелец сайта или маркетолог, то я хочу обратить ваше внимание, что в Вебмастере существует инструмент диагностики сайта, который позволяет понять, все ли в порядке с вашим сайтом вообще и в настоящий момент времени. Здесь, на слайде, видны ошибки, которые в целом выводятся в этом инструменте.
- Фатальные проблемы: сайт закрыт к индексации в robots.txt, главная страница сайта возвращает ошибку, обнаружены нарушения или проблемы с безопасностью…
- Критические проблемы: большое количество неработающих внутренних ссылок, долгий ответ сервера…
- Возможные проблемы: обнаружены ошибки в файлах Sitemap, большое количество страниц-дублей, в файле robots.txt не задана директива Host, отсутствуют
и <description>…</li> <li>Рекомендации: не задана региональная принадлежность сайта, отсутствует файл favicon, сайт не оптимизирован для мобильных устройств…</li> </ul><p>Мы делим ошибки на фатальные, критичные, возможные, рекомендации, по степени важности, чтобы вы понимали, как быстро бежать, если они случатся.</p> <p>И сегодня на вебинаре мы будем обсуждать именно наиболее важные из них, при этом возможные проблемы, рекомендации не значат, что их не нужно трогать и исправлять.</p> <p>Это просто значит, что ваш сайт просто прямо сейчас из поиска не упадет, не выпадет и не просядет в ранжировании, если вдруг случится какая-либо возможная проблема, в отличии от фатальных и критичных проблем.</p> <p><b>Уведомления </b></p> <br><img src='https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.44.26.png' width="100%" loading=lazy><p>Кроме диагностики, которая есть в Вебмастере, было запущено еще два полезных инструмента для работы с сайтами, именно с точки зрения мониторинга, все ли с вашим сайтом хорошо.</p> <p>Во-первых, это перезапущенные Уведомления, основная ценность которых заключается в том, что вы можете выбрать на какой именно сайт подписать на уведомления, и что именно вы хотите там мониторить.</p> <p>Например, вы понимаете, что для некоторых сайтов вам важно мониторить только фатальные и критичные проблемы, о которых мы сегодня будем говорить, вы подписываетесь только на них.</p> <p>Или, например, вы хотите получать какие-то новости о том, что нового происходит сейчас в поиске, какие новые алгоритмы запускаются, тогда можно подписаться уже отдельно на новости. Или вам интересно, когда обновляются базы, когда происходят какие-либо изменения – это все тоже можно сделать в уведомлениях, подписаться, и можно проверить, на что именно вы сейчас подписаны.</p> <p>Также стоит обратить внимание на то, что в Уведомлениях можно подписываться не только на общие, но и на уведомления по конкретным страницам, чтобы можно было отслеживать важные изменения конкретных страниц.</p> <br><img src='https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.44.39.png' width="100%" loading=lazy><p>Например, вы знаете самые конверсионные страницы, которые вычислили через Яндекс.Метрику. Эти страницы для вашего бизнеса определенно важны, и огромное количество траффика у вас идет на них именно с поиска.</p> <p>Поэтому важно, чтобы они были хорошо представлены в поиске, чтобы давали код ответа 200, чтобы их постоянно нормально обходил робот и т.д. Для таких мониторингов есть отдельный инструмент, вы всегда можете зайти и попробовать прямо сейчас.</p> <p>Пожалуйста, если вы уже сейчас знаете, что у вас есть такие страницы, то заходите и пользуйтесь этим инструментом. Отслеживая важные изменения, вы будете в курсе событий.</p> <h2>Коротко о том, как работает поиск</h2> <p>Теперь давайте разберемся в конкретных случаях «Что делать, если?..». Что делать, если случилась фатальная или критичная ошибка? А они, к сожалению, случаются. И знаете, что самое интересное?</p> <p>Обычно профессионалы, которые занимаются поисковой оптимизацией, считают, что фатальные и критичные ошибки в принципе не могут быть допущены, потому что все знают, что это за ошибки и как они случаются. На самом деле нет.</p> <p>У нас огромное количество обращений в нашу поддержку от матерых профессионалов, у которых по какому-то нелепому стечению обстоятельств случилось так, что произошла фатальная ошибка. Например, как вы понимаете, совсем недавно были майские праздники.</p> <p>Как вы думаете, всплеск каких именно проблем из фатальных был виден на обращениях в нашу поддержку? Действительно, на майских праздниках часто меняется посещаемость, но характерный всплеск был связан не с этим связан.</p> <p>Баден-Баден – интересный вариант, но он был раньше майских. Если вам прямо сейчас интересно узнать, что это такое, вы можете зайти в наш блог Яндекс-вебмастеров и прочитать потрясающие и уникальные комментарии и описание этого нового алгоритма.</p> <p>Дело в том, что на майские, как и вообще в принципе на праздники, очень часто забывают продлевать домены. Почему-то в этот Новый год люди, в целом, позаботились о том, чтобы у них был доступ к сайту и к интернету на праздники, а на майские – нет.</p> <p>У нас было огромное количество запросов, просто всплеск, связанный с тем, что: «Мы не продлили домен, давайте быстро исправлять ситуацию. Да, мы знаем, что ваш поисковый робот приходил, и домен у нас не продлен, страшно, ошибки, давайте, пожалуйста, помогите нам исправить».</p> <br><img src='https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.44.57.png' width="100%" loading=lazy><p>Итак, фатальные ошибки обычно могут возникать на любом из этапов обработки вашего контента и добавления его в наш поиск. Как в целом работает схема добавления ресурса в поиск? Если вы вдруг не знаете:</p> <ul><li>Мы, как поиск, должны узнать о том, что сайт появился и его новые страницы появились, если уже знаем о сайте.</li> <li>Физический доступ к этому сайту. Пока физического доступа к сайту нет, мы, естественно, не можем физически забрать этот контент.</li> <li>Разрешение на то, чтобы мы этот контент могли показывать людям в нашем поиске. Такое разрешение записывается в robots.txt, о нем мы расскажем чуть позже.</li> <li>Процесс добавления контента, который мы можем показывать пользователям, в нашу поисковую базу.</li> <li>Процесс ранжирования. Ранжирование – это упорядочивание результатов, упорядочивание страниц в соответствии с запросом пользователя.</li> </ul><p>В поиске Яндекса сейчас используется машинное обучение, более 1500 тысяч факторов, по которым мы взвешиваем каждый документ, каждую страничку вашего сайта и сайта ваших конкурентов, и упорядочиваем их в соответствии с тем, как нам кажется, что они лучше всего решают тот или иной запрос пользователей, ту или иную его задачу. Сейчас мы отталкиваемся в первую очередь от задач пользователей.</p> <h2>Как убедиться, что поиск знает о сайте?</h2> <p>Чаще всего эта проблема бывает с новыми сайтами. Робот достаточно хорошо знает о старых сайтах и хорошо их индексирует. У поисковых сервисов есть сервисы, которые связаны с поиском, в случае с Яндексом, это Яндекс.Вебмастер, куда вы просто добавляете свой сайт, получаете данные от поиска и смотрите, как он там представлен.</p> <p>Что важно и о чем часто умалчивают либо забывают сказать, так это о делегировании прав. Да, вам нужно подтверждать права на ваш сайт, чтобы вы получали данные из Яндекс.Вебмастера. Но это делается один раз, а дальше вам, как руководителю интернет-проекта, как владельцу сайта, как маркетологу, который может напрямую не заниматься поисковой оптимизацией, можно делегировать права на доступ к Яндекс.Вебмастеру, чтобы вы могли спокойно смотреть, что было сделано, какая работа была проведена, что вы оплачиваете и вы можете подписаться на уведомления по вашему сайту.</p> <p>Таким образом, если с ним вдруг что-то случается, что-то из того, что будет перечислено на этом вебинаре либо на следующих, вы тут же узнавали и могли отреагировать.</p> <p>Задача Яндекса, в том числе если мы говорим про связки Яндекса и владельцев сайтов, – давать хороший трафик владельцам сайтов, и чем лучше у вас сайт, тем больше нам хочется его показывать пользователям.</p> <h2>Какие фатальные проблемы возникают при доступе к сайту?</h2> <p>Второй этап – физический доступ к сайту. Какие здесь бывают проблемы из фатальных? Вы можете их посмотреть:</p> <ul><li>Не удалось подключиться к серверу из-за ошибки DNS.</li> <li>Главная страница сайта возвращает ошибку.</li> <li>Долгий ответ сервера.</li> </ul><h3>Не удалось подключиться к серверу из-за ошибки DNS</h3> <p>Первая из них – не удалось подключиться к серверу из-за ошибки DNS, в частности из-за проблем с доменом и т.д. Что здесь происходит? Происходит здесь очень простая ситуация. У вас есть некий адрес вашего сайта, который написан кириллицей или латиницей, его нужно раскодировать, превратить в цифры, чтобы получить к нему именно машинный доступ.</p> <p>Если происходит ошибка в этот момент, нет доступа к вашему сайту, и, соответственно, в поиск он не попадет, и, скорее всего, пользователи на него тоже не попадут.</p> <p>Как вообще проверяется такая проблема? Вы ее можете увидеть в диагностике, как я уже рассказала. В диагностике сайта она у вас появилась, что делать дальше?</p> <br><img src='https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.45.18.png' width="100%" loading=lazy><p>Ошибки подобного рода временные, особенно если вы знаете, что у вас продлен домен, сервер работает и в целом все хорошо. Как проверить, если она на настоящий момент времени? Очень просто.</p> <p>Вы идете в проверку ответа сервера, вводите там адрес вашего сайта. Проверка ответа сервера – это один из инструментов Яндекс.Вебмастера. Почему важно смотреть именно через этот инструмент? Потому что он показывает то, что видит поиск.</p> <p>Бывают случаи, например, когда ваш хостинг-провайдер в целом нормально обеспечивает доступ к вашему сайту, к его серверам пользователей, но почему-то посчитал поисковых роботов, например, спамными или опасными, или создающими большую нагрузку и закрыл доступ к ним.</p> <p>Пример, на котором какие-либо другие мониторинги ответов серверов могут не показать проблему, а инструмент в Яндекс.Вебмастере покажет.</p> <p>Мы заходим в него, вводим адрес нашего сайта и смотрим, как отвечает сервер.</p> <br><img src='https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.45.37.png' width="100%" loading=lazy><p>Здесь мы видим код статуса ответа 200 ОК. Как видно по статусу «ОК», это означает, что со страницей все хорошо, можно дальше не беспокоиться и зайти в диагностику. Если мы обнаружили, что проблема через диагностику, то нужно нажать перепроверить, и скоро эта проблема исчезнет, значит, она была временной, возможно из-за каких-либо технических работ.</p> <p>Если здесь стоит какой-либо другой код ответа, то, скорее всего, проблема не устранена. Что в этом случае делать? Можно еще немножко подождать, но если вы видите, что времени действительно прошло много, то нужно идти либо к хостингу, либо к регистратору домена и разбираться, в чем именно и в какой момент возникает проблема.</p> <p>Она устраняется на их стороне. К сожалению, писать в нашу поддержку, в поддержку Вебмастера довольно бессмысленно, потому что мы здесь ничем не можем помочь, мы не можем изменить настройки вашего сервера, настройки вашего доменного регистратора. Не можем, как бы мы ни хотели, поэтому здесь мы можем только подсказать куда идти.</p> <h3>Главная страница возвращает ошибку</h3> <p>Другой пример из фатальных ошибок, тоже часто связанный с работой сервера – это когда главная страница возвращает ошибку. В большинстве случаев, если главная страница сайта возвращает ошибку, то это значит, что с сайтом все плохо, поэтому, собственно, и создан такой мониторинг.</p> <p>Если вы считаете, что для вас важна не просто главная страница, а какая-либо другая страница, то добавляйте ее отдельно в мониторинг важных страниц и отслеживайте ее.</p> <p>Проверка здесь точно такая же. Если она поисковому роботу отдает «200 ОК», значит, с ней все хорошо, если она по какой-либо причине не отдает этот код, этот статус, то значит с ней есть проблемы. Решается она аналогично, как и другие проблемы, связанные с сервером, аналогично прошлому пункту. Просто идете и проверяете ответ сервера.</p> <h3>Долгий ответ сервера</h3> <p>Еще один пример из фатальных ошибок, связанных с сервером, – это долгий ответ сервера. Что такое долгий ответ сервера, и как его посмотреть?</p> <br><img src='https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.45.37.png' width="100%" loading=lazy><p>Точно так же, мы снова видим нашу табличку из ответа сервера, и мы видим здесь на второй строке, обратите внимание, время ответа сервера. Дальше мы смотрим, если она остается более трех секунд, это некая рекомендация, проблема сохраняется, и нужно ее идти исправлять.</p> <p>Проблемы, из-за которых сервер может так долго отвечать, могут быть разными. У вас могут быть сетевые проблемы, проблемы с CMS, но чаще всего проблемы бывают с хостингом, и, если у вас именно проблемы со скоростью ответа сервера, в первую очередь идите к вашему хостинг-провайдеру.</p> <p>К сожалению, в данном случае поддержка Яндекс.Вебмастера, поддержка поиска, точно так же помочь не может, потому что мы не можем изменить скорость ответа вашего сервера, но можем подсказать, где искать, где копать и что, в целом, нужно исправлять.</p> <p>Следующий шаг, на котором могут возникать проблемы при добавлении информации в поиск, – это разрешение или запрет на добавление информации. Он связан в данном случае с robots.txt. Как посмотреть, есть ли у вас robots.txt на вашем сайте или нет? Решение очень простое.</p> <br><img src='https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.46.11.png' width="100%" loading=lazy><p>Зайдите на ваш сайт, наберите свой сайт, а далее /robots.txt. Попробуйте сделать это прямо сейчас. Вы, скорее всего, увидите там некий текстовый файл. Это и есть robots.txt.</p> <br><img src='https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.46.39.png' width="100%" loading=lazy><p>Вы там можете увидеть примерно следующие названия:</p> <ul><li>User-Agent – это обращение к какому-либо поисковому роботу. Например, User-Agent: * – это обращение ко всем поисковым роботам,</li> </ul><p>User-Agent: Yandex – это обращение именно к Яндексу.</p> <ul><li>Команда Allow/Disallow, которая означает, собственно, разрешить либо запретить.</li> </ul><p>Пример того, как может выглядеть robots.txt, перед вами на слайде.</p> <br><img src='https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.46.50.png' width="100%" loading=lazy><p>Честно говоря, даже очень-очень многие профессиональные поисковые оптимизаторы не всегда знают, как корректно писать robots.txt, то есть команды, конечно, все знают, но некоторые тонкости, например, приоритеты disallow перед allow или наоборот уже часто понять сложно.</p> <p>Robots.txt у нас обычно генерируется автоматически и понять, правильно он сгенерировался или нет, часто бывает затруднительно. Поэтому для того, чтобы проверить ваш сайт или основные его страницы, также разрешены к индексированию, существует инструмент в Вебмастере, который называется «Анализ robots.txt».</p> <br><img src='https://i1.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.47.02.png' width="100%" loading=lazy><p>Как он работает? Очень просто, точно так же добавляете туда ваш сайт или добавляете напрямую robots.txt, а дальше проверяете, есть ли в нем ошибки или нет. Потому что, если есть ошибки, это уже повод задуматься, как эти ошибки обрабатывает поисковая система. Далее проверяем конкретные страницы.</p> <p>Если нам важно понять, почему данная страница или данный сайт не индексируется или индексируется плохо, обычно, если запрещено к индексированию, естественно, не индексируется, то мы просто добавляем конкретную страницу в наш инструмент. Мы видим в данном случае, что в результате зеленая галочка означает, что данная страница к индексированию разрешена. Если страница к индексированию запрещена, то идет выделение красным.</p> <p>Хочу обратить ваше внимание, что запрет к индексированию делается не только в robots.txt, можно и через noindex, и некоторыми другими способами. В данном случае мы проходим именно ту часть, которая связана с запретом индексирования всего сайта, и, обычно, это все-таки robots.txt, когда запрещается весь сайт.</p> <p>Как вообще может произойти, что у вас в robots.txt внезапно стал запрещен весь сайт? Например, при выкатке вы перетерли старый robots.txt и выкатили, например, старую версию robots.txt, когда еще ваш сайт не был открыт. Естественно, он тогда еще не был разрешен к индексированию, потому что вы не хотели давать полупустой сайт к индексированию, вообще он у вас там тестируется, и тексты могут быть не какие-нибудь, а тестовые. Случайно заменили старой версией, все, уже трагедия, уже что-то не так.</p> <p>При этой проверке, кстати, стоит проверять, запрещены ли у вас к индексированию страницы, которые вы не хотите, чтобы попали в поиск, например, какие-то клиентские данные. Понятно, что вы их будете защищать еще и на серверной стороне, но в то же время важно, чтобы на всякий случай в robots.txt они тоже были запрещены к индексированию.</p> <h3>Исправляем и снова проверяем</h3> <p>Решение здесь тоже очень простое, то есть мы проверяем через наш инструмент, все ли хорошо с robots.txt вашего сайта. Если мы видим, что там нет ошибок и нужные страницы разрешены к индексированию, просто нажимаем в нашей диагностике «перепроверить» и убеждаемся, что все снова хорошо.</p> <h2>Какие проблемы могут возникнуть у вашего сайта с ранжированием?</h2> <br><img src='https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.48.04.png' width="100%" loading=lazy><p>Следующий этап связан с ранжированием.</p> <br><img src='https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.48.23.png' width="100%" loading=lazy><p>Рассмотрим первый блок, связанный с проблемами ранжирования, – это проблемы с нарушениями и проблемы с безопасностью.</p> <p>Такие проблемы могут возникать извне и внутри вашей работы сайта. Пример возникновения проблемы извне связан как раз с безопасностью. Ваш сайт взломали и стали на нем размещать вирусы, нехорошую рекламу, взрослую рекламу или что-то еще. Поскольку он, например, заражает пользователей, он помечен как небезопасный.</p> <p>Причины понятны. Ясное дело, что вы этого делать не хотели, но так у вас случилось. Потому что вы, возможно, чуть-чуть пренебрегли основами обеспечения безопасности вашего сайта, либо взломщики оказались очень умелыми и уж больно хотели ваш вкусный сайт взломать. Так случилось и здесь. Важно как можно быстрее исправить проблему с заражением, чтобы с вашего сайта была снята пометка о том, что он небезопасен.</p> <p>Такая пометка появляется не только в Вебмастере, в Вебмастере это именно уведомление, чтобы вы поняли, что поиск считает ваш сайт опасным, а для пользователей это будет выражено в поиске, где будет большое предупреждение, что сайт может представлять угрозу компьютеру, и в браузере.</p> <p>В вопросах такого типа вы всегда можете обращаться в нашу поддержку, мы постараемся дать вам примеры, как было заражено, где было отражено, что нужно чинить, как исправлять. Нам тоже очень важно, чтобы ваш хороший сайт снова стал хорошим и безопасным, потому что наша задача – решать задачи пользователей, в том числе, показывая им хорошие ответы в ваш сайт.</p> <p>Другая часть, связанная с нарушениями, очень часто возникает, когда риски были недооценены. Понятно, что есть некие спамные попытки повлиять на пользователей или на поисковую систему, либо завладеть данными пользователей. Естественно, всякий раз, когда такое происходит, поиск очень четко и быстро старается это отлавливать.</p> <br><img src='https://i0.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.48.40.png' width="100%" loading=lazy><p>Потому что всякий раз, когда хотят навредить нашим пользователям, неважно каким образом, например, фишинг, собрать пароли, предоставить им ужасные тексты или еще что-то, собрать их данные социальных сетей без их разрешения, наша задача – защитить пользователей.</p> <p>Поэтому такие сайты довольно быстро попадают в нарушения, и к ним применяются некие меры по ухудшению ранжирования, иногда вплоть до исключения из поиска, чтобы пользователи на такие сайты не попадали до тех пор, пока нарушение или угроза не была устранена.</p> <br><img src='https://i2.wp.com/o-es.ru/wp-content/uploads/2018/03/2018-03-08-13.48.51.png' width="100%" loading=lazy><p>Вот примеры некоторых нарушений, которые могут быть за сайтом. Пример нарушения, в частности у нас возникал в чате Баден-Баден – это наш новый алгоритм, который был запущен совсем недавно, и он связан с борьбой с переоптимизированными текстами.</p> <p>Переоптимизированные тексты обычно пишутся не для пользователей, а для поисковых машин, и часто выглядят как «стиральная машина купить, купить стиральная машина Москва, доставка, быстро, бесплатно, качественно», или что-нибудь такое.</p> <p>Это могут быть более извращенные тексты, там может быть больше воды. Но факт в том, что они особо пользователю не нужны. Пользователю не нужно знать, что вы самая лучшая компания на свете двадцать раз и стиральные машины.</p> <p>Пользователю нужны конкретные перечисления характеристик этой стиральной машины или что-либо подобное. Такие тексты могут быть признаны некачественными. Если таких текстов на сайте относительно немного, то это просто отразится на ранжировании таких страниц и, если страницы не полезные, то, естественно особого смысла их показывать пользователям и нет. Либо это может быть признано нарушением, если сайт злоупотребляет такими текстами, и отразится на всем его ранжировании.</p> <p>Полезное:</p> <p>Источник (видео): <a href="https://www.youtube.com/watch?v=Ux6a0mQ5Dr0">Поисковая оптимизация сайта: азы диагностики сайта</a> — Елена Першина</p> <p>Магомед Чербижев </p> <p>Сегодня же мы детально разберём раздел фатальных ошибок, которые не просто мешают индексированию сайта в поисковых системах — из-за наличия этих ошибок сайт может просто не показываться в поисковой выдаче.</p><h2>Итак, список фатальных ошибок в Яндекс Вебмастере состоит из следующих пунктов:</h2><h3>1. Сайт закрыт к индексации в файле robots.txt</h3><p>Robots.txt это ключевой файл, который объясняет роботам поисковых систем куда на сайте им можно заходить, а куда нет. Если robots.txt полностью блокирует возможность посещения сайта роботами Яндекса, то о дальнейшей работе можно в принципе забыть. Никакие изменения в сайте поисковые системы просто не увидят. Поэтому очень важно, чтобы директивы robots.txt не только разрешали роботам поисковиков посещать сайт, но и вели их по сайту необходимым для правильной оптимизации образом.</p><h3>2. Не удалось подключиться к серверу из-за ошибки DNS.</h3><p>Ошибки DNS как правило происходят либо на стороне сервера, либо из-за неверной настройки пользователем согласованной работы домена и хостинга. Из-за ошибок DNS поисковик не понимает — какой домен прилинкован к вашему сайту и просто не показывает домен в выдаче.</p><h3>3. Главная страница сайта возвращает ошибку</h3><p>Когда поисковая система посылает на сайт запрос о его существовании она должна получить один из кодов ответов, который соответствует знаниям поисковика. Наиболее частые коды:<br> 200 — страница существует и отображается<br> 301 — страница перенаправляет всех на другую страницу<br> 404 — страница не существует<br> 500 — проблема страницы на стороне сервера</p><p>Важно чтобы сайт при запросе отдавал именно код 200. Только таким образом Яндекс поймет что с сайтом все в порядке и предложит его к поисковому ранжированию.</p><h3>4. Обнаружены нарушения или проблемы с безопасностью</h3><p>Яндекс тщательно следит за тем, чтобы посещение сайтов из поисковой выдачи было безопасно для компьютеров пользователей. Поэтому при наличии малейших угроз со стороны сайта поисковый робот сначала размещает рядом с сайтом в выдаче предупреждение о возможных проблемах, и если проблема не будет через какое-то время устранена, то просто уберёт ресурс из поисковой выдачи. Поэтому очень важно следить как за состоянием ресурса, так и за его безопасностью. Необходимо вовремя менять пароли и проводить сканирование сайта при помощи антивируса.</p> <p>Последнее изменение поста: Ноябрь 19, 2019</p><br><p>Вот уже семь месяцев, как я в своем блоге ничего не пишу, потому что с моим ресурсом начались серьезные проблемы. Захожу на Яндекс Вебмастер, «диагностику» , и вижу показывает фатальную ошибку на моем сайте. Написано <span>«<u>нарушения и угрозы на сайте» </u> </span>, а ниже под этим страшным заголовком написано: <span>«<u>малополезный контент, спам, избыток рекламы» </u> </span>. Понятно, что вначале надо исправить эту проблему, и только потом думать о написании новых статей.</p> <p><img src='https://i0.wp.com/dvpress.ru/wp-content/uploads/2018/01/malopoleznyj-kontent-spam-izbytok-reklamy-1.jpg' width="100%" loading=lazy></p> <h2>Как исправить фатальную ошибку на сайте</h2> <p>В Вебмастер Яндекс, я почитал, что может вызвать эту ошибку, и сделал поспешный вывод - сайт попал под . А то, что на сайте есть технические проблемы, я почему-то проигнорировал, т. к. был уверен, что вся беда именно из-за этого фильтра, который проверить нигде и никак нельзя.</p> <p>В связи с этим, я начал вначале искать проблемные и , которых нашлось немало. Также написал в Яндекс, Платону Щукину, чтобы мне подсказали, что с моим сайтом не так. Реальных советов мне не дали, поэтому я решил все отложить на потом.</p> <p>Через несколько месяцев я снова взялся за сайт, но решил уже исправлять технические проблемы. Подключил сертификат, перевел сайт с HTTP на HTTPS, удалил некоторые ошибки со страниц сайта и, казалось бы, все хорошо, да не тут-то было. При переходе на сайт, перестает работать колесико мышки. Теперь чтобы проскролить страницу вверх или вниз, надо двигать ползунок справа, что не очень удобно.</p> <p>Обратился я за помощью в службу поддержки , где был куплен шаблон. Проблему мне быстро исправили, и блог начал исправно работать. Но позже я заметил, что в старых статьях появились внешние ссылки, которых я никогда не добавлял. Пришлось сайт переустанавливать из резервной копии, потому что неизвестно, сколько было добавлено внешних ссылок на мой сайт, после того, как я обратился в службу поддержки.</p> <p>И вот прошло приблизительно семь месяцев, я решил еще раз написать Платону Щукину, чтобы мне все-таки подсказали, что реально надо исправлять. Буквально через пару дней мне ответили:</p> <p>Это письмо я получил 19 января, т. е. в день православного праздника Крещения, и сейчас посещаемость сайта всего 200 чел., но это лучше, чем ничего. До этого шел трафик только с канала YouTube. Дальше, я надеюсь, показатели счетчика улучшатся.</p> <p>Как оказалось, дело было вовсе не в малополезном контенте, спаме, или избытке рекламы, а в технических проблемах, которые можно было исправить за одну неделю, или чуть больше, но точно не семь месяцев.</p> <p>Но эти семь месяцев у меня не прошли в пустую. Я прошел обучение по товарке с Китаем, а также изучил Я.Директ. С Китаем я уже начал работать, а вот по Я.Директ нужно еще попрактиковаться.</p> <p>Обучение по бизнесу с Китаем я проходил у Александра Федяева, о котором уже написал отзыв. На этом все, будьте здоровы.</p> <b>Поделиться статьей с друзьями </b> <p><img src='https://i0.wp.com/pyatilistnik.info/wp-content/uploads/2017/10/Sayt-ne-sootvetstvuet-osnovnyim-printsipam.png' height="220" width="230" loading=lazy></p><p>Добрый день уважаемые читатели блога сайт, открываю я сегодня веб кабинет Яндекса и обнаруживаю на против двух своих сайтов, восклицательный знак, зайдя в первый сайт я увидел фатальную ошибку с вот таким содержимым: "Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска ." Давайте смотреть в чем причина и каким образом вы сможете это исправить.</p><h2>Более детальный вид ошибки "<b>Сайт может угрожать безопасности пользователя" </b></h2><p>И так есть пациент, мой один из блогов (http://москва-россия.рф/) на нем я делюсь своим опытом проживания в Москве, где и куда там пойти и что и где посмотреть, если вы его еще не видели, то милости прошу. Захожу я в webmaster кабинет и вижу как и писал выше, предупреждение.</p><p>Зайдя в настройки самого сайта, я увидел следующую картину: 1 фатальная ошибка, щелкаем по ней, чтобы посмотреть детали.</p> <script>document.write("<img style='display:none;' src='//counter.yadro.ru/hit;artfast_after?t44.1;r"+ escape(document.referrer)+((typeof(screen)=="undefined")?"": ";s"+screen.width+"*"+screen.height+"*"+(screen.colorDepth? screen.colorDepth:screen.pixelDepth))+";u"+escape(document.URL)+";h"+escape(document.title.substring(0,150))+ ";"+Math.random()+ "border='0' width='1' height='1' loading=lazy>");</script> </article> <div id="disqus_thread"> <div id="dsq-content"> <ul id="dsq-comments"> <li class="comment even thread-even depth-1" id="dsq-comment-2"> <div id="dsq-comment-header-2" class="dsq-comment-header"> <cite id="dsq-cite-2"> <span id="dsq-author-user-2">Сергей Савенков</span> </cite> </div> <div id="dsq-comment-body-2" class="dsq-comment-body"> <div id="dsq-comment-message-2" class="dsq-comment-message"> <p>какой то “куцый” обзор… как будто спешили куда то</p> </div> </div> </li> </ul> </div> </div> </div> </div> <div class="wpb_column vc_column_container td-pb-span4"> <div class="vc_column-inner "> <div class="wpb_wrapper"> <div class="wpb_widgetised_column wpb_content_element"> <div class="wpb_wrapper"> <div class="td-a-rec td-a-rec-id-sidebar td-rec-hide-on-p "> <div id="adriver_banner_1494422254"></div> </div> <div class="td-a-rec td-a-rec-id-custom_ad_1 td-rec-hide-on-p "> <div> </div> <div id='div-gpt-ad-1491821174306-2' style='height:600px; width:300px;'> </div> </div> <div class="td-a-rec td-a-rec-id-custom_ad_2 td-rec-hide-on-p "> <div> </div> <div id='div-gpt-ad-1491821174306-3' style='height:600px; width:300px;'> </div> </div> </div> </div> </div> </div> </div> </div> </div> </div> <div class="td-footer-wrapper td-footer-template-14"> <div class="td-container td-footer-bottom-full"> <div class="td-pb-row"> <div class="td-pb-span3"> <aside class="footer-logo-wrap"><a href="/"><img class="td-retina-data" src="/uploads/logo.png" data-retina="/wp-content/uploads/2017/02/logo_544x180_bw.png" alt="Техника. Новости. Телефоны. Ноутбуки. Сравнение. Windows" title="Техника. Новости. Телефоны. Ноутбуки. Сравнение. Windows"/ loading=lazy></a></aside> </div> <div class="td-pb-span5"> <aside class="footer-text-wrap"> <div class="block-title"><span>Общая информация</span></div>.</aside> </div> <div class="td-pb-span4"> <aside class="footer-social-wrap td-social-style-2"> <div class="block-title"><span>Сайт в социальных сетей</span></div> <span class="td-social-icon-wrap"> <a target="_blank" href="https://www.facebook.com/sharer/sharer.php?u=https://danykom.ru/kriticheskaya-oshibka-v-yandeks-vebmastere-malopoleznyi-kontent-spam-udalenie/" title="Facebook"> <i class="td-icon-font td-icon-facebook"></i> </a> </span> <span class="td-social-icon-wrap"> <a target="_blank" href="" title="Instagram"> <i class="td-icon-font td-icon-instagram"></i> </a> </span> <span class="td-social-icon-wrap"> <a target="_blank" href="" title="RSS"> <i class="td-icon-font td-icon-rss"></i> </a> </span></aside> </div> </div> </div> </div> <div class="td-sub-footer-container"> <div class="td-container"> <div class="td-pb-row"> <div class="td-pb-span7 td-sub-footer-menu"> <div class="menu-td-demo-footer-menu-container"> <ul id="menu-td-demo-footer-menu" class="td-subfooter-menu"> </ul> </div> </div> <div class="td-pb-span5 td-sub-footer-copy"> © 2024 Техника. Новости. Телефоны. Ноутбуки. Сравнение. Windows </div> </div> </div> </div> </div> <link rel='stylesheet' id='css-5-css' href='/wp-content/mmr/ffba0e2b-1516146715.min.css' type='text/css' media='all' /> <script type='text/javascript' src='https://danykom.ru/wp-content/mmr/4ab436a1-1516146715.min.js'></script> <script> (function() { var html_jquery_obj = jQuery('html'); if (html_jquery_obj.length && (html_jquery_obj.is('.ie8') || html_jquery_obj.is('.ie9'))) { var path = '/wp-content/themes/Newspaper/style.css'; jQuery.get(path, function(data) { var str_split_separator = '#td_css_split_separator'; var arr_splits = data.split(str_split_separator); var arr_length = arr_splits.length; if (arr_length > 1) { var dir_path = '/wp-content/themes/Newspaper'; var splited_css = ''; for (var i = 0; i < arr_length; i++) { if (i > 0) { arr_splits[i] = str_split_separator + ' ' + arr_splits[i]; } //jQuery('head').append('<style>' + arr_splits[i] + '</style>'); var formated_str = arr_splits[i].replace(/\surl\(\'(?!data\:)/gi, function regex_function(str) { return ' url(\'' + dir_path + '/' + str.replace(/url\(\'/gi, '').replace(/^\s+|\s+$/gm, ''); }); splited_css += "<style>" + formated_str + "</style>"; } var td_theme_css = jQuery('link#td-theme-css'); if (td_theme_css.length) { td_theme_css.after(splited_css); } } }); } })(); </script> </body> </html>