Рунет представляет собой место, где можно найти практически все. Но только при условии пользования правильным поисковиком. Последних на сегодняшний день в российской части Интернета уже с десяток, но некоторые из них используются почти всеми пользователями, а другие – лишь небольшим процентом. Связано это как с особенностями самих поисковых систем, так и с устоявшимся мнением, что Яндекс и Goggle – это круто, а остальные лишь пытаются за ними угнаться.

А знаете кто придумал Яндекс и Goggle? Вот .

Что такое поисковик

Поисковая система – это сервис, осуществляющий поиск информации во Всемирной Сети Интернет по заданному поисковому запросу пользователя. Для того чтобы найти эту самую информацию, необходимо открыть сайт поисковика и сформулировать запрос. При этом не обязательно записывать целые предложения в поисковой строке. Поисковики сегодня уже настолько «умны», что могут понять запрос пользователя буквально с полуслова.

В современном мире практически не существует человека, который хоть раз в жизни не искал что-либо во Всемирной сети Интернет. Поисковики, с помощью которых мы и осуществляем поиск, уже прочно вошли в нашу жизнь – мы «гуглим» названия фильмов и книг, имена и адреса людей, кулинарные рецепты и студенческие работы.

Трудно представить, как трудно нам пришлось, если бы не было Яндекса, Гугла, Майла и других информационно-поисковых систем. Приходилось бы записывать названия сайтов или даже подбирать их из набора символов. Но несмотря на то, что поисковики являются неотъемлемой частью повседневной жизни современного человека, мало кто задумывается, как они работают и каким образом появились.

История возникновения поисковиков

Удивительно, но история поисковых систем началась еще в 1945 году. Именно тогда американский ученый Вэнивер Буш впервые в одной из своих статей привел идею гипертекста. Впоследствии он также участвовал в создании первого прототипа поисковика, но основную работу все же проделали другие люди.

В 1969 году ученые одного из агентств по работе над исследовательскими проектами США создали концепцию, позволяющую передавать информацию при помощи компьютерной сети. Данную разработку хотели использовать для военных целей, но выяснилось, что соединение слишком слабое и может возникнуть утечка информации. Работа над концепцией прекратилась, но была снова возобновлена в 1980 году. На этот раз удалось объединить библиотеку информации университетов США с помощью компьютерных сетей.

Первый настоящий прототип современных поисковиков появился в середине 1990-х годов, когда были созданы каталоги сайтов, по которым можно было осуществлять поиск. Также существовали боты поисковых систем, но они не смогли дальше справляться со своими обязанностями после развития Интернета и появления большого количества сайтов.

С 1995 года во Всемирной сети начали свою работу современные поисковики – Yahoo, Google, Яндекс и другие.

Принцип работы поисковых систем

Процесс нахождения информации в Интернете поисковиком состоит из трех этапов:

• Изучение всех сайтов – сканирование;
• Индексирование;
• Ранжирование

На первом этапе поисковик блуждает по Всемирной сети, изучая содержимое каждого сайта. Учитывая, сколько сайтов представлено в Интернете и какое количество информации на них представлено, можно только предполагать с какой скоростью происходит сканирование. Ведь выдать результат нужно сразу после запроса пользователя.

Сканированием у поисковиков занимаются специальные роботы. Их также называют пауками. Они заходят на каждый сайт в Интернете и заносят информацию с них в свою базу данных. На старых сайтах это делается периодически, но именно сколько раз в месяц, решают уже сами поисковики. Когда же появляется новый сайт, роботы быстро сканируют весь его контент и забирают себе всю эту информацию. Дальше все происходит точно так же, как и на других сайтах.

На втором этапе и происходит процесс занесения найденной информации в базу данных. Здесь также каждая поисковая система работает по-своему. Например, Goggle забирает всю информацию, найденную на сайте, а Яндекс – лишь ту часть, которая кажется ему полезной. Затем поисковики классифицируют данные по темам, чтобы впоследствии было проще с ними работать.

На третьем этапе происходит выстраивание сайтов по порядку, в зависимости от того, насколько информация на них совпадает с поисковым запросом пользователя.

Количество пользователей поисковых систем растет с каждым днем, а значит, растет и популярность самих поисковиков. Возможно, совсем скоро позиции сервисов изменятся, они начнут работать в другом ключе или исчезнут вовсе. А простым пользователям остается лишь подстраиваться под них.

Итак, вот самые распространенные поисковые системы Рунета.

Яндекс: история возникновения

Как пользоваться поиском Google

Работа Goggle практически аналогична работе Яndex. Здесь также для нахождения нужной информации достаточно вбить письменный запрос на нужном языке в поисковую строку. Также можно задать и голосовую команду. Для этого достаточно нажать на значок микрофона и сделать запрос на поиск.

Поисковик поможет найти не только сайты с текстовой информацией, но и нужные картинки, видео или новости. Чтобы это сделать, нужно задать запрос и затем выбрать соответствующий раздел внизу поисковой строки.

Поисковая система Майл

– крупнейший интернет-портал Рунета, объединяющий в себе несколько сервисов. Один из них – поисковая система Mail, которая появилась сравнительно недавно – в 2003 году. Данный проект был запущен с намерением сделать его таким же успешным, как почту mail.ru, Одноклассники или Агент. Для этого были использованы разработки Google WebSearch, сервис интегрировали с List.mail.ru, но все же поисковик не стал таким популярным, как, например, Яндекс.

Несмотря на это mail.ru имеет свои особенности, выгодно отличающие его от других подобных сервисов. Так, поиск в нем ведется не только по всему Интернету, но и в самих сервисах Mail.Также поисковая система умеет различать названия фильмов и книг, запоминать предыдущие запросы пользователей, выдавать информацию по похожим запросам. В перспективе создание специального сервиса для вебмастеров, где можно будет получать информацию о:

• запросах, интересующих пользователей поисковых систем;
• посещаемых страницах;
• скачанных файлах;
• кэше посещаемых страниц;
• рейтинге сайтов по посещаемости.

В настоящее время поисковая система Mail занимает 3 место по популярности в Рунете и обрабатывает почти 6% всех запросов в Интернете в РФ.

Как пользоваться поиском Mail

В отличие от Google и Яндекс, поисковая строка Mail расположена в верхней части главной страницы. А вот алгоритм поиска тот же. Для нахождения информации достаточно вписать запрос и нажать значок с лупой. Аналогичны главным поисковикам Рунета и разделы Mail. Здесь тоже можно найти картинки и видео, но кроме этого, доступны «приложения» и «ответы». Выбрав первый раздел, можно воспользоваться многочисленными инструментами сервиса. Второй позволит найти информацию в Mail.Ответы.

А в этой статье я писал про сервисы очень подробно.

Поисковая система Рамблер

Рамблер – самый первый поисковик Рунета и огромное информационное пространство. История его началась в 1991 году. В то время Интернет как таковой в России только начинал зарождаться и использовался только в крупных организациях. В число таких организаций входили институты РАН, и в одном из них стали использовать локальную сеть для передачи данных между сотрудниками. Позже сеть была подключена к Интернет.

После пяти лет успешного использования на базе сети под началом российского программиста Дмитрия Крюкова создали поисковую систему под названием Rambler, что в переводе означает «странник». Данное название полностью отражает суть не только этого поисковика, но и всех остальных.

Сейчас, спустя 16 лет, Рамблер существует как система с разнообразными инструментами – игры, погода, новости, товары, карты и т.д. На его долю приходится 0,4% поисковых запросов Рунета.

Наиболее существенные изменения сервис претерпел в 2012 году: поменялся дизайн, появился показ новостей по умолчанию. Но практически сразу после этого руководством было принято решение заключить договор с Яндексом и перейти на его поиск. То есть теперь запросы с Рамблер обрабатывает и выдает Яндекс, а сам сервис работает на основе других своих инструментов.

Как пользоваться поиском Рамблер

Поиск в Рамблер ничем не отличается от поиска в других аналогичных сервисах. Пользователем задается команда в поисковой строке и после нажатия «найти» отображаются результаты. Кроме текстовой информации, здесь можно найти также картинки.

Другие поисковые системы Рунета

Поисковая система Нигма

Нигма – самая интеллектуальная поисковая система, созданная программистами Виктором Лавренко и Владимиром Чернышовым в 2004 году. Он отличается от других аналогичных сервисов тем, что здесь используется не только собственный алгоритм поиска, но и данные других поисковиков. Также Нигма позволяет использовать фильтры для быстрого нахождения нужной информации.

Здесь можно отдельно искать фильмы, музыку, картинки, ссылки и даже инструменты, помогающие ученикам и студентам с домашними заданиями. Функция фильрации называется кластеризацией. Изначально Нигма задумывалась именно как умная поисковая система, экономящая время. Именно поэтому и были созданы фильтры.

Несмотря на все фишки Нигмы, она не так популярна, как Яндекс, Гугл, Майл и даже Рамблер. На ее долю приходится лишь 0,1% всех запросов в поисковых системах. Возможно, именно поэтому с сентября 2017 года сайт «нигма.рф» стал недоступен для использования, но никаких официальных объявлений о закрытии проекта пока не было.

Поисковая система Спутник

Спутник – российская официальная поисковая система, которая появилась на рынке в 2014 году. Создатель ее – компания «Ростелеком».

История «Спутника» началась еще в 2010 году, когда Правительство РФ объявило о необходимости создания национальной поисковой системы. Причиной этого стала невозможность контроля уже существующих поисковиков, так как они не государственные. В 2011 году Президент Дмитрий Медведев поддержал идею, а уже в 2013 проект имел название и готовился к запуску. 22 мая он был запущен в режиме бета-тестирования.

Кроме поиска информации, Спутник предлагает такие сервисы, как «Погода», «Медицина», «Телепрограмма», «Карты», «Финансы», «Афиша» и т.д. Но несмотря на это пользователи Интернета восприняли поисковик без особого энтузиазма и в 2017 году проект был признан неудачным.

Как пользоваться поиском Спутник

Еще один российский поисковик Спутник имеет простой и удобный интерфейс. Для поиска информации в нем достаточно ввести запрос в поисковую строку и нажать кнопку «найти». Единственное, чем данный сервис принципиально отличается от аналогичных – это качество результата. То есть Спутник не выдаст столько результатов поиска, сколько другие, более популярные.

Поисковая система Апорт

Я застал время, когда мы им активно пользовались. Мне он нравился. Апорт как поисковик был создан в 1996 году компанией «Агама» — одним из лидеров по разработке программного обеспечения. Изначально сервис осуществлял поиск только по одному сайту, но со временем их стало больше, а затем поиск стал возможен по всему Рунету.

До 2000 года Апорт занимал высокие позиции в Рунете наряду с Яндексом и Гуглом. Разработчики несколько раз меняли дизайн, внедряли и другие инструменты, кроме поиска, но все же он начал сдавать позиции.

В 2011 году Апорт заключил договор с Яндекс и перешел на его движок. С этого времени поисковая система перестала существовать как привычная пользователям. Сейчас это сервис поиска цен на различные товары и сравнения с таковыми в других магазинах.

Как пользоваться Апорт

Апорт – это поисковая система, но находит она только товары с ценами. Для этого нужно выбрать из каталога нужный товар, а сервис покажет цены на него в различных магазинах. Затем можно перейти в магазин с более выгодной ценой и купить нужную вещь.

В сервисе представлено множество разделов с самыми разнообразными товарами. Благодаря ему можно отлично сэкономить.

Поисковая система Bing

Bing – поисковик от Microsoft, ставший третьим подобным проектом компании и самым удачным. Руководство Microsoft давно мечтало создать свою поисковую систему и впервые мечта стала реальностью в 1998 году, когда на рынке появился проект MSN Search. Но задумка была совершенно не встречена с энтузиазмом пользователями Интернета. И неудивительно, поскольку поисковик не представлял из себя ничего стоящего.

В 2006 году появился Windows Live Search, через год ему на смену пришел Live Search, но оба также не имели успеха у пользователей.

Наконец, в 2009 году Microsoft анонсировал новый сервис – Bing. Несмотря на неудачи своих предшественников, поисковик за короткое время заработал себе поклонников. В течение года по числу пользователей он сравнялся с Yahoo, что само по себе явление удивительное, а еще через немного вошел в список лучших поисковых систем мира.

В Рунете Бинг популярен гораздо меньше, чем во всей Всемирной паутине. Главная причина этого состоит в том, что поисковик очень мало отображает русскоязычные сайты. К тому же, в Рунете практически уже невозможно подвинуть те поисковики, которые устоялись.
Кроме самых популярных, есть также большое количество поисковых систем, которые мало кому известны, но все же используются некоторыми пользователями. Так, в Китае более 60% поисковых запросов обрабатывает поисковик Baidu.

У Бинга неплохая панель для вебмастеров. Обязательно добавьте ваш сайт туда.

Как пользоваться Bing

Поиск в Bing такой же удобный, как и в большинстве других поисковиков. Чтобы здесь найти сайт с текстовой информацией, изображение, видео или новость, достаточно ввести соответствующий запрос в поисковую строку. Поисковая система находит информацию как на российских сайтах, так и на зарубежных.

Главное отличие Bing от других сервисов с аналогичным функционалом – интерфейс с красивым дизайном. В отличие от того же Google, здесь по умолчанию установлен красочный фон.

Сравнение популярных поисковиков Рунета: где что искать

Поисковики тем лучше, чем больше точной информации могут выдать в ответ на запрос пользователя. Сегодня самая популярная система в Интернете – Google, а в Рунете – Яндекс. Если судить именно по качеству выдачи, то оно у них примерно одинаковое, но все же про что-то легче найти в Goggle, про что-то – в Яндекс. То же самое касается и других поисковых систем. Каждая из них ориентирована на определенную категорию пользователей и запросы.

Задача всех поисковых систем – нахождение информации, но каждый из них делает это по-своему. У всех свой алгоритм поиска и свои особенности. Возьмем к примеру Яндекс. Здесь можно найти практически все, но он в большей степени ориентирован на русскоязычные сайты. То есть если вы ищете информацию на русском языке про русского писателя, другого источника точно не надо. А вот если требуется статья на английском, уже стоит обратиться к Goggle или Bing. То же самое можно сказать и про иностранные видео и новости. Их вдоволь в одноименных разделах этих поисковых систем.

Спутник также ориентирован на русскоязычных пользователей и здесь вы вряд ли найдете много информации на иностранных языках. Скорее всего, в результатах будет что-то похожее на разыскиваемую информацию, но на русском языке.

Майл и Рамблер похожи по результатам выдачи на Яндекс, но найти здесь то, чего нет в главном поисковике Рунета, получится в очень редких случаях. В то же время Майл можно использовать для поиска в сервисе «Ответы», где зачастую находится нужная информация.

Апорт – специфический поисковик и предназначен для поиска товаров. Поэтому если вы намерены заняться шоппингом и ищете выгодные предложения, данный сервис вам обязательно поможет. Сравнивая цены в популярных интернет-магазинах, можно найти самые оптимальные варианты.

А каким поисковиком пользуетесь вы?

А знаете , и когда был запущен первый сайт? Угадаете?. Всем пока.

До недавнего времени найти необходимую информацию во Всемирной паутине было не так-то просто. Но, благодаря стремительному развитию и появлению новых поисковых систем, это процесс стал намного удобней и быстрее. В нашем сегодняшнем обзоре 10 самых лучших сервисов для поиска различного рода данных, которые способны отыскать в глубинах интернета все что потребуется.

1. Поисковая интернет система - Bing

Bing - это известная поисковая интернет система, которая создана в июне 2009 года. Данный сервис доступен на 40 языках. Её ежемесячное количество уникальных посетителей составляет приблизительно 350 миллионов человек.

2. Метапоисковая интернет система - AOL Search.com

AOL Search.com - это метапоисковая интернет система, которая была основана в Соединенных Штатах Америки в 1985 году. Ежемесячное количество посетителей этого сервиса составляет приблизительно 75 миллионов человек. Должность генерального директора занимает Тим Армстронг.

3. Поисковая интернет система - DuckDuckGo

DuckDuckGo - это интернет-поисковая система с открытым исходным кодом, которая была запущена в 2008 году Габриэлм Вайнбергом. Штаб-квартира компании расположена в Вэлли-Фордж, штат Пенсильвания. Количество уникальных посетителей использующих DuckDuckGo составляет около 13 миллионов человек в месяц.

4. Поисковая интернет система - Ask.com

Ask.com - это поисковая интернет система, главной особенностью которой является поиск ответов на вопросы. Сервис был основан в июне 1996 года в городе Беркли, штате Калифорния Гарреттом Грюнером и Дэвидом Уортоном. Ежемесячное количество уникальных посетителей этого сервиса составляет приблизительно 145 миллионов человек.

5. Поисковая интернет система - Google

Google – это самая известная поисковая интернет система, штаб-квартира которой находится в городе Маунтин-Вью, Калифорния, Соединённые Штаты Америки. Основана компания 4 сентября 1998 года Ларри Пейджом, Сергеем Михайловичем Брином. Её ежемесечное количество уникальных посетителей составляет около 1.100.000.000 человек.

6. Метапоисковая интернет система - MyWebSearch.com

MyWebSearch.com - это метапоисковая интернет система, которая находится на 73 месте в списке самых популярных веб-сайтов. Её ежемесячное количество уникальных посетителей составляет приблизительно 60 миллионов человек.

7. Метапоисковая интернет система - Infospace.com

Представленная поисковая система была основана в 1996 году. Её штаб квартира находится в Белльвью, Вашингтоне, Соединенных Штатах. Ежемесячно количество уникальных посетителей Infospace.com составляет приблизительно 24 миллиона человек.

8. Метапоисковая интернет система - WebCrawler.com

WebCrawler.com – это метапоисковая интернет система, работающая с помощью Yahoo и Google. Компания создана в апреле 1994 года. Её ежемесячное количество уникальных посетителей составляет приблизительно 65 миллионов человек.

9. Метапоисковая интернет система - Info.com

Info.com - это метапоисковая система, штаб-квартира которой находится в столице Великобритании Лондоне. Ежемесячное количество уникальных посетителей Info.com составляет приблизительно 13, миллионов человек.

10. Поисковая интернет система – Yahoo

Поисковая интернет система под названием – Yahoo , которая была основана в январе 1994 года Джерри Янгом и Дэвидом Филом. Генеральным директором компании является Марисса Майер. Её ежемесячное количество уникальных посетителей составляет примерно 300 миллионов человек. Штаб-квартира сервиса находится в городе Санта-Клара, Калифорния, Соединенные Штаты Америки.

А любителям мобильных девайсов и компьютерных технологий, наверняка будет интересно посмотреть на

Уже давно стали неотъемлемой частью российского Интернета. Поисковые системы сейчас – это огромные и сложные механизмы, представляющие собой не только инструмент поиска информации, но и заманчивые сферы для бизнеса.

Большинство пользователей поисковых систем никогда не задумывались (либо задумывались, но не нашли ответа) о принципе работы поисковых систем, о схеме обрабатки запросов пользователей, о том, из чего эти системы состоят и как функционируют…

Данный мастер-класс призван дать ответ на вопрос о том, как работают поисковые системы. Однако, Вы не найдете здесь факторов, влияющих на ранжирование документов. И тем более не стоит рассчитывать на подробное объяснение алгоритма работы Яндекса. Его, по словам Ильи Сегаловича, - директора по технологиям и разработке поисковой машины «Яндекс», можно узнать, лишь «под пыткой» самого Ильи Сегаловича…

2. Понятие и функции поисковой системы

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .

Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»)

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.

3. Основные характеристики поисковой системы

Опишем основные характеристики поисковых систем:

• Полнота

  Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

• Точность

  Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

• Актуальность

  Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

• Скорость поиска

  Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

• Наглядность

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и , имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

• URL страницы
• дата, когда страница была скачана
• http-заголовок ответа сервера
• тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

• Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде , то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
• Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
• В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
• Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
• Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

6. Заключение

Теперь подытожим все вышесказанное.

• Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
• Основные характеристики поисковых систем:
  1. Полнота
  2. Точность
  3. Актуальность
  4. Скорость поиска
  5. Наглядность
• Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.
• В состав поисковой системы входят компоненты:
  1. Модуль индексирования
  2. База данных
  3. Поисковый сервер

Надеемся, наш мастер-класс позволит Вам поближе ознакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.

Интернет необходим многим пользователям для того, чтобы получать ответы на запросы (вопросы), которые они вводят.

Если бы не было поисковых систем, пользователям пришлось бы самостоятельно искать нужные сайты, запоминать их, записывать. Во многих случаях найти «вручную» что-то подходящее было бы весьма сложно, а часто и просто невозможно.

За нас всю эту рутинную работу по поиску, хранению и сортировке информации на сайтах делают поисковики.

Начнем с известных поисковиков Рунета.

Поисковые системы в Интернете на русском

1) Начнем с отечественной поисковой системы. Яндекс работает не только в России, но также работает в Белоруссии и Казахстане, в Украине, в Турции. Также есть Яндекс на английском языке.

2) Поисковик Google пришел к нам из Америки, имеет русскоязычную локализацию:

3)Отечественный поисковик Майл ру, который одновременно представляет социальную сеть ВКонтакте, Одноклассники, также Мой мир, известные Ответы Mail.ru и другие проекты.

4) Интеллектуальная поисковая система

Nigma (Нигма) http://www.nigma.ru/

С 19 сентября 2017 года “интеллектуалка” nigma не работает. Она перестала для её создателей представлять финансовый интерес, они переключились на другой поисковик под названием CocCoc.

5) Известная компания Ростелеком создала поисковую систему Спутник.

Есть поисковик Спутник, разработанный специально для детей, про который я писала .

6) Рамблер был одним из первых отечественных поисковиков:

В мире есть другие известные поисковики:

• Bing,
• Yahoo!,
• DuckDuckGo,
• Baidu,
• Ecosia,

Попробуем разобраться, как же работает поисковая система, а именно, как происходит индексация сайтов, анализ результатов индексации и формирование поисковой выдачи. Принципы работы поисковых систем примерно одинаковые: поиск информации в Интернете, ее хранение и сортировка для выдачи в ответ на запросы пользователей. А вот алгоритмы, по которым работают поисковики, могут сильно отличаться. Эти алгоритмы держатся в тайне и запрещено ее разглашение.

Введя один и тот же запрос в поисковые строки разных поисковиков, можно получить разные ответы. Причина в том, что все поисковики используют собственные алгоритмы.

Цель поисковиков

В первую очередь нужно знать о том, что поисковики – это коммерческие организации. Их цель – получение прибыли. Прибыль можно получать с контекстной рекламы, других видов рекламы, с продвижения нужных сайтов на верхние строчки выдачи. В общем, способов много.

Зависит от того, какой размер аудитории у него, то есть, сколько человек пользуется данной поисковой системой. Чем больше аудитория, тем большему числу людей будет показываться реклама. Соответственно, стоить эта реклама будет больше. Увеличить аудиторию поисковики могут за счет собственной рекламы, а также привлекая пользователей за счет улучшения качества своих сервисов, алгоритма и удобства поиска.

Самое главное и сложное здесь – это разработка полноценного функционирующего алгоритма поиска, который бы предоставлял релевантные результаты на большинство пользовательских запросов.

Работа поисковика и действия вебмастеров

Каждый поисковик обладает своим собственным алгоритмом, который должен учитывать огромное количество разных факторов при анализе информации и составлении выдачи в ответ на запрос пользователя:

• возраст того или иного сайта,
• характеристики домена сайта,
• качество контента на сайте и его виды,
• особенности навигации и структуры сайта,
• юзабилити (удобство для пользователей),
• поведенческие факторы (поисковик может определить, нашел ли пользователь то, что он искал на сайте или пользователь вернулся снова в поисковик и там опять ищет ответ на тот же запрос)
• и т.д.

Все это нужно именно для того, чтобы выдача по запросу пользователя была максимально релевантной, удовлетворяющей запросы пользователя. При этом алгоритмы поисковиков постоянно меняются, дорабатываются. Как говорится, нет предела совершенству.

С другой стороны, вебмастера и оптимизаторы постоянно изобретают новые способы продвижения своих сайтов, которые далеко не всегда являются честными. Задача разработчиков алгоритма поисковых машин – вносить в него изменения, которые бы не позволяли «плохим» сайтам нечестных оптимизаторов оказываться в ТОПе.

Как работает поисковая система?

Теперь о том, как происходит непосредственная работа поисковой системы. Она состоит как минимум из трех этапов:

• сканирование,
• индексирование,
• ранжирование.

Число сайтов в интернете достигает просто астрономической величины. И каждый сайт – это информация, информационный контент, который создается для читателей (живых людей).

Сканирование

Это блуждание поисковика по Интернету для сбора новой информации, для анализа ссылок и поиска нового контента, который можно использовать для выдачи пользователю в ответ на его запросы. Для сканирования у поисковиков есть специальные роботы, которых называют поисковыми роботами или пауками.

Поисковые роботы – это программы, которые в автоматическом режиме посещают сайты и собирают с них информацию. Сканирование может быть первичным (робот заходит на новый сайт в первый раз). После первичного сбора информации с сайта и занесения его в базу данных поисковика, робот начинает с определенной регулярностью заходить на его страницы. Если произошли какие-то изменения (добавился новый контент, удалился старый), то все эти изменения будут поисковиком зафиксированы.

Главная задача поискового паука – найти новую информацию и отдать ее поисковику на следующий этап обработки, то есть, на индексирование.

Индексирование

Поисковик может искать информацию лишь среди тех сайтов, которые уже занесены в его базу данных (проиндексированы им). Если сканирование – это процесс поиска и сбора информации, которая имеется на том или ином сайте, то индексация – процесс занесения этой информации в базу данных поисковика. На этом этапе поисковик автоматически принимает решение, стоит ли заносить ту или иную информацию в свою базу данных и куда ее заносить, в какой раздел базы данных. Например, Google индексирует практически всю информацию, найденную его роботами в Интернете, а Яндекс более привередлив и индексирует далеко не все.

Для новых сайтов этап индексирования может быть долгим, поэтому посетителей из поисковых систем новые сайты могут ждать долго. А новая информация, которая появляется на старых, раскрученных сайтах, может индексироваться почти мгновенно и практически сразу попадать в «индекс», то есть, в базу данных поисковиков.

Ранжирование

Ранжирование – это выстраивание информации, которая была ранее проиндексирована и занесена в базу того или иного поисковика, по рангу, то есть, какую информацию поисковик будет показывать своим пользователям в первую очередь, а какую информацию помещать «рангом» ниже. Ранжирование можно отнести к этапу обслуживания поисковиком своего клиента – пользователя.

На серверах поисковой системы происходит обработка полученной информации и формирование выдачи по огромному спектру всевозможных запросов. Здесь уже вступают в работу алгоритмы поисковика. Все занесенные в базу сайты классифицируются по тематикам, тематики делятся на группы запросов. По каждой из групп запросов может составляться предварительная выдача, которая впоследствии будет корректироваться.

Ожидаемо Гугл занял первое место в мировом рейтинге. На его долю приходится более 70% поисковых запросов от жителей со всех уголков Земли. Причем треть всего трафика google.com приходится на граждан США. Кроме того, Гугл является самым посещаемым сайтом в мире. Средняя ежедневная продолжительность использования поисковой системы Гугл составляет 9 минут.

Преимуществом поисковика Гугл является отсутствие лишних элементов на странице. Лишь строка поиска и логотип компании. Фишкой являются анимированные картинки и браузерные игры, приуроченные к популярным и локальным праздникам.

2. Bing

Бинг — поисковая система от Microsoft , ведущая свою историю с 2009 года. С этого момента она стала обязательным атрибутом смартфонов на ОС Windows. Bing также отличает минимализм — помимо шапки с перечнем всех продуктов Microsoft, на странице расположена лишь поисковая строка и название системы. Наиболее популярен Бинг в США (31%), Китае (18%) и Германии (6%).

3. Yahoo!

Третье место закрепилось за одним из старейших поисковиков — Яху. Основная масса пользователей также проживает в США (24%). Складывается впечатление, что весь остальной мир сознательно избегает помощи поисковых роботов… Также поисковик популярен в Индии, Индонезии, Тайване и в Великобритании. Помимо строки поиска, на странице Yahoo! предлагается прогноз погоды в вашем регионе, а также мировые тренды в виде ленты новостей.

4. Baidu

Китайский поисковик, который в России снискал дурную славу. Из-за агрессивной политики и отсутствия перевода на русский или английский языки, расширения этой поисковый системы воспринимаются в качестве вирусов. Их очень сложно удалить до конца и избавиться от всплывающих окон с иероглифами. Тем не менее, этот сайт является четвертым в мире по посещаемости. 92% его аудитории составляют граждане Китая.

5. AOL

AOL — американская поисковая система, чье название расшифровывается как America Online. Ее популярность значительно ниже, чем у предыдущих систем. Ее рассвет приходился на 90-е и 00-е годы. Почти 70% аудитории АОЛ — жители Соединенных Штатов.

6. Ask.com

У этой поисковой системы, ведущей свою историю с 1995, довольно необычный интерфейс . Все запросы она воспринимает в качестве вопросов и предлагает варианты ответов в соответствии с поисковой выдачей. Это чем-то напоминает сервис Ответы.Мэйл. Однако в выдачу попадают не ответы любителей, а полноценные статьи. За последний год сайт потерял около 50 позиций в мировом рейтинге самых популярных интернет-ресурсов и на сегодняшний день занимает лишь 104 место.

7. Excite

Этот поисковик ничем не примечателен, и похож на массу других сайтов. Он предлагает пользователям массу сервисов (таких, как Новости, Почта, Погода, Путешествия и т.д.) Интерфейс сайта также вызывает воспоминания о вэбе 90-х гг и, можно предположить, мало изменился с тех пор.

8. DuckDuckGo

Разработчики сразу предупреждают, что данная поисковая система не отслеживает ваши действия в сети. В наши дни это является весомым аргументом при выборе поисковика. Дизайн сайта выполнен в современной манере, использует яркие краски и забавные картинки. В отличие от других поисковых машин, «утиный поисковик» переведен на русский язык. За последний год сайт отыграл около 400 позиций и в марте 2017г. находится на 504 строчке рейтинга популярности Alexa.

9. WolframAlpha

Отличительной чертой этого поиска является многообразие вспомогательных сервисов, рассчитанных на запросы, связанные с теми или иными знаниями. То есть, в выдаче вы не увидите ссылок на посты в соцсетях или статьи желтой прессы. Вам предложат конкретные цифры и проверенные факты в форме единого документа . Этот браузер идеально подходит школьникам и студентам.

10. Yandex

Поисковик, наиболее популярный в России и странах СНГ. Кроме того, около 3% аудитории сайта являются жителями Германии. Сайт примечателен большим количеством сервисов на все случаи жизни (музыка, радио, расписание общественного транспорта, недвижимость, переводчик и пр.) Также ресурс предлагает большой выбор индивидуального оформления сайта, а также настройку виджетов «под себя» . Яндекс занимает 31 место в мире по популярности, потеряв 11 позиций за последний год.