Доброго всем времени суток, мои дорогие друзья и читатели моего блога. Сегодня я вам хочу рассказать про самые известные поисковые системы в интернете на русском языке. Ресурсы сети Интернет используются для каждодневной работы и отдыха огромного количества людей.

А для того, чтобы получить то, что нужно или интересно используются поисковые системы, которые представляют собой аппаратно-программный комплекс для быстрого поиска необходимой пользователю информации, хранящейся на серверах (специальных компьютерах) Интернета.

Частота использования поисковой системы определяется, во-первых, тем насколько актуальные данные она предоставляет, а во-вторых, как быстро она это делает. Основными критериями для выбора являются:

• полнота и точность найденных результатов;
• актуальность данных;
• скорость нахождения;
• наглядность интерфейса.

В России наиболее востребованы такие поисковики, как Yandex, Mail, Rambler и некоторые другие. Но я хотел бы вам предоставить более подробный список этих систем, чтобы вы имели более полное представление обо всем этом.

Yandex.ru – наиболее популярна в пределах русскоязычного Интернета. Поисковые запросы можно писать как на английском, так и на русском языке. Девиз сайта Яндекс «Найдется все!» и действительно, им обеспечивается качественное и быстрое предоставление информации.

Лично я этим поисковиком пользуюсь же более 10 лет по умолчанию и мне он безумно нравится. А для любого веб-мастера он имеет просто огромное значение, так как любой из них в лепешку расшибается ради того, чтобы его сайт находили именно в этой системе.

Он обладает огромной индексной базой, а значит, может найти практически все. Вывод найденной информации отличается рациональностью. Яндекс непрерывно развивается. Он предлагает все больше востребованных сервисов, например, новости, карты, прогноз погоды, электронная почта, Яндекс. деньги. Кстати я тут писал , так что если вас это интересует, то обязательно почитайте.

На сегодняшний момент доля использования яндекса в России составляет около 56 процентов . То есть большая часть населения страны предпочитает использовать именно этот обозреватель.

Google

А вот и главный конкурент вышеупомянутого Яши. Да, система эта конечно не русская, но зато один из ее основателей — это наш соотечественник Сергей Брин. Правда его увезли в штаты еще будучи ребенком, поэтому врядли его можно назвать русским. Если вам интересно, то вы можете почитать , которые я для вас собрал.

Как бы то ни было, гугл является самой популярной системой в мире и пока еще второй по популярности в России.

На сегодняшний 38 процентов всех поисковых запросов России проходит именно через гугл

Поиск Mail.ru

У русскоязычных пользователей сети очень популярна почта mail.ru. Но не очень многие используют одноименный поисковик. Сам по себе он обычный и ничем не примечательный, поэтому против таких конкурентов, как вышеупомянутые яндекс и гугл, ему пока не выстоять. Хотя я сомневаюсь, что он будет пытаться покорять вершины поисковых систем. Ему вполне достаточно, что у него самая популярная почта России. Но всё же свои 5 процентов от общего числа запросов он имеет.

Кроме того сайт содержит огромное количество приложений, интересных игр, а также имеет собственную социальную сеть. Разработаны приложения позволяющие производить поиск по голосу.

Rambler.ru

Rambler – это один из наиболее ранних вариантов и раньше это была одна из самых популярных поисковых систем на русском языке, наравне с яндексом. И первые пару лет я активно использовал его в качестве поисковой системы по умолчанию, пока не перешел на Яндекс. Сейчас он используется не очень активно (я бы даже сказал совсем не активно), хотя он обладает неплохим качеством и отличной скоростью.

Он является также популярным медийным порталом Рунета, на котором можно использовать почту, узнать последние новости о самых разных сферах жизни. Кстати именно какмедийно-новостной портал он зарекомендовал себя вполне неплохо и я знаю многих людей, которые специально идут именно на рамблер, чтобы почитать последние новости.

Несмотря на свою былую популярность, рамблеру сегодня принадлежит меньше 0,5 процентов от общего количества запросов в интернете.

WebAlta.ru

WebAlta — один из новых российских поисковиков. Он неплохо развивается и уже отражает более 1 миллиарда документов, что является хорошим результатом. Он легко настраивается в соответствии с предпочтениями пользователей. Настройка визуализирована, и смена запроса сразу же отражается на результатах.

Но как же он меня раздражал пару лет назад, когда после установки какого-либо приложения вебальта вставала в качестве домашней страницы и поисковика по умолчанию. Я вообще думал, что это вирус какой-то. Поэтому еще раз скажу: « ».

Ну а насчет доли поискового трафика даже и говорить не буду, так как он ничтожно мал.

Nigma.ru

Nigma – это современная российская интеллектуальная метапоисковая система. Она использует современный кластерный подход, что улучшает качество и полноту процесса. Сайт включает математическую и химическую подсистемы для решения самых разных задач и стандартные пользовательские сервисы.

Но пока это наверное наименее популярный сервис из всех представленных выше. Хотя можете попробовать его в деле. Быть может вам всё понравится). Ну и насколько вы поняли, трафик тут также настолько низкий, что его можно даже не включать.

Скажите пожалуйста, какими поисковыми системами вы пользуетесь? Я спрашиваю не просто так. Дело в том, что недавно я узнал, что один мой знакомый пользуется рамблером. И если честно, то я был удивлен, что кто-то из моих знакомых пользуется не яндексом или гуглом. Я просто еще с середины нулевых подсел на яндекс и именно он является моим любимым поисковиком.

Ну вот теперь в принципе я думаю, что вы в принципе знаете все основные поисковые системы на русском языке, и сделаете выводы, какая из них вам интереснее. Но правда с двумя гигантами остальным будет сложно конкурировать

Ну а на этом я пожалуй свою сегодняшнюю статью закончу. Надеюсь, что она вам пришлась по вкусу. Если это так, то обязательно заходите ко мне снова. Удачи вам. Пока!

С уважением Дмитрий Костин.

Что это

DuckDuckGo - это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo, Bing, «Википедии».

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.

Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

DuckDuckGo формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках: Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный с одноимённым названием.

not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И их число будет расти по мере того, как ужесточается контроль властей над содержанием Сети. Tor - это своеобразная сеть внутри Сети со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

3. YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy - это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

4. Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными источниками информации являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

FindSounds - ещё один специализированный поисковик. Ищет различные звуки (дом, природа, машины, люди и так далее) в открытых источниках. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнить поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках поиска можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск звуков по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это мы выбрали только из доступных русскоязычных запросов. На английском языке спектр ещё шире.

А если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Что это

Wolfram|Alpha - вычислительно-поисковая система. Вместо ссылок на статьи, которые содержат ключевые слова, она выдаёт готовый ответ на запрос пользователя. Например, если ввести в форму поиска «сравнить население Нью-Йорка и Сан-Франциско» на английском, то Wolfram|Alpha сразу выведет на экран таблицы и графики со сравнением.

Чем лучше

Этот сервис лучше других подходит для поиска фактов и вычисления данных. Wolfram|Alpha накапливает и систематизирует доступные в Сети знания из различных областей, включая науку, культуру и развлечения. Если в этой базе находится готовый ответ на поисковый запрос, система показывает его, если нет - вычисляет и выводит результат. При этом пользователь видит только нужную информацию и ничего лишнего.

Зачем это вам

Если вы, например, студент, аналитик, журналист или научный сотрудник, то можете использовать Wolfram|Alpha для поиска и вычисления данных, связанных с вашей деятельностью. Сервис понимает не все запросы, но постоянно развивается и становится умнее.

Что это

Метапоисковик Dogpile выводит комбинированный список результатов из поисковых выдач Google, Yahoo и других популярных систем.

Чем лучше

Во-первых, Dogpile отображает меньше рекламы. Во-вторых, сервис использует особый алгоритм, чтобы находить и показывать лучшие результаты из разных поисковиков. Как утверждают разработчики Dogpile, их системы формирует самую полную выдачу во всём интернете.

Зачем это вам

Если вы не можете найти информацию в Google или другом стандартном поисковике, поищите её сразу в нескольких поисковиках с помощью Dogpile.

Что это

BoardReader - система для текстового поиска по форумам, сервисам вопросов и ответов и другим сообществам.

Чем лучше

Сервис позволяет сузить поле поиска до социальных площадок. Благодаря специальным фильтрам вы можете быстро находить посты и комментарии пользователей, которые соответствуют вашим критериям: языку, дате публикации и названию сайта.

Зачем это вам

BoardReader может пригодиться пиарщикам и другим специалистам в области медиа, которых интересует мнение массовой аудитории по тем или иным вопросам.

В заключение

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко .

Сергей Петренко

Бывший генеральный директор «Яндекс.Украины».

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до Google и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии. Наверняка вы тоже знаете подобные проекты. Поделитесь с нами - обсудим.

Поисковая система - это один из ключевых уровней интернета наравне с контентом и браузером. «Яндекс»-поисковик или аналогичные системы («Гугл», «Бинг», DuckDuckGo и другие) позволяют пользователю осуществлять поиск информации во Всемирной паутине, формулируя запрос.

Работа же поисковой системы заключается в том, чтобы найти по этому запросу (ключевому слову или фразе) все документы, страницы, видео, то есть весь контент.

Какой поисковик самый лучший? Есть ли альтернативные варианты, что-то кроме «Гугла» и «Яндекса»? Какой поисковик интернета больше подходит для сканирования англоязычных источников или, например, музыки? Именно об этом и пойдет речь в статье.

Рейтинг: лидеры рынка

Если говорить о мире в целом, то «Гугл»-поисковик является самой популярной поисковой системой. Корпорация занимает практически 70% рынка. Вторую позицию рейтинга занимает «Бинг» (доля - 12,26%). Борьбу за вторую строчку с ним ведет система Baidu (6,48% по состоянию на сентябрь 2015 года). Время от времени они меняются местами.

Так, например, в 2014 «силы» были распределены по-другому: первое место занимал «Гугл»-поисковик с 68,69%, второе - Baidu (17,7%), третье - «Бинг» с капитализацией рынка в 6,22%.

Но общемировые данные очень обобщенные. Какой поисковик самый лучший?

В Китае, к примеру, очень небольшой процент населения сканирует «Гуглом», большинство использует отечественную систему Soso. В Южной Корее большая часть жителей пользуется собственной разработкой - поисковиком интернета Naver. Правда, в последние несколько месяцев количество запросов в этой системе начало стремительно снижаться.

В Японии и Тайване пользователи чаще других используют Yahoo!

Рейтинг: русскоязычные системы

Какой поисковик самый лучший? В России рейтинг поисковых систем совсем не похож на общемировой. Лидер рынка в русскоязычном сегменте интернета - это «Яндекс», которым пользуются более 55% пользователей.

На втором месте «Гугл» с результатом 37,6%. Согласно данным сервиса LiveInternet, охват русскоязычных поисковых запросов во Всемирной паутине распределился следующим образом:

1. Универсальные поисковики: «Гугл» (37,6%), «Бинг» (0,3%), Yahoo! (0,1%).
2. Англоязычные и международные (AskJeeves, например).
3. Русскоязычные системы поиска: «Яндекс» (56,2%), Mail (5,3%), «Рамблер» (0,5%).

DuckDuckGo

Разговор об альтернативных поисковых системах стоит начать с поисковика DuckDuckGo. Это достаточно известная и распространенная система с открытым исходным кодом. Серверы DuckDuckGo находятся в Соединенных Штатах Америки. Результаты поиска довольно обширные, так как система использует не только собственные алгоритмы, но и результаты некоторых других источников, например, "Википедии", поисковика «Бинг» и Yahoo!

Поисковик DuckDuckGo обеспечивает максимальную безопасность личной информации пользователя, приватность и конфиденциальность. Система не собирает никаких данных о пользователях, не хранит историю и максимально ограничивает использование файлов cookie.

Отличие DuckDuckGo в том, что эта система не персонализирует поисковую выдачу, как это делают другие системы. В «Гугле» или «Яндексе», например, пользователь видит только ту информацию, которая согласуется с его предпочтениями. А вот DuckDuckGo формирует реальную картину и позволяет избавиться от навязчивой конкретной рекламы. Поисковый сервис легко ищет информацию на иностранных языках, тогда как «Яндекс» и «Гугл» по умолчанию отдают предпочтение русскоязычным источникам, даже если запрос введен на английском, немецком или другом языке.

В системе можно настроить интерфейс: изменять можно цветовое оформление, шрифты, ссылки и другие параметры всего в несколько кликов.

Пока еще этой поисковой системе далеко до гиганта «Гугла», но утёнок развивается, так что вполне возможно, что в будущем DuckDuckGo займет одну из лидирующих позиций. Команда создала отличный продукт, который обеспечивает анонимный, быстрый и функциональный поиск, заслуживающий внимания пользователя.

NotEvil

Это система, которая осуществляет поиск по анонимной сети Tor. Поисковая система предустановлена в одноименном браузере. Чем лучше notEvil? Он «проходит» туда, куда не могут добраться «Гугл» или «Яндекс»-поисковик. Вообще, в сети Tor очень много ресурсов которые нельзя посетить в «обычном» (законопослушном) интернете. Это такая себе площадка внутри сети со своими социальными платформами, торрент-трекерами, СМИ, блогами, торговыми центрами, форумами, библиотеками и так далее.

Кстати, notEvil - это не единственный в своем роде поисковик. Еще есть Look, который по умолчанию доступен в том же браузере «Тор», и TORCH - одна из самых старых систем поиска в анонимной сети.

YaCy

Бесплатный поисковик YaCy - это совершенно другой подход к организации поиска во Всемирной паутине. Система работает по принципу Р2Р. Это значит, что каждый компьютер, на котором установлен модуль, самостоятельно сканирует интернет, а потом все полученные результаты собираются в единую базу, которой могут пользоваться все пользователи YaCy.

Система полностью независима, автономна, обеспечивает анонимность каждого пользователя. YaCy подойдет сторонникам открытого интернета, который не подвержен влиянию крупных корпораций и государственных органов.

В быту поисковик пока что не очень полезен, зато в перспективе является достойной альтернативой «Гуглу» даже с точки зрения организации процесса поиска информации.

Pipl

Pipl - система, предназначенная для поиска информации о каком-то определенном человеке. Разработчики утверждают, что алгоритмы поисковика ищут людей эффективнее, чем распространенные во всем мире «Гугл» или «Яндекс».

Приоритетными источниками являются профили в социальных сетях комментарии, списки участников, базы данных, где публикуются разнообразные данные о людях, например, базы судебных решений. Но есть и недостаток. Для Pipl недоступны российские базы данных, так что он будет полезен только для поиска информации о гражданах США.

FindSounds

Какой поисковик самый лучший? Если нужно найти музыку или звуки, то, конечно, самым лучшим будет именно FindSounds. Это специализированный поисковик, где есть список тегов. Тут можно выбрать нужный формат аудиофайла или его качество. Все результаты поиска доступны для скачивания.

Wolfram|Alpha

Эта система выдает не страницы, на которых есть нужная пользователю информация, а готовый результат. Например, карты, графики, таблицы, короткие ответы. Сервис как нельзя лучше подходит для вычисления данных и поиска конкретных фактов. Поисковик пока понимает не все запросы, но постоянно развивается.

С помощью Wolfram|Alpha удобно, например, сравнивать параметры для настройки фотоаппарата, смартфона или ноутбука. Также вычислять уровень алкоголя в крови (система запрашивает у пользователя вес и рост, количество выпитого, время, а затем сообщает, через сколько алкоголь полностью выведется из организма).

Инструмент может конвертировать размеры обуви и одежды, считать калории, смотреть курсы валют или настраивать музыкальный инструмент.

Dogpile

Dogpile выводит результаты из выдач всех распространенных поисковых систем сразу. Сервис использует улучшенный алгоритм и, как уверяют разработчики, формирует самую лучшую выдачу в интернете. Кроме того, здесь мало рекламы. Можно попробовать воспользоваться Dogpile, если нужная информация никак не находится в стандартных «Гугле» или «Яндексе».

BoardReader

Эта система ищет информацию на форумах, опросах, сервисах вопросов и ответов, социальным сообществам, сужая поле поиска до социальных площадок. Можно выставить фильтры: язык и дату публикации, название сайта и тому подобное.

Поисковик может пригодиться специалистам по рекламе, которых интересует мнение аудитории.

В заключение

Часто альтернативные поисковые системы скоротечны. Они появляются также быстро, как и умирают. Большинство альтернативных систем на сегодняшний день специализируются на какой-либо узкой нише или тестируют оригинальный алгоритм в формировании результатов поиска.

В контексте описания альтернативных поисковых систем, критерий «лучше» совсем не означает «лучше во всем». Каждый из перечисленных выше сервисов дает конкретному пользователю что-то такое, чего нет в «Гугле» или «Яндексе». В любом случае, ознакомиться с альтернативными вариантами (на фоне того, что система кажется практически монополизированной поисковыми гигантами) интересно и полезно каждому пользователю.

Поисковики считают самыми популярными сайтами в интернете. Это не удивительно, ведь для нахождения чего-то в сети, сначала приходится воспользоваться сервисами поиска.


Их существует довольно много и даже не опытные пользователи интернета, знают хотя бы 2-3 поисковых системы.

Какие есть поисковые системы? Кто-то знает об одном поисковике, некоторым известно около 10 сервисов поиска, но на самом деле их намного больше.

Конечно, популярность у них разная, так же как и интерфейс, и качество результатов. Мы представим вам список из разных поисковых систем, чтобы вы могли их сравнить.

Популярные поисковые системы

Разработаны сервисы поиска для различных категорий людей. Наиболее известные охватывают страны или даже весь мир, а менее известные рассчитаны на регионы или интересы пользователей.

Ниже представлено 10 поисковых систем, о которых вы обязаны знать:

1. – об этом поисковике знают все, он самый популярный в России и предоставляет широкий функционал своим пользователям (начиная с электронных платежей, заканчивая панелью для вебмастеров).
2. – лидер среди всех сайтов в мире. Им пользуются люди со всех стран и считают самой качественной поисковой системой. Как и на Yandex, клиентам предлагают много дополнительных инструментов.
3. – поисково-информационная система, с учетом русскоязычной морфологии. У сайта есть несколько отдельных версий, например, XRambler, через который можно проводить поиск сразу в нескольких сервисах.
4. – зарубежом эта система обладает колоссальной популярностью. Она давно переведена на русский язык, но большой известности в Рунете так и не получила. Пользователям доступен разный поиск (по картинкам, видеороликам и т.д.).
5. – известная в Рунете компания, занимается развитием сразу в нескольких направлениях. Помимо собственного поисковика и популярнейшего сервиса почты, они являются владельцами таких проектов как Одноклассники и Вконтакте.
6. – создавался как государственный ресурс в России, но не получил массового распространения. Через него можно проводить разные форматы поиска, а также получать полезную информацию.
7. – разработана для поиска информации в китайском сегменте интернета. Кто знает, возможно и это вам пригодится. Можно получать новости, искать картинки, музыку, получать карты и многое другое.
8. – проект всем известной компании Microsoft. По объему трафика, этот сайт занимает второе место в мировом рейтинге поисковиков. Работает он с 1998 года и за это время много раз модернизировался.
9. – этим сервисом пользуются только иностранцы. Проект американский и помимо поисковой системы, компания обладает массой других сайтов и сервисов. Стоит отметить, что у них крупнейший каталог ссылок на сайты мировой паутины.

Если в одном из поисковиков не удается найти информацию, то почему бы не поискать её через другой сайт? Теперь у вас есть несколько качественных ресурсов, и вы обязательно найдете то, что вам нужно.

В архитектуру поисковой системы обычно входят:

Энциклопедичный YouTube

1 / 5

✪ Урок 3: Как работает поисковая система. Введение в SEO

✪ Поисковая система изнутри

✪ Shodan - черный Google

✪ Поисковая система ЧЕБУРАШКА заменит Google и Яндекс в России

✪ Урок 1 - Как устроена поисковая система

Субтитры

История

На раннем этапе развития сети Интернет Тим Бернерс-Ли поддерживал список веб-серверов, размещённый на сайте ЦЕРН . Сайтов становилось всё больше, и поддерживать вручную такой список становилось всё сложнее. На сайте NCSA был специальный раздел «Что нового!» (англ. What"s New! ) , где публиковали ссылки на новые сайты.

Первой компьютерной программой для поиска в Интернете , была программа Арчи (англ. archie - архив без буквы «в»). Она была создана в 1990 году Аланом Эмтэджем (Alan Emtage), Биллом Хиланом (Bill Heelan) и Дж. Питером Дойчем (J. Peter Deutsch), студентами, изучающими информатику в университете Макгилла в Монреале . Программа скачивала списки всех файлов со всех доступных анонимных FTP -серверов и строила базу данных, в которой можно было выполнять поиск по именам файлов. Однако, программа Арчи не индексировала содержание этих файлов, так как объём данных был настолько мал, что всё можно было легко найти вручную.

Развитие и распространение сетевого протокола Gopher , придуманного в 1991 году Марком Маккэхилом (Mark McCahill) в университете Миннесоты , привело к созданию двух новых поисковых программ, Veronica и Jughead . Как и Арчи, они искали имена файлов и заголовки, сохранённые в индексных системах Gopher. Veronica (англ. Very Easy Rodent-Oriented Net-wide Index to Computerized Archives ) позволяла выполнять поиск по ключевым словам большинства заголовков меню Gopher во всех списках Gopher. Программа Jughead (англ. Jonzy"s Universal Gopher Hierarchy Excavation And Display ) извлекала информацию о меню от определённых Gopher-серверов. Хотя название поисковика Арчи не имело отношения к циклу комиксов «Арчи» , тем не менее Veronica и Jughead - персонажи этих комиксов.

К лету 1993 года ещё не было ни одной системы для поиска в вебе, хотя вручную поддерживались многочисленные специализированные каталоги. Оскар Нирштрасс (Oscar Nierstrasz) в Женевском университете написал ряд сценариев на Perl , которые периодически копировали эти страницы и переписывали их в стандартный формат. Это стало основой для W3Catalog ?! , первой примитивной поисковой системы сети, запущенной 2 сентября 1993 года .

Вероятно, первым поисковым роботом, написанным на языке Perl, был «World Wide Web Wanderer» - бот Мэтью Грэя (Matthew Gray) из в июне 1993 года. Этот робот создавал поисковый индекс «Wandex ». Цель робота Wanderer состояла в том, чтобы измерить размер всемирной паутины и найти все веб-страницы, содержащие слова из запроса. В 1993 году появилась и вторая поисковая система «Aliweb ». Aliweb не использовала поискового робота , но вместо этого ожидала уведомлений от администраторов веб-сайтов о наличии на их сайтах индексного файла в определённом формате.

JumpStation , созданный в декабре 1993 года Джонатаном Флетчером, искал веб-страницы и строил их индексы с помощью поискового робота, и использовал веб-форму в качестве интерфейса для формулирования поисковых запросов. Это был первый инструмент поиска в Интернете, который сочетал три важнейших функции поисковой системы (проверка, индексация и собственно поиск). Из-за ограниченности ресурсов компьютеров того времени индексация и, следовательно, поиск были ограничены только названиями и заголовками веб-страниц, найденных поисковым роботом.

Поисковые системы участвовали в «Пузыре доткомов» конца 1990-х . Несколько компаний эффектно вышли на рынок, получив рекордную прибыль во время их первичного публичного предложения . Некоторые отказались от рынка общедоступных поисковых движков и стали работать только с корпоративным сектором, например, Northern Light .

Google взял на вооружение идею продажи ключевых слов в 1998 году, тогда это была маленькая компания, обеспечивающая работу поисковой системы по адресу goto.com . Этот шаг ознаменовал для поисковых систем переход от соревнований друг с другом к одному из самых выгодных коммерческих предприятий в Интернете . Поисковые системы стали продавать первые места в результатах поиска отдельным компаниям.

Поисковая система Google занимает видное положение с начала 2000-х . Компания добилась высокого положения благодаря хорошим результатам поиска с помощью алгоритма PageRank . Алгоритм был представлен общественности в статье «The Anatomy of Search Engine», написанной Сергеем Брином и Ларри Пейджем, основателями Google . Этот итеративный алгоритм ранжирует веб-страницы, основываясь на оценке количества гиперссылок на веб-страницу в предположении, что на «хорошие» и «важные» страницы ссылаются больше, чем на другие. Интерфейс Google выдержан в спартанском стиле, где нет ничего лишнего, в отличие от многих своих конкурентов, которые встраивали поисковую систему в веб-портал. Поисковая система Google стала настолько популярной, что появились подражающие ей системы, например, Mystery Seeker (тайный поисковик).

Поиск информации на русском языке

В 1996 году был реализован поиск с учётом русской морфологии на поисковой машине Altavista и запущены оригинальные российские поисковые машины Рамблер и Апорт . 23 сентября 1997 года была открыта поисковая машина Яндекс . 22 мая 2014 года компанией Ростелеком была открыта национальная поисковая машина Спутник , которая на момент 2015 года находится в стадии бета-тестировании. 22 апреля 2015 года был открыт новый сервис Спутник. Дети специально для детей с повышенной безопасностью.

Большую популярность получили методы кластерного анализа и поиска по метаданным . Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivisimo . В 2005 году в России при поддержке МГУ запущен поисковик «Нигма », поддерживающий автоматическую кластеризацию . В 2006 году открылась российская метамашина Quintura , предлагающая визуальную кластеризацию в виде облака тегов . «Нигма» тоже экспериментировала с визуальной кластеризацией.

Как работает поисковая система

Основные составляющие поисковой системы: поисковый робот , индексатор , поисковик .

Как правило, системы работают поэтапно. Сначала поисковый робот получает контент, затем индексатор генерирует доступный для поиска индекс, и наконец, поисковик обеспечивает функциональность для поиска индексируемых данных. Чтобы обновить поисковую систему, этот цикл индексации выполняется повторно .

Поисковые системы работают, храня информацию о многих веб-страницах, которые они получают из HTML страниц. Поисковый робот или «краулер» (англ. Crawler ) - программа, которая автоматически проходит по всем ссылкам, найденным на странице, и выделяет их. Краулер, основываясь на ссылках или исходя из заранее заданного списка адресов, осуществляет поиск новых документов, ещё не известных поисковой системе. Владелец сайта может исключить определённые страницы при помощи robots.txt , используя который можно запретить индексацию файлов, страниц или каталогов сайта.

Поисковая система анализирует содержание каждой страницы для дальнейшего индексирования. Слова могут быть извлечены из заголовков, текста страницы или специальных полей - метатегов . Индексатор - это модуль, который анализирует страницу, предварительно разбив её на части, применяя собственные лексические и морфологические алгоритмы. Все элементы веб-страницы вычленяются и анализируются отдельно. Данные о веб-страницах хранятся в индексной базе данных для использования в последующих запросах. Индекс позволяет быстро находить информацию по запросу пользователя . Ряд поисковых систем, подобных Google, хранят исходную страницу целиком или её часть, так называемый кэш , а также различную информацию о веб-странице. Другие системы, подобные системе AltaVista, хранят каждое слово каждой найденной страницы. Использование кэша помогает ускорить извлечение информации с уже посещённых страниц . Кэшированные страницы всегда содержат тот текст, который пользователь задал в поисковом запросе. Это может быть полезно в том случае, когда веб-страница обновилась, то есть уже не содержит текст запроса пользователя, а страница в кэше ещё старая. Эта ситуация связана с потерей ссылок (англ. linkrot ) и дружественным по отношению к пользователю (юзабилити) подходом Google. Это предполагает выдачу из кэша коротких фрагментов текста, содержащих текст запроса. Действует принцип наименьшего удивления , пользователь обычно ожидает увидеть искомые слова в текстах полученных страниц (User expectations ). Кроме того, что использование кэшированных страниц ускоряет поиск, страницы в кэше могут содержать такую информацию, которая уже нигде более не доступна.

Поисковик работает с выходными файлами, полученными от индексатора. Поисковик принимает пользовательские запросы, обрабатывает их при помощи индекса и возвращает результаты поиска .

Когда пользователь вводит запрос в поисковую систему (обычно при помощи ключевых слов), система проверяет свой индекс и выдаёт список наиболее подходящих веб-страниц (отсортированный по какому-либо критерию), обычно с краткой аннотацией, содержащей заголовок документа и иногда части текста. Поисковый индекс строится по специальной методике на основе информации, извлечённой из веб-страниц . С 2007 года поисковик Google позволяет искать с учётом времени, создания искомых документов (вызов меню «Инструменты поиска» и указание временного диапазона). Большинство поисковых систем поддерживает использование в запросах булевых операторов И, ИЛИ, НЕ, что позволяет уточнить или расширить список искомых ключевых слов. При этом система будет искать слова или фразы точно так, как было введено. В некоторых поисковых системах есть возможность приближённого поиска , в этом случае пользователи расширяют область поиска, указывая расстояние до ключевых слов . Есть также концептуальный поиск , при котором используется статистический анализ употребления искомых слов и фраз в текстах веб-страниц. Эти системы позволяют составлять запросы на естественном языке. Примером такой поисковой системы является сайт ask com .

Полезность поисковой системы зависит от релевантности найденных ею страниц. Хоть миллионы веб-страниц и могут включать некое слово или фразу, но одни из них могут быть более релевантны, популярны или авторитетны, чем другие. Большинство поисковых систем использует методы ранжирования, чтобы вывести в начало списка «лучшие» результаты. Поисковые системы решают, какие страницы более релевантны, и в каком порядке должны быть показаны результаты, по-разному . Методы поиска, как и сам Интернет со временем меняются. Так появились два основных типа поисковых систем: системы предопределённых и иерархически упорядоченных ключевых слов и системы, в которых генерируется инвертированный индекс на основе анализа текста.

Большинство поисковых систем являются коммерческими предприятиями, которые получают прибыль за счёт рекламы , в некоторых поисковиках можно купить за отдельную плату первые места в выдаче для заданных ключевых слов. Те поисковые системы, которые не берут денег за порядок выдачи результатов, зарабатывают на контекстной рекламе, при этом рекламные сообщения соответствуют запросу пользователя. Такая реклама выводится на странице со списком результатов поиска, и поисковики зарабатывают при каждом клике пользователя на рекламные сообщения.

Типы поисковых систем

Существует четыре типа поисковых систем: с поисковыми роботами, управляемые человеком, гибридные и мета-системы .

• системы, использующие поисковых роботов

• системы, управляемые человеком (каталоги ресурсов)

• гибридные системы

• мета-системы

Рынок поисковых систем

Google - самая популярная поисковая система в мире с долей на рынке 68,69 %. Bing занимает вторую позицию, его доля 12,26 % .

Самые популярные поисковые системы в мире :

Азия

В восточноазиатских странах и в России Google - не самая популярная поисковая система. В Китае, например, более популярна поисковая система Soso .

В Южной Корее поисковым порталом собственной разработки Naver пользуется около 70 % жителей Yahoo! Japan и Yahoo! Taiwan - самые популярные системы для поиска в Японии и Тайване соответственно .

Россия и русскоязычные поисковые системы

Согласно данным LiveInternet в июне 2015 года об охвате русскоязычных поисковых запросов :

• Всеязычные:
  • Yahoo! (0,1 %) и принадлежащие этой компании поисковые машины: Inktomi , AltaVista , Alltheweb
• Англоязычные и международные:
  • AskJeeves (механизм Teoma)
• Русскоязычные - большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках - украинском , белорусском , английском , татарском и других. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что, в основном, индексируют ресурсы, расположенные в доменных зонах , где доминирует русский язык, или другими способами ограничивают своих роботов русскоязычными сайтами.

Некоторые из поисковых систем используют внешние алгоритмы поиска.

Количественные данные поисковой системы Google

Число пользователей Интернета и поисковых систем и требований пользователей к этим системам постоянно растёт. Для увеличений скорости поиска нужной информации, крупные поисковые системы содержат большое количество серверов. Сервера обычно группируют в серверные центры (дата центры). У популярных поисковых систем серверные центры разбросаны по всему миру .

В октябре 2012 года Google запустила проект «Где живёт Интернет», где пользователям предоставляется возможность познакомиться с центрами обработки данных этой компании .

О работе дата-центров поисковой системе Google известно следующее :

• Суммарная мощность всех дата-центров Google по состоянию на 2011 год оценивалась в 220 МВт.
• Когда в 2008 году Google планировала открыть в Орегоне новый комплекс, состоящий из трёх зданий общей площадью 6,5 млн м², в журнале Harper’s Magazine подсчитали, что такой большой комплекс потребляет свыше 100 МВт электроэнергии, что сравнимо с потреблением энергии города с населением 300 000 человек.
• Ориентировочное число серверов Google в 2012 году - 1 000 000.
• Расходы Google на дата-центры составили в 2006 году - $1,9 млрд, а в 2007 году - $2,4 млрд.

Размер всемирной паутины, проиндексированной Google на декабрь 2014 года, составляет примерно 4.36 миллиарда страниц .

Поисковые системы, учитывающие религиозные запреты

Глобальное распространение Интернета и увеличение популярности электронных устройств в арабском и мусульманском мире, в частности, в странах Ближнего Востока и Индийского субконтинента , способствовало развитию локальных поисковых систем, учитывающих исламские традиции. Такие поисковые системы содержат специальные фильтры, которые помогают пользователям не попадать на запрещённые сайты, например, сайты с порнографией, и позволяют им пользоваться только теми сайтами, содержимое которых не противоречит исламской вере. Незадолго до мусульманского месяца Рамадан , в июле 2013 года, миру был представлен Halalgoogling - система, выдающая пользователям только халяльные «правильные» ссылки , фильтруя результаты поиска, полученные от других поисковых систем, таких как Google и Bing . Двумя годами ранее, в сентябре 2011 года, был запущен поисковый движок I’mHalal, предназначенный для обслуживания пользователей Ближнего Востока. Однако этот поисковый сервис пришлось вскоре закрыть, по сообщению владельца, из-за отсутствия финансирования .

Отсутствие инвестиций и медленный темп распространения технологий в мусульманском мире препятствовали прогрессу и мешали успеху серьёзного исламского поисковика. Очевиден провал огромных инвестиций в веб-проекты мусульманского образа жизни, одним из которых был Muxlim . Он получил миллионы долларов от инвесторов, таких как Rite Internet Ventures, и теперь - в соответствии с последним сообщением от I’mHalal перед его закрытием - выступает с сомнительной идеей о том, что «следующий Facebook или Google могут появиться только в странах Ближнего Востока , если вы поддержите нашу блестящую молодёжь» . Тем не менее исламские эксперты в области Интернета в течение многих лет занимаются определением того, что соответствует или не соответствует шариату , и классифицируют веб-сайты как «халяль » или «харам ». Все бывшие и настоящие исламские поисковые системы представляют собой просто специальным образом проиндексированный набор данных либо это главные поисковые системы, такие как Google, Yahoo и Bing, с определённой системой фильтрации, использующейся для того, чтобы пользователи не могли получить доступ к харам-сайтам, таким как сайты о наготе, ЛГБТ , азартных играх и каким-либо другим, тематика которых считается антиисламской .

Среди других религиозно-ориентированных поисковых систем распространёнными являются Jewogle - еврейская версия Google и SeekFind.org - христианский сайт, включающий в себя фильтры, оберегающие пользователей от контента, который может подорвать или ослабить их веру .

Персональные результаты и пузыри фильтров

Многие поисковые системы, такие как Google и Bing, используют алгоритмы выборочного угадывания того, какую информацию пользователь хотел бы увидеть, основываясь на его прошлых действиях в системе. В результате, веб-сайты показывают только ту информацию, которая согласуется с прошлыми интересами пользователя. Этот эффект получил название «пузырь фильтров» .

Всё это ведёт к тому, что пользователи получают намного меньше противоречащей своей точке зрения информации и становятся интеллектуально изолированными в своём собственном «информационном пузыре». Таким образом, «эффект пузыря» может иметь негативные последствия для формирования гражданского мнения .

Предвзятость поисковых систем

Несмотря на то, что поисковые системы запрограммированы, чтобы оценивать веб-сайты на основе некоторой комбинации их популярности и релевантности, в реальности экспериментальные исследования указывают на то, что различные политические, экономические и социальные факторы оказывают влияние на поисковую выдачу .

Такая предвзятость может быть прямым результатом экономических и коммерческих процессов: компании, которые рекламируются в поисковой системе, могут стать более популярными в результатах обычного поиска в ней. Удаление результатов поиска, не соответствующих местным законам, является примером влияния политических процессов. Например, Google не будет отображать некоторые неонацистские веб-сайты во Франции и Германии, где отрицание Холокоста незаконно .

Предвзятость может также быть следствием социальных процессов, поскольку алгоритмы поисковых систем часто разрабатываются, чтобы исключить неформатные точки зрения в пользу более «популярных» результатов . Алгоритмы индексации главных поисковых систем отдают приоритет американским сайтам .

Поисковая бомба - один из примеров попытки управления результатами поиска по политическим, социальным или коммерческим причинам.

См. также

• Qwika
• Электронная библиотека#Списки библиотек и поисковые системы
• Панель инструментов веб-разработчика

Примечания

Литература

• Ашманов И. С. , Иванов А. А. Продвижение сайта в поисковых системах. - М. : Вильямс, 2007. - 304 с. - ISBN 978-5-8459-1155-1 .
• Байков В.Д. Интернет. Поиск информации. Продвижение сайтов. - СПб. : БХВ-Петербург, 2000. - 288 с. - ISBN 5-8206-0095-9 .
• Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете. - М. : Диалектика, 2007. - 272 с. - ISBN 978-5-8459-1269-5 .

• Ландэ Д. В. Поиск знаний в Internet. - М. : Диалектика, 2005. - 272 с. - ISBN 5-8459-0764-0 .

• Ландэ Д. В., Снарский А. А. , Безсуднов И. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы . - M.: Либроком (Editorial URSS), 2009. - 264 с. - ISBN 978-5-397-00497-8 .

• Chu H., Rosenthal M. Search engines for the World Wide Web: A comparative study and evaluation methodology (англ.) // PROCEEDINGS OF THE ANNUAL MEETING-AMERICAN SOCIETY FOR INFORMATION SCIENCE: journal. - 1996. - Vol. 33 . - P. 127-135 .

• Gandal, Neil. The dynamics of competition in the internet search engine market. - 2001. - Vol. 19. - P. 1103–1117. -