Представляем вашему вниманию новый курс от команды The Codeby - "Тестирование Веб-Приложений на проникновение с нуля". Общая теория, подготовка рабочего окружения, пассивный фаззинг и фингерпринт, Активный фаззинг, Уязвимости, Пост-эксплуатация, Инструментальные средства, Social Engeneering и многое другое.

Для меня самое удивительное в поисковике Яндекс является то, что им до сих пор пользуется огромное количество народа. Моё знакомство с Интернетом, как и большинства в то время, началось через поисковик Яндекс. Популярных поисковиков, в том числе и российских, в то время было много. Я искал то, что мне нужно, с помощью разных поисковых машин и довольно долго мой эмпирический опыт подтверждал, что если чего-то не нашёл Яндекс, то другие уж точно не найдут по этому запросу ничего полезного. Ещё мне нравился слоган того Яндекса, что «Яндекс не цензор Интернета, а его зеркало». Имелось ввиду то, что Яндекс не фильтрует выдачу, даже если некоторые её результаты кому-то не нравятся.

В то время было обычным делом доходить и до 7 и до 11 страниц выдачи и т. д. Т.к. то ли Рунет был ещё мал, то ли поисковые машины работали так себе. Это сейчас подавляющее большинство редко по какому запросу заходит хотя бы на вторую страницу результатов поиска.

Некоторое время спустя я заметил, что Гугл догнал Яндекс по качеству поисковой выдачи. Но я продолжал пользоваться Яндексом даже тогда, когда понял, что Гугл стал лучше. Всё дело в консервативности, присущей большинству людей: на Яндексе у меня была почта, да и вообще с переменами у людей связаны какие-то опасения. В общем, я решился и полностью перешёл на поиск от Гугл и уже через пару недель мои опасения по переходу стали казаться наивными и смешными.

Иногда я возвращаюсь, «тестирую» поисковую выдачу Яндекса и только лишний раз убеждаюсь, насколько я был прав, перестав им пользоваться. Рунет, глазами Яндекса, какой-то покоцанный, неполный, с какими-то перекошенными приоритетами.

Некоторое время назад, трудно сказать когда точно, но и Гугл перестал вызывать чувство полного удовлетворения. Т.е. в подавляющем большинстве Гугл идеален и выдаёт именно то, что нужно на самых первых позициях. Но при поиске, например, фильмов или чего-то другого контрафактного, Гугл цензурирует выдачу. Гугл прямо об этом сообщает прямо на странице выдачи. Это, а также постоянное «Гугл следит за пользователями» всегда толкали на эксперименты с другими поисковиками.

Я начал свою заметку с того, что большинство из нас очень консервативны и с большой неохотой меняет свои привычки. На сегодняшний день, судя по количеству переходов на мои сайты, пользователей duckduckgo.com совсем мало. Кто-то просто не знает о его существовании, кто-то попробовал раньше и ему не понравилось. Пришло время попробовать что-то новое. Всех желающих взглянуть на Интернет (Рунет) чистым, незамутнённым цензурой или бредовым «ранжированием» взглядом, я приглашаю попробовать поисковую систему

В 2017 году, когда в Интернете содержатся миллионы терабайт информации и каждое движение пользователя в Интернете записывается, никак не обойтись без анонимных поисковых систем. Ведь нам всем очень важно добраться до нужных данных как можно быстрее и как можно безопаснее. Но знают ли наши дорогие читатели, каким именно образом поисковики переводят вводимые символы в код? Догадываетесь ли Вы, что все запросы моментально переходят в маркетинговые отделы корпораций?

Принцип работ обычных поисковых систем в 2017 году: анонимность на нуле

Google

Давайте зайдем в Google-поиск и посмотрим, как он отображает ссылку на сайт, например, whoer.net:

Яндекс поиск

А вот так это делает «Яндекс»:

Как видим, не сильно очевидно. На самом деле это сделано специально, а набор символом является ничем иным, как скриптом, который обработает «клик» по ссылке и запоминает действие пользователя.
Сегодня на нашем сайте мы поговорим об анонимных поисковых системах, которые не «загрязняют» поиск лишними скриптами и не хранят данные о ваших поисковых запросах.

Наиболее популярной анонимной поисковой системой на 2017 год является DuckDuck, который в анонимном браузере Tor назначен средством поиска «по умолчанию».

DuckDuck также предоставляется для выбора в браузерах Firefox и Opera. Приватный поисковик славится тем, что не использует скрипты в ссылках и не выводит в результаты поиска рекламные и вирусные сайты. DuckDuckGo позволяет пользователю указывать в запросе специальные знаки и символы. И, как мы уже говорили, поисковик не следит за действиями пользователя.

Отображение результатов запроса в анонимном поисковике DuckDuck

Как видим, здесь нет никаких скрытых поведенческих скриптов, а имеется только прямая ссылка!

Преимущества DuckDuckGo

Еще одним положительным моментом в системе DuckDuckGo можно считать его полную поддержку https- протокола. Пока, эта настройка выключена при первом запросе пользователя, но ее легко активировать через удобное главное меню поисковика. После выполнения данного действия весь поиск будет проходить дополнительное шифрование.

Самой конфиденциальной поисковой системой в 2017 году называют IxQuick.

Сервера этого поисковика «снаряжены» мощнейшей метапоисковой системой. Это обозначает следующее: после запроса на поиск IxQuick выдает результаты сразу от десятка поисковых систем, объединяя их в своем окне выдачи и присваивая каждой ссылке уникальный рейтинг, по которому происходит ранжирование.
На скриншоте выше видно, что основные запросы берутся из Google, так что за релевантность выдачи беспокоиться не приходиться.

Настройки приватности в анонимном поисковике IxQuick

Несмотря на все производственные мощности, за пользователями не ведется никакой «слежки», более того, даже не фиксируются IP-адреса пользователей. Тем не менее, каждый пользователь может разрешить сохранять настройки своего поиска на сервере анонимного поисковика в виде куки-файлов, которые будут либо удаляться в автоматическом режиме раз в три месяца, либо обновляться при каждом заходе на главную страницу IxQuick.

Плюсы и минусы IxQuick

Огромным преимуществом IxQuick является метапоиск сопряженный с анонимностью запросов, которые поисковый робот «заметает» с помощью сложной сети перенаправления данных от оригинальной поисковой системы до пользователя.
Из минусов анонимного поиска IxQuick.можно отметить лишь факт отсутствия русского языка в интерфейсе.

Уже из скриншота внимательный читатель может сделать вывод, что StartPage является клоном анонимного поисковика IxQuick. Так и есть: история этого проекта зародилась раньше, чем IxQuick, но, не смотря на то, что сайт никак не анализировал и не сохранял результаты поиска пользователя, тем не менее, конкуренцию он проиграл и вскоре был выкуплен более мощным соперником.
Впрочем, данный сайт до сих пор работает, поэтому можем порекомендовать использовать связку: в IxQuick настроить Bing основным поставщиком запросов, а в StartPage поставить по умолчанию поиск от Гугл. Таким образом, вы получите двойной анонимный поиск, легко сравнивая результаты ваших поисковых данных.

Поисковик YaCy.

Последние события в Рунете (русскоязычной части Интернета), в частности, предпринимаемые властью попытки заставить поисковые системы выдавать в результатах поиска только «правильные», по её мнению сайты, вынуждает пользователей искать альтернативные варианты нахождения информации в сети. Ведь если создатели популярных поисковых систем, те же Yandex или Google, «прогнутся», то искать через эти поисковики что-либо, неугодное власти будет уже невозможно. Например, из выдачи популярных поисковиков может быть удалена информация о заблокированных торрентах и файлах (фильмы, музыка, программы и так далее), которые можно там скачать. Помимо этого, все популярные поисковые системы являются коммерческими организациями, их главная задача - заработать денег. Значит, вполне возможно, что по некоторым запросам, на первых местах в выдаче могут оказываться сайты, которые заплатили за это деньги, плюс контекстная реклама на посещаемых сайтах подбирается исходя из поисковых запросов пользователя. Кстати, любая поисковая система имеет центральный сервер, на котором хранятся все запросы, вводимые пользователями…
Исходя из всего вышесказанного, рекомендую обратить внимание на децентрализованный поисковик под названием YaCy. Поисковая система YaCy разработана активистами движения за свободное программное обеспечение. Основная цель этого проекта — не позволить какой-либо организации в одиночку решать, что попадёт в выдачу или в каком порядке будут выдаваться результаты (поиск без цензуры). Принцип работы поисковика YaCy основан на принципах работы торрентов, то есть хранение поискового индексации и обработка поисковых запросов осуществляются не на центральном сервере, а в распределённой сети пиров. А это позволяет выдавать информацию в поиске, объективно и без какой либо цензуры.
Всё что Вам нужно, для того чтобы начать пользоваться поисковиком YaCy, это скачать специальное программное обеспечение и запустить его в работу. На данный момент есть программное обеспечение под ОС Windows, Linux и Mac OS. Рассмотрим установку программного обеспечения на ОС Windows.

Установка программы и использование поисковика YaCy.

Заходим на официальный сайт разработчика по ссылке и скачиваем программное обеспечение.

Запускаем его установку.

Установка стандартная.

После установки запускаем программное обеспечение в работу.

В трее (нижний правый угол экрана монитора, с часами) появился значок YaCy. Кликаем по нему левой кнопкой мыши и в меню выбираем пункт «YaCy Search».

Откроется поисковая страница YaCy.

Можно пользоваться.

Кстати, поисковик имеет большое количество настроек. Опытные пользователи могу его настроить «под себя». Для этого посетите форум сообщества YaCy. Он расположен по ссылке

На первый взгляд может показаться, что быть лучше Google может только «Яндекс», да и то не факт. Эти компании вкладывают в инновации и развитие огромные суммы. Неужели хоть у кого-то есть шанс не только соперничать с лидерами, но и побеждать? Ответ Лайфхакера : «Да!» Есть несколько поисковиков, которым это удалось. Давайте посмотрим на наших героев.

Что это

Это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo! Search BOSS, «Википедия», Wolfram|Alpha.

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.
Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

DuckDuckGo формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках: Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

« » - российская метапоисковая система, разработанная выпускниками МГУ Виктором Лавренко и Владимиром Чернышовым. Осуществляет поиск по индексам Google, Bing, «Яндекса» и другим, а также имеет собственный поисковый алгоритм.

Чем лучше

Поиск по индексам всех крупных поисковых систем позволяет формировать релевантную выдачу. Помимо этого, «Нигма» разбивает результаты на несколько тематических групп (кластеров) и предлагает пользователю сузить поле поиска, отбросив ненужные или выделив приоритетные. Благодаря модулям «Математика» и «Химия» можно прямо в строке поиска решать математические задачи и запрашивать результаты химических реакций.

Зачем это вам

Избавляет от необходимости искать один и тот же запрос в разных поисковиках. Кластерная система позволяет легко манипулировать результатами поиска. Например, «Нигма» собирает в отдельный кластер результаты из интернет-магазинов. Если вы не намереваетесь что-то покупать, то просто исключите эту группу. Выбрав кластер «Англоязычные сайты», вы получите выдачу только на английском. Модули «Математика» и «Химия» помогут школьникам.

К сожалению, в настоящее время проект не развивается, так как разработчики перенесли свою активность на вьетнамский рынок. Тем не менее «Нигма» пока не только не устарела, но в некоторых вещах по-прежнему даёт фору Google. Будем надеяться, что разработка возобновится.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный браузер с одноимённым названием. not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на сам Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И по мере того как ужесточается контроль властей над содержанием Сети, их число будет расти. Tor - это своеобразная Сеть внутри Сети: со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными источниками информации являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

Ещё один специализированный поисковик. Ищет различные звуки (дом, природа, машины, люди и так далее) в открытых источниках. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнить поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках поиска можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск звуков по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это я выбрал только из доступных русскоязычных запросов. На английском языке спектр ещё шире. А если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко.

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до Google и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии.

Интересуют пользователей все больше и больше. Мы расскажем вам о трех поисковых системах без запретов, которые не собирают о вас личную информацию, а, напротив, защищают вашу приватность.

Startpage: самая дискретная поисковая система в мире

Startpage.com называет себя «самой дискретной поисковой системой в мире». С 2016 года сервис был объединен с сайтом Ixquick. В качестве доказательства безопасности своего поиска Startpage.com позиционирует себя как единственная поисковая система, имеющая сертификат ЕС о конфиденциальности.

Startpage.com обещает не сохранять IP-адреса пользователей и, по утверждению сервиса, не использует файлы cookie для трекинга. Кроме того, Startpage.com доступен из сети Tor. Серверы поисковой системы находятся в Нидерландах . У сайта есть удобная особенность: результаты поиска можно просматривать при помощи опции «Прокси», которая шифрует соединение с соответствующей веб-страницей с помощью прокси-сервера. Таким образом, это настоящий поисковик без запретов: можно спокойно просматривать то, что блокирует ваш провайдер. Поисковые прокси - главная фишка Startpage, которые делают его поисковиком без цензуры. Если вам необходимо искать без блокировок, этот сервис для вас.

DuckDuckGo - наиболее широко используемая безопасная альтернатива Google с более чем десятью миллионами запросов в день. Несмотря на то, что серверы поисковой системы находятся в США, DuckDuckGo.com, тем не менее, предлагает некоторые интересные функции.

При поиске через DuckDuckGo.com ваш IP-адрес не будет сохранен. Система также не использует файлы cookie для отслеживания. DuckDuckGo применяет шифрование с использованием HTTPS. В поисковую систему также можно ввести запрос через сеть Tor. Кроме того, можно использовать различные темы, чтобы настроить отображение поисковой страницы.

Открывать сайты через прокси тут нельзя. Но с учетом того, что система находится вне юрисдикции РФ , на него не распространяется, к примеру, «право на забвение» в том смысле, в котором оно понимается у нас. Результаты поиска могут быть не идеальными, но все же довольно полезными. Этот сервис больше подойдет тем, кому в первую очередь важна анонимность и поиск без слежения. Либо тем, кто хочет найти информацию, исключенную из результатов поисковой выдачи в РФ. Однако, следует предупредить: в России DuckDuckGo стал партнером Яндекса, так что можно ожидать всего.

notEvil: поиск по интернету, которого нет Поисковик notEvil позволяет осуществлять поиск из интернета по анонимной сети Tor. Для этого не надо устанавливать никакого дополнительного программного обеспечения (хотя оно, понадобится для того, чтобы открывать результаты поиска).

Эта поисковая система позволяет искать по так называемому даркнету - той части Интернета, которая обычно недоступна среднему пользователю. В связи с блокировками в нее постепенно переезжают полезные сервисы, например, для скачивания контента.

Анонимные поисковые системы как безопасная альтернатива Google

Все три поисковых системы не регистрируют ваш IP-адрес и не используют файлы cookie для слежки. Шифрование с использованием HTTPS предоставляется всеми названными поставщиками. Лучшие результаты поиска в тесте показал поисковик DuckDuckGo, а гарантированную безопасность при выборе альтернативного поисковика вы получите с системой Startpage.com. Сертификация защиты данных ЕС подтверждает, что поисковая система придерживается своих обещаний об анонимности поиска. Для поиска по даркнету, в свою очередь, пригодится notEvil.