Корпорация IBM преодолела очередную ступень в создании чипа будущих суперкомпьютеров - нейронного чипа, работающего по принципу функционирования человеческого мозга. Особенность такого чипа состоит в том, что он способен к самообучению, а также тратит в сотни тысяч раз меньше энергии, чем обычные микропроцессоры. Новый чип уже может анализировать визуальную информацию, что подтверждается результатами тестирования.

Большинство современных компьютеров устроены по принципу архитектуры фон Неймана . Она основана на совместном хранении данных и команд, при этом внешне они неразличимы: одна и та же информация может становиться данными, командой или адресом в зависимости от способов обращения к ней. Именно такой принцип работы архитектуры фон Неймана и создал ее существенный недостаток - так называемое узкое место (ограничение пропускной способности между процессором и памятью). Процессор постоянно вынужден ждать необходимых данных, потому что память программ и память данных не может быть доступна одновременно: ведь хранятся они на одной и той же шине.

Эта проблема была решена американским программистом Говардом Эйкеном (Howard Aiken), автором гарвардской архитектуры . Она отличается от архитектуры фон Неймана тем, что линии передачи данных и команд в ней физически разделены, что позволяет процессору одновременно читать инструкции и выполнять доступ к данным, а быстродействие компьютера повышается. Несмотря на это, в конце 1930-х годов на конкурсе по разработке ЭВМ для военно-морской артиллерии, объявленном правительством США, из-за простоты реализации победила фон-неймановская архитектура.

Позднее стало возможным создание гибридных систем, сочетающих достоинства обеих архитектур. Однако с развитием программирования умы ученых стала занимать мысль о создании искусственных нейронных систем: соединенных и взаимодействующих между собой процессоров, действующих по принципу функционирования нервных клеток живого организма. Особенностью таких систем является то, что они не программируются, а обучаются.

Понятие искусственной нейронной сети возникло при изучении функционирования биологических нейронных сетей – совокупности связанных в нервной системе нейронов, выполняющих специфические физиологические функции. Каждый из нейронов связан с огромным количеством других, место контакта нейронов друг с другом называется синапсом , который служит для передачи нервного импульса между клетками.

Первопроходцами в создании искусственных нейронных сетей стали американцы Уоррен Маккалок (Warren McCulloch) и Уолтер Питтс (Walter Pitts). В начале 1940-х годов ученые изобрели модель мозга, в которой упрощенно рассматривали нейроны как устройства, оперирующие двоичными числами. Придуманная ими сеть из электронных «нейронов» теоретически могла выполнять числовые или логические операции любой сложности. Принципиально новые теоретические основания такой модели головного мозга заложили базу для последующего развития нейротехнологий, и следующий шаг не заставил себя ждать.

Уже в 1949 году Дональдом Хеббом (Donald Hebb) был предложен первый работающий алгоритм обучения искусственных нейронных систем, а в 1958 году Фрэнк Розенблатт (Frank Rosenblatt) создал первый нейрокомпьютер «Марк-1» . Этот компьютер был построен на основе перцептрона – нейронной сети, разработанной Розенблаттом тремя годами ранее.

Достаточно странно, что никто на Хабре не написал, но, на мой взгляд, сегодня произошло знаковое событие. IBM представила новый, полностью законченный чип, реализующий нейронную сетку. Программа его разработки, существовала давно и шла достаточно успешно. На Хабре уже была статья о полномасштабной .

В чипе 1 миллион нейронов и 256 миллионов синапсов. Судя по всему, как и в симуляции, чип имеет сходную с неокортексом архитектуру.

Чем это офигенно круто? Тем, что все сегодняшние нейронные сети должны производить астрономическое количество операций, особенно при обучении. Зачастую это упирается в производительность. В реальном времени на одном устройстве можно решать только простые задачки. Распараллеливание на кластеры и видеокарты значительно ускоряют обработку (за счёт огромных вычислительных мощностей и большого энергопотребления). Но всё упирается в главную проблему архитектуры фон Неймана: память разнесена с блоками обработки. В настоящих нейронах всё по-другому: память сама выполняет обработку (на Хабре есть классный цикл статей про ).

Если IBM начнёт выпуск таких процессоров, то многие задачи видеоаналитики можно будет решать напрямую на них. Самое простое, что приходит в голову - классификация объектов в видеопотоке (люди, автомобили, животные). Именно эту задачу IBM и продемонстрировало в качестве примера работы. В видеопотоке 400*240 30fps они выделяли людей, велосипедистов, машины, грузовики и автобусы.

Если всё настолько круто, то машины-роботы в скором времени не будут требовать лидаров, пяток видеокамер с таким чипом - и вперёд.

Кстати, если считать производительность такого чипа в терафлопсах, то получится астрономическое число. Ведь, по сути, такой чип это 1 миллион процессоров, за один такт каждый из которых обрабатывает информацию с 256 каналов входа (ну, приблизительно).

Чуть больше информации на сайте IBM Research .

З.Ю. Пардон за статью без особых подробностей в стиле Ализара, но меня и впрямь удивило, что такое знаковое событие прошло мимо Хабра.

Китайская компания Huawei анонсировала Kirin 970 - первый чипсет, имеющий выделенный нейронный процессор (NPU). Вслед за китайцами Apple показала свой A11 Bionic для моделей iPhone 8, 8 Plus и X. Этот чип, среди прочего, поддерживает технологию Neural Engine , которая, если верить представителям компании, «специально разработана для машинного обучения». Совсем недавно уже Qualcomm представила свой чип Snapdragon 845, умеющий передавать конкретным ядрам связанные с искусственным интеллектом задачи. Особой разницы в подходах компаний нет. Все зависит от доступных разработчикам уровней управления ядрами и энергоэффективности чипов.

Но действительно ли новые чипы существенно отличаются от уже существующих на рынке аналогов, и если да, то в чем их отличие? Ответ на это сможет дать часто встречающийся в сообщениях об искусственном интеллекте термин – «гетерогенные вычисления». Он применяется по отношению к процессорам, использующим специализированные функции систем для улучшения производительности или уменьшения энергопотребления. Такой подход уже неоднократно реализован в предыдущих поколениях чипов. Новые мобильные процессоры просто используют эту концепцию с некоторыми вариациями.

Закономерное развитие?

В последних поколениях процессоров активно используется технология ARM Big .Little. Она сочетает медленные энергоэффективные ядра с более производительными, имеющими высокий уровень потребления энергии. Суть заключалась в уменьшении объемов энергии для увеличения автономности устройств. В прошедшем году нейронные чипы сделали еще один шаг в этом направлении, добавив отдельный элемент для обработки задач искусственного интеллекта, или, в случае со , задействовав отдельные маломощные ядра для этой задачи.

Мобильный процессор от Apple A11 Bionic применяет Neural Engine в сочетании с графическим чипом для ускорения работы Face ID, Animoji и ускорения работы некоторых неродных программ. Когда пользователь запускает эти процессы на новом iPhone, чип включает Neural Engine для обработки лица владельца или для проекции его мимики на анимированную картинку.

В NPU берет на себя функции по сканированию и переводу слов на изображениях, полученных с использованием Microsoft Translator. Однако пока программа – единственное стороннее приложение, работающее с адаптированной китайским производителем технологией. По заверениям Huawei, новая технология «HiAI» ускоряет работу большинства элементов чипсета и способна выполнять гораздо более широкий спектр задач, чем другие NPU.

Новые горизонты

При отдельном рассмотрении технология позволяет осуществлять с не меньшей эффективностью непосредственно на устройстве те задачи, для обработки которых раньше были задействованы сторонние облачные решения. С помощью новых компонентов, оснащенный такими чипами телефон, сможет выполнять больше действий одновременно. Это повлияет на многие аспекты работы устройства, начиная с уменьшения времени на переводы и заканчивая поиском фотографий по внутренним хештегам. Также передача выполнения таких процессов непосредственно смартфону вместо применения облачных решений положительно скажется на безопасности и конфиденциальности, уменьшая шансы хакеров заполучить данные пользователя.

Еще одним важным моментом новых чипов является энергопотребление, ведь энергия – ценный ресурс, который требует разумного распределения, особенно если дело касается повторяющихся задач. Графические чипы любят тратить запасы батареи очень быстро, так что переложить их процессы на DSP может быть хорошим решением.

По факту, сами мобильные процессоры не могут самостоятельно принимать решения о том, какие ядра нужно задействовать при выполнении определенных задач. Это зависит от разработчиков и производителей техники, использующих для этого сторонние поддерживаемые библиотеки. , и активно интегрируют такие решения, как TensorFlow Lite и Facebook Caffe2. Qualcomm также поддерживает новый Open Neural Networks Exchange (ONNX), а Apple недавно добавила совместимость множества новых моделей машинного обучения в своей Core ML framework.

Увы, особых преимуществ новые мобильные процессоры пока еще не предоставляют. Производители уже меряются показателями результатов своих собственных тестов и контрольных показателей. Но без тесной интеграции с окружающей современного пользователя реальностью эти показатели имеют мало смысла. Сама технология находится на очень ранней стадии развития, а использующие ее разработчики пока немногочисленны и разрозненны.

В любом случае, каждая новая технология – выигрыш для пользователя, будь то рост производительности или улучшенная энергоэффективность. Производители серьезно настроены вкладывать время и деньги в развитие нейронных чипов, а значит будущие мобильные процессоры смогут предложить гораздо более широкий список задач, в которых будет задействован искусственный интеллект.

Сегодня практическая сторона вопросов, связанных с разработкой искусственного интеллекта, лежит в плоскости реализации глубокого или глубинного обучения (deep learning). На основе подобранных особых образом паттернов происходит обучение системы, которая затем реализует полученные знания на практике: водит машины, распознаёт образы или звуки, делает что-то ещё.

И всё бы хорошо, только для глубокого обучения требуется предварительный массивный обмен информацией с базой данных, что в оперативной обстановке реализовать или очень тяжело, или попросту невозможно. От роботов и ИИ хотелось бы большей сообразительности, чтобы думал как человек, опираясь на ассоциативное мышление. Это желание породило попытки воплотить в кремнии подобие человеческого мозга, где электронные схемы имитировали бы работу нейронов и синапсов.

В современной истории более-менее комплексное воплощение «человеческого мозга» в кремнии создали инженеры компании IBM. В 2011 году компания представила процессор и позже развила архитектуру до 4096-ядерного процессора с одним миллионом цифровых нейронов и 256 млн программируемых цифровых синапсов. Весной прошлого года на базе 16 28-нм процессоров TrueNorth компания поставила первый в индустрии «когнитивный» компьютер Национальной администрации по ядерной безопасности (National Nuclear Security Administration). Что интересно, анонс IBM TrueNorth в 2011 году заставил задуматься о нейроморфных процессорах компанию Intel.

Сегодня Intel . Оказывается, в компании шесть лет назад начали разрабатывать фирменный нейроморфный процессор. Воплощением многолетней разработки стало решение под кодовым именем Loihi (скорее всего речь идёт о крупнейшем подводном вулкане в США — Лоихи). Процессор Loihi будет выпускаться с использованием 14-нм техпроцесса и начнёт поставляться академическим учреждениям в первой половине 2018 года.

По словам Intel, Loihi сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку (к базе данных). К примеру, Intel заявляет, что при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) нейроморфный процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети. При этом, если сравнивать Loihi с обычными свёрточными нейронными сетями, разработка Intel при обучении использует много меньше ресурсов, а это каналы связи, потребление и скорость принятия решений. Также Intel уверяет, что Loihi обучается в 1000 раз эффективнее, чем обычные компьютерные системы общего назначения.

К сожалению, компания не уделила достаточно внимания описанию технических спецификаций Loihi. Вкратце сообщается, что Loihi — это многоядерное решение с внутренней ячеистой сетью. Ядра Loihi — нейроморфные асинхронные (каждое из них может работать независимо от других). Ячеистая сеть имеет несколько степеней разрежённости, она иерархическая и поддерживает рекуррентную топологию нейронной сети, где каждый нейрон может взаимодействовать с тысячами других нейронов.

Также каждое нейроморфное ядро включает механизм (движок) обучения, который может быть запрограммирован для адаптации сети в процессе работы. Если транслировать состав процессора Intel Loihi на возможности мозга человека, то решение включает 130 000 нейронов и 130 млн синапсов. Процессор Intel Loihi не такой умный, как процессор IBM TrueNorth, но определённо эффективнее с позиции производства с технологическими нормами 14 нм.