IBM Corporation a depășit un alt pas în crearea unui cip pentru viitoarele supercomputere - un cip neural care funcționează pe principiul funcționării creierului uman. Particularitatea unui astfel de cip este că este capabil de auto-învățare și, de asemenea, cheltuiește de sute de mii de ori mai puțină energie decât microprocesoarele convenționale. Noul cip poate analiza deja informațiile vizuale, ceea ce este confirmat de rezultatele testelor.

Majoritatea calculatoarelor moderne se bazează pe arhitectura von Neumann. Se bazează pe stocarea în comun a datelor și a comenzilor, în timp ce acestea nu se pot distinge în exterior: aceleași informații pot deveni date, o comandă sau o adresă, în funcție de modul în care este accesată. Acest principiu de funcționare al arhitecturii von Neumann i-a creat dezavantajul semnificativ - așa-numitul blocaj (lățime de bandă limitată între procesor și memorie). Procesorul este forțat constant să aștepte datele necesare, deoarece memoria programului și memoria datelor nu pot fi accesate în același timp: sunt stocate pe aceeași magistrală.

Această problemă a fost rezolvată de programatorul american Howard Aiken, autorul Harvard Architecture. Diferă de arhitectura von Neumann prin faptul că datele și liniile de comandă sunt separate fizic, ceea ce permite procesorului să citească instrucțiuni și să acceseze date în același timp, iar viteza computerului este crescută. În ciuda acestui fapt, la sfârșitul anilor 1930, în competiția pentru dezvoltarea calculatoarelor pentru artileria navală, anunțată de guvernul SUA, din cauza ușurinței implementării, a câștigat arhitectura von Neumann.

Ulterior a devenit posibil să se creeze sisteme hibride care combină avantajele ambelor arhitecturi. Cu toate acestea, odată cu dezvoltarea programării, mințile oamenilor de știință au început să fie ocupate cu ideea de a crea sisteme neuronale artificiale: procesoare conectate și interacționând între ele, acționând pe principiul funcționării celulelor nervoase ale unui organism viu. O caracteristică a unor astfel de sisteme este că nu sunt programate, ci antrenate.

Conceptul de rețea neuronală artificială a apărut atunci când se studiază funcționarea rețelelor neuronale biologice - un set de neuroni conectați în sistemul nervos care îndeplinesc funcții fiziologice specifice. Fiecare dintre neuroni este conectat la un număr mare de alții, locul de contact al neuronilor unul cu altul se numește sinapsă, care servește la transmiterea unui impuls nervos între celule.

Pionierii în crearea rețelelor neuronale artificiale au fost americanii Warren McCulloch și Walter Pitts. La începutul anilor 1940, oamenii de știință au conceput un model al creierului care privea în mod simplist neuronii ca fiind mașini care funcționau pe numere binare. Rețeaua de „neuroni” electronici inventată de aceștia ar putea efectua teoretic operații numerice sau logice de orice complexitate. Fundamentele teoretice fundamental noi pentru un astfel de model al creierului au pus bazele dezvoltării ulterioare a neurotehnologiilor, iar următorul pas nu a întârziat să apară.

Deja în 1949, Donald Hebb a propus primul algoritm de învățare funcțional pentru sistemele neuronale artificiale, iar în 1958, Frank Rosenblatt a creat primul neurocomputer Mark-1. Acest computer a fost construit în jurul unui perceptron, o rețea neuronală dezvoltată de Rosenblatt cu trei ani mai devreme.

Este destul de ciudat că nimeni nu a scris despre Habré, dar, după părerea mea, a avut loc astăzi un eveniment semnificativ. IBM a introdus un cip nou, complet finisat, care implementează o grilă neuronală. Programul pentru dezvoltarea sa a existat de mult timp și a avut destul de mult succes. Habré avea deja un articol despre scara reală.

Cipul are 1 milion de neuroni și 256 de milioane de sinapse. Aparent, ca și în simulare, cipul are o arhitectură similară cu neocortexul.

Cât de minunat este asta? Faptul că toate rețelele neuronale de astăzi trebuie să efectueze un număr astronomic de operații, mai ales la antrenament. De multe ori se reduce la performanță. Doar sarcinile simple pot fi rezolvate în timp real pe un singur dispozitiv. Paralelizarea în clustere și plăci video accelerează semnificativ procesarea (datorită puterii de calcul uriașe și consumului mare de energie). Dar totul se bazează pe problema principală a arhitecturii von Neumann: memoria este separată de unitățile de procesare. În neuronii adevărați, totul este diferit: memoria însăși realizează procesarea (există o serie grozavă de articole despre Habré).

Dacă IBM începe să producă astfel de procesoare, atunci multe sarcini de analiză video pot fi rezolvate direct pe ele. Cel mai simplu lucru care îmi vine în minte este clasificarea obiectelor într-un flux video (oameni, mașini, animale). Este această sarcină pe care IBM a demonstrat-o ca exemplu de lucru. Într-un flux video de 400*240 30fps, au evidențiat oameni, bicicliști, mașini, camioane și autobuze.

Dacă totul este atât de grozav, atunci mașinile robot nu vor mai avea nevoie în curând de lidare, de camere video cu un astfel de cip - și mergeți mai departe.

Apropo, dacă luăm în considerare performanța unui astfel de cip în teraflopi, obținem un număr astronomic. La urma urmei, de fapt, un astfel de cip este de 1 milion de procesoare, într-un ciclu fiecare procesează informații de la 256 de canale de intrare (ei bine, aproximativ).

Mai multe informații pe site-ul IBM Research.

Z.Yu.Scuze pentru articolul fără prea multe detalii în stilul lui Alizar, dar chiar am fost surprins că un astfel de eveniment marca a trecut pe lângă Habr.

Compania chineză Huawei a anunțat Kirin 970, primul chipset care include o unitate de procesare neuronală (NPU) dedicată. În urma chinezilor, Apple și-a prezentat A11 Bionic pentru modelele iPhone 8, 8 Plus și X. Acest cip, printre altele, suportă tehnologia Neural Engine, care, potrivit reprezentanților companiei, este „special concepută pentru învățarea automată”. Destul de recent, Qualcomm a introdus cipul său Snapdragon 845, care poate transfera sarcini legate de inteligența artificială către anumite nuclee. Nu există diferențe semnificative în abordările companiilor. Totul depinde de nivelurile de control de bază disponibile pentru dezvoltatori și de eficiența energetică a cipurilor.

Dar noile cipuri diferă într-adevăr semnificativ de analogii lor deja existenți pe piață și, dacă da, care este diferența lor? Răspunsul la aceasta poate fi dat de termenul folosit adesea în rapoartele despre inteligența artificială - „calculatură heterogenă”. Se aplică procesoarelor care utilizează caracteristici de sistem specializate pentru a îmbunătăți performanța sau a reduce consumul de energie. Această abordare a fost deja implementată în mod repetat în generațiile anterioare de cipuri. Noile procesoare mobile folosesc pur și simplu acest concept cu unele variații.

Dezvoltare regulată?

Cele mai recente generații de procesoare folosesc în mod activ tehnologia ARM Big .Little. Combină nuclee lente, eficiente din punct de vedere energetic cu altele mai rapide și consumatoare de energie. Concluzia a fost reducerea cantității de energie pentru a crește autonomia dispozitivelor. Anul trecut, cipurile neuronale au făcut acest pas mai departe, adăugând un element separat pentru a gestiona sarcinile de inteligență artificială sau, în cazul co, folosind nuclee separate de putere redusă pentru această sarcină.

Procesorul mobil A11 Bionic de la Apple folosește Neural Engine împreună cu cipul grafic pentru a accelera Face ID, Animoji și pentru a accelera unele programe non-native. Când utilizatorul rulează aceste procese pe noul iPhone, cipul pornește Neural Engine pentru a procesa chipul proprietarului sau pentru a proiecta expresiile faciale ale acestuia pe o imagine animată.

NPU se ocupă de scanarea și traducerea cuvintelor din imaginile obținute folosind Microsoft Translator. Cu toate acestea, până acum programul este singura aplicație terță parte care funcționează cu tehnologia adaptată de producătorul chinez. Potrivit Huawei, noua tehnologie „HiAI” accelerează majoritatea elementelor chipset-ului și este capabilă să îndeplinească o gamă mult mai largă de sarcini decât alte NPU.

Noi orizonturi

Luată în considerare separat, tehnologia vă permite să efectuați cu o eficiență nu mai mică direct pe dispozitiv acele sarcini care au fost procesate anterior de soluții cloud terțe. Cu ajutorul unor componente noi, un telefon echipat cu astfel de cipuri va putea efectua mai multe acțiuni în același timp. Acest lucru va afecta multe aspecte ale dispozitivului, de la reducerea timpului pentru traduceri la căutarea de fotografii folosind hashtag-uri interne. De asemenea, transferul execuției unor astfel de procese direct pe un smartphone în loc să utilizeze soluții cloud va avea un impact pozitiv asupra securității și confidențialității, reducând șansele hackerilor de a pune mâna pe datele utilizatorilor.

Un alt punct important al noilor cipuri este consumul de energie, deoarece energia este o resursă valoroasă care necesită o alocare rezonabilă, mai ales când vine vorba de sarcini repetitive. Cipurilor grafice le place să rămână fără baterie foarte repede, așa că descărcarea proceselor lor într-un DSP ar putea fi o idee bună.

De fapt, procesoarele mobile în sine nu pot lua decizii cu privire la ce nuclee să folosească atunci când execută anumite sarcini. Depinde de dezvoltatorii și producătorii de echipamente care utilizează biblioteci acceptate de terți pentru aceasta. și să integreze în mod activ soluții precum TensorFlow Lite și Facebook Caffe2. Qualcomm susține, de asemenea, noul schimb de rețele neuronale deschise (ONNX), iar Apple a adăugat recent interoperabilitate la multe modele noi de învățare automată în cadrul său. cadru coreML.

Din păcate, noile procesoare mobile nu oferă încă avantaje speciale. Producătorii fac deja benchmarking față de propriile teste și benchmark-uri. Dar fără o integrare strânsă cu realitatea din jurul utilizatorului modern, acești indicatori au puțină semnificație. Tehnologia în sine se află într-un stadiu foarte incipient de dezvoltare, iar dezvoltatorii care o folosesc sunt încă puțini și împrăștiați.

În orice caz, fiecare tehnologie nouă este un câștig pentru utilizator, fie că este vorba despre câștiguri de performanță sau eficiență energetică îmbunătățită. Producătorii sunt serioși să investească timp și bani în dezvoltarea cipurilor neuronale, ceea ce înseamnă că viitoarele procesoare mobile vor putea oferi o listă mult mai largă de sarcini care vor implica inteligența artificială.

Astăzi, latura practică a problemelor legate de dezvoltarea inteligenței artificiale constă în implementarea învățării profunde sau profunde (deep learning). Pe baza tiparelor selectate într-un mod special, sistemul este antrenat, care apoi pune în practică cunoștințele dobândite: conduce mașini, recunoaște imagini sau sunete și face altceva.

Și totul ar fi bine, doar învățarea profundă necesită un schimb preliminar masiv de informații cu baza de date, care este fie foarte dificil, fie pur și simplu imposibil de implementat într-un mediu operațional. Mi-ar plăcea ca roboții și inteligența artificială să fie mai deștepți, să gândească ca o persoană, bazându-se pe gândirea asociativă. Această dorință a dat naștere încercărilor de a întruchipa în siliciu aspectul unui creier uman, unde circuitele electronice ar imita activitatea neuronilor și a sinapselor.

În istoria modernă, o întruchipare mai mult sau mai puțin complexă a „creierului uman” în siliciu a fost creată de inginerii de la IBM. În 2011, compania a introdus procesorul și mai târziu a evoluat arhitectura la un procesor cu 4096 de nuclee, cu un milion de neuroni digitali și 256 de milioane de sinapse digitale programabile. În primăvara anului trecut, compania a livrat primul computer „cognitiv” al Administrației Naționale de Securitate Nucleară din industrie, bazat pe 16 procesoare TrueNorth de 28 nm. Interesant este că anunțul IBM TrueNorth din 2011 l-a făcut pe Intel să se gândească la procesoarele neuromorfe.

Astăzi Intel. Se pare că compania a început să dezvolte un procesor neuromorf proprietar în urmă cu șase ani. Întruchiparea multor ani de dezvoltare a fost o soluție cu numele de cod Loihi (cel mai probabil vorbim despre cel mai mare vulcan subacvatic din Statele Unite - Loihi). Procesorul Loihi va fi fabricat folosind un proces de 14 nm și va fi livrat către instituțiile academice în prima jumătate a anului 2018.

Potrivit Intel, Loihi combină învățarea, formarea și luarea deciziilor pe un singur cip, permițând sistemului să fie autonom și „inteligent”, fără a fi conectat la cloud (bază de date). De exemplu, Intel susține că, atunci când este instruit cu baza de date MNIST (Mixed National Institute of Standards and Technology), procesorul neuromorf Loihi este de 1 milion de ori mai bun decât alte rețele neuronale tipice cu vârfuri. În același timp, dacă comparăm Loihi cu rețelele neuronale convoluționale convenționale, dezvoltarea Intel utilizează mult mai puține resurse în timpul antrenamentului, iar acestea sunt canalele de comunicare, consumul și viteza de decizie. Intel susține, de asemenea, că Loihi învață de 1.000 de ori mai eficient decât sistemele computerizate convenționale de uz general.

Din păcate, compania nu a acordat suficientă atenție descrierii specificațiilor tehnice ale lui Loihi. Pe scurt, Loihi este o soluție multi-core cu o rețea internă mesh. Miezurile Loihi sunt neuromorfe asincrone (fiecare dintre ele poate funcționa independent de celelalte). Rețeaua mesh are mai multe grade de rară, este ierarhică și suportă o topologie de rețea neuronală recurentă, în care fiecare neuron poate interacționa cu mii de alți neuroni.

De asemenea, fiecare nucleu neuromorf include un mecanism de învățare (motor) care poate fi programat pentru a adapta rețeaua în timpul funcționării. Dacă transpunem compoziția procesorului Intel Loihi la capacitățile creierului uman, atunci soluția include 130.000 de neuroni și 130 de milioane de sinapse. Procesorul Intel Loihi nu este la fel de inteligent ca procesorul IBM TrueNorth, dar este cu siguranță mai eficient din punct de vedere al producției de 14 nm.