"Date mare"- un subiect care este discutat activ de companiile de tehnologie. Unii dintre ei au devenit dezamăgiți de big data, în timp ce alții, dimpotrivă, le folosesc în afaceri cât mai mult posibil... . Sperăm că informațiile vor fi interesante și utile.

CE SUNT BIG DATA?

Caracteristici cheie

Termenul „Big Data” provoacă multe controverse, mulți cred că înseamnă doar cantitatea de informații acumulate, dar nu uitați de latura tehnică, această zonă include tehnologii de stocare, calcul și servicii.

De remarcat faptul că acest domeniu include prelucrarea unei cantități mari de informații, care este dificil de prelucrat prin metode tradiționale*.

Mai jos este un tabel de comparație a bazei de date tradiționale și Big Data.

Sfera Big Data se caracterizează prin următoarele caracteristici:
Volum - volumul, baza de date acumulată este o cantitate mare de informații care este laborios de prelucrat și stocat în mod tradițional, necesită o nouă abordare și instrumente îmbunătățite.
Viteză - viteza, această caracteristică indică atât viteza în creștere a acumulării datelor (90% din informațiile au fost colectate în ultimii 2 ani), cât și viteza procesării datelor; recent, tehnologiile de procesare a datelor în timp real au devenit mai solicitate.
varietate – varietate, adică posibilitatea prelucrării simultane a informațiilor structurate și nestructurate de diferite formate. Principala diferență dintre informațiile structurate este că acestea pot fi clasificate. Un exemplu de astfel de informații sunt informațiile despre tranzacțiile clienților.
Informațiile nestructurate includ fișiere video, audio, text liber, informații care provin din rețelele sociale. Până în prezent, 80% din informații sunt incluse în grupul nestructurate. Aceasta informatie are nevoie de analize complexe pentru a o face utilă pentru prelucrarea ulterioară.
Veracitatea – Fiabilitatea datelor, utilizatorii au început să acorde importanță fiabilității datelor disponibile. Așadar, companiile de internet au o problemă în separarea acțiunilor efectuate de un robot și de o persoană pe site-ul companiei, ceea ce duce în cele din urmă la dificultatea analizei datelor.
valoare - valoarea informatiilor acumulate. Big Data ar trebui să fie utile companiei și să-i aducă ceva valoare. De exemplu, ajutați la îmbunătățirea proceselor de afaceri, raportarea sau optimizarea costurilor.

Dacă sunt îndeplinite cele 5 condiții de mai sus, volumele acumulate de date pot fi clasificate ca mari.

Aplicații ale Big Data

Domeniul de aplicare al tehnologiilor Big Data este extins. Deci, cu ajutorul Big Data, puteți afla despre preferințele clienților, eficacitatea campaniilor de marketing sau puteți efectua analize de risc. Mai jos sunt rezultatele unui sondaj al Institutului IBM privind direcțiile de utilizare a Big Data în companii.

După cum se poate observa din diagramă, majoritatea companiilor folosesc Big Data în domeniul serviciului clienți, a doua direcție cea mai populară este eficiența operațională, în domeniul managementului riscului Big Data este mai puțin obișnuită în acest moment.

De asemenea, trebuie menționat faptul că Big Data este una dintre domeniile cu cea mai rapidă creștere ale tehnologiei informației, conform statisticilor, cantitatea totală de date primite și stocate se dublează la fiecare 1,2 ani.
Între 2012 și 2014, cantitatea de date transmisă lunar retele mobile, a crescut cu 81%. Cisco estimează că în 2014 volumul traficului mobil a fost de 2,5 exaocteți (o unitate de măsură a cantității de informații egală cu 10 ^ 18 octeți standard) pe lună, iar în 2019 va fi egal cu 24,3 exaocteți.
Astfel, Big Data este deja un domeniu consacrat al tehnologiei, chiar și în ciuda vârstei sale relativ fragede, care s-a răspândit în multe domenii de afaceri și joacă un rol important în dezvoltarea companiilor.

Tehnologii Big Data

• Software;
• Echipamente;
• Serviciu.

Cele mai comune abordări de prelucrare a datelor (PD) includ:
SQL - limba interogări structurate, care vă permite să lucrați cu baze de date. Folosind SQL, puteți crea și modifica date, iar matricea de date este gestionată de sistemul adecvat de gestionare a bazei de date.
NoSQL - termenul înseamnă Not Only SQL (nu numai SQL). Acesta include o serie de abordări care vizează implementarea bazei de date, care diferă de modelele utilizate în SGBD tradițional, relațional. Sunt convenabile de utilizat cu o structură de date în continuă schimbare. De exemplu, pentru a colecta și stoca informații în rețelele sociale.
MapReduce – model de distribuție de calcul. Folosit pentru calculul paralel pe seturi de date foarte mari (petabytes* sau mai mult). LA interfata software datele nu sunt transferate în program pentru procesare, dar programul este transferat către date. Prin urmare, interogarea este un program separat. Principiul de funcționare este procesarea secvențială a datelor cu două metode Map și Reduce. Harta selectează datele preliminare, Reduce le agrega.
Hadoop - folosit pentru a implementa mecanisme de căutare și contextuale pentru site-uri foarte încărcate - Facebook, eBay, Amazon etc. O caracteristică distinctivă este că sistemul este protejat de defecțiunea oricăruia dintre nodurile clusterului, deoarece fiecare bloc are cel puțin o copie a datelor pe celălalt nod.
SAP HANA este o platformă NewSQL de înaltă performanță pentru stocarea și procesarea datelor. Oferă procesarea cererilor de mare viteză. Un alt factor de diferențiere este faptul că SAP HANA simplifică peisajul sistemului prin reducerea costurilor suportării sistemelor analitice.

Echipamentele tehnologice includ:

• servere;
• echipamente de infrastructură.

Serviciu.
Serviciile includ arhitectura sistemului de baze de date, dezvoltarea și optimizarea infrastructurii și securitatea stocării datelor.

Software-ul, hardware-ul și serviciile se combină pentru a forma platforme end-to-end pentru stocarea și analiza datelor. Companii precum Microsoft, HP, EMC oferă servicii pentru dezvoltarea, implementarea și gestionarea soluțiilor Big Data.

Aplicație în industrii

Cu amănuntul
Bazele de date ale magazinelor de vânzare cu amănuntul pot acumula o mulțime de informații despre clienți, sistemul de gestionare a stocurilor, furnizarea de produse comercializabile. Aceste informații pot fi utile în toate domeniile de activitate ale magazinului.

Deci, cu ajutorul informațiilor acumulate, puteți gestiona aprovizionarea cu bunuri, depozitarea și vânzarea acestora. Pe baza informațiilor acumulate, este posibil să se prezică cererea și oferta de bunuri. De asemenea, sistemul de prelucrare și analiză a datelor poate rezolva și alte probleme ale retailerului, de exemplu, optimizarea costurilor sau pregătirea rapoartelor.

Servicii financiare
Big Data face posibilă analiza bonității unui împrumutat și este, de asemenea, utilă pentru evaluarea creditului* și subscrierea**. Introducerea tehnologiilor Big Data va reduce timpul de examinare a cererilor de împrumut. Cu ajutorul Big Data, este posibil să analizezi operațiunile unui anumit client și să oferi servicii bancare potrivite pentru el.

Telecom
În industria telecomunicațiilor, Big Data este utilizat pe scară largă de către operatorii de telefonie mobilă.
Operatorii de telefonie mobilă, alături de instituțiile financiare, au una dintre cele mai mari baze de date, ceea ce le permite să efectueze cea mai aprofundată analiză a informațiilor acumulate.
Scopul principal al analizei datelor este reținerea clienții existențiși atragerea altora noi. Pentru a face acest lucru, companiile segmentează clienții, le analizează traficul și determină afilierea socială a abonatului.

Pe lângă utilizarea Big Data în scopuri de marketing, tehnologia este folosită pentru a preveni tranzacțiile financiare frauduloase.

Industria minieră și petrolieră
Big Data este folosit atât în ​​extracția mineralelor, cât și în procesarea și comercializarea acestora. Pe baza informațiilor primite, întreprinderile pot trage concluzii despre eficiența dezvoltării câmpului, pot urmări programul de revizie și starea echipamentelor și pot prognoza cererea și prețurile produselor.

Potrivit unui sondaj realizat de Tech Pro Research, Big Data este cel mai răspândit în industria telecomunicațiilor, precum și în inginerie, IT, financiare și întreprinderi guvernamentale. Conform rezultatelor acestui sondaj, Big Data este mai puțin popular în educație și asistență medicală. Rezultatele sondajului sunt prezentate mai jos:

Exemple de utilizare a Big Data în companii

Domeniile de aplicare ale informațiilor prelucrate sunt diverse și variază în funcție de industrie și de sarcinile de îndeplinit.
În continuare, vor fi prezentate exemple de aplicare în practică a tehnologiilor Big Data.

HSBC folosește tehnologiile Big Data pentru a contracara tranzacțiile frauduloase cu carduri de plastic. Cu ajutorul Big Data, compania a crescut eficienta serviciului de securitate de 3 ori, iar recunoasterea incidentelor frauduloase de 10 ori. Efectul economic al introducerii acestor tehnologii a depășit 10 milioane de dolari SUA.

Antifrauda* VISA permite intrarea mod automat identifica tranzacțiile frauduloase, sistemul ajută în prezent la prevenirea plăților frauduloase de 2 miliarde USD anual.

Compania de supercomputer Watson IBM analizează în timp real fluxul de date privind tranzacțiile monetare. Potrivit IBM, Watson a crescut numărul de tranzacții frauduloase detectate cu 15%, a redus falsul pozitiv de sistem cu 50% și a crescut suma cu 60%. Bani protejate de tranzacții de această natură.

Procter & Gamble cu ajutorul Big Data, ei proiectează produse noi și creează campanii de marketing globale. P&G a creat birouri dedicate Business Spheres unde puteți vizualiza informații în timp real.
Astfel, conducerea companiei are posibilitatea de a testa instantaneu ipoteze și de a efectua experimente. P&G consideră că Big Data ajută la prezicerea performanței companiei.

Comerciant cu amanuntul de rechizite de birou officemax cu ajutorul tehnologiilor Big Data, ei analizează comportamentul clienților. Analiza Big Data a permis creșterea veniturilor B2B cu 13%, reducerea costurilor cu 400.000 USD pe an.

Conform Omida , distribuitorii săi pierd anual venituri de la 9 la 18 miliarde de dolari doar pentru că nu implementează tehnologia Big Data. Big Data ar permite clienților să-și gestioneze flota mai eficient prin analizarea informațiilor de la senzorii instalați pe mașini.

Până în prezent, este deja posibilă analiza stării componentelor cheie, gradul lor de uzură, gestionarea costurilor de combustibil și de întreținere.

Grupul Luxottica este un producător de ochelari sport cu mărci precum Ray-Ban, Persol și Oakley. Compania folosește tehnologii Big Data pentru a analiza comportamentul clienților potențiali și marketing prin SMS „inteligent”. Ca urmare, grupul Big Data Luxottica a identificat peste 100 de milioane dintre cei mai valoroși clienți și a crescut eficiența campaniei de marketing cu 10%.

Cu ajutorul Yandex Data Factory, dezvoltatorii de jocuri Lumea tancurilor analizează comportamentul jucătorilor. Tehnologiile Big Data au făcut posibilă analizarea comportamentului a 100 de mii de jucători World of Tanks folosind mai mult de 100 de parametri (informații despre achiziții, jocuri, experiență etc.). În urma analizei, s-a obținut o prognoză a abandonului utilizatorilor. Aceste informații vă permit să reduceți grija utilizatorilor și să lucrați cu participanții la joc într-o manieră direcționată. Modelul dezvoltat s-a dovedit a fi cu 20-30% mai eficient unelte standard analiza industriei jocurilor de noroc.

Ministerul German al Muncii utilizează Big Data pentru a analiza cererile de șomaj primite. Deci, după analizarea informațiilor, a devenit clar că 20% din beneficii au fost plătite nemeritat. Cu ajutorul Big Data, Ministerul Muncii a redus costurile cu 10 miliarde de euro.

Spitalul de copii din Toronto implementat proiectul Artemis. Acesta este un sistem informatic care colectează și analizează date despre bebeluși în timp real. Sistemul monitorizează 1.260 de indicatori ai stării fiecărui copil în fiecare secundă. Proiectul Artemis vă permite să preziceți starea instabilă a copilului și să începeți prevenirea bolilor la copii.

PREZENTARE GENERALĂ A PIEȚEI GLOBALE DE BIG DATA

Starea actuală a pieței globale

Majoritatea veniturilor pieței Big Data, conform Wikibon, în 2014 au fost constituite din servicii, ponderea acestora fiind egală cu 40% din veniturile totale (vezi diagrama de mai jos):

Dacă luăm în considerare Big Data pentru 2014 pe subtipuri, atunci piața va arăta astfel:

Potrivit Wikibon, aplicațiile și analizele au reprezentat 36% din veniturile Big Data în 2014 din aplicațiile și analizele Big Data, 17% din hardware de calcul și 15% din tehnologia de stocare. Cel mai puțin din toate veniturile au fost generate de tehnologiile NoSQL, echipamentele de infrastructură și furnizarea unei rețele de companii ( rețele corporative).

Cele mai populare tehnologii Big Data sunt platformele in-memory SAP, HANA, Oracle etc. Rezultatele sondajului T-Systems au arătat că acestea au fost alese de 30% dintre companiile chestionate. Al doilea cel mai popular au fost platformele NoSQL (18% dintre utilizatori), companiile au folosit și platforme analitice de la Splunk și Dell, acestea fiind alese de 15% dintre companii. Cele mai puțin utile pentru rezolvarea problemelor Big Data, conform rezultatelor sondajului, au fost produsele Hadoop/MapReduce.

Potrivit unui sondaj Accenture, în peste 50% dintre companiile care utilizează tehnologii Big Data, costurile Big Data variază între 21% și 30%.
Potrivit următoarei analize Accenture, 76% dintre companii cred că aceste costuri vor crește în 2015, iar 24% dintre companii nu își vor modifica bugetul pentru tehnologiile Big Data. Acest lucru sugerează că în aceste companii Big Data a devenit deja o zonă consolidată a IT, care a devenit o parte integrantă a dezvoltării companiei.

Rezultatele sondajului Economist Intelligence Unit confirmă impactul pozitiv al implementării Big Data. 46% dintre companii susțin că au îmbunătățit serviciul pentru clienți cu peste 10% folosind tehnologiile Big Data, 33% dintre companii au optimizat inventarul și au îmbunătățit productivitatea activelor cheie, 32% dintre companii au îmbunătățit procesele de planificare.

Big Data în tari diferite pace

De asemenea, potrivit sondajului CIO, companiile din regiunea Asia-Pacific stăpânesc rapid noi soluții în domeniul analizei Big Data, stocării securizate și tehnologiilor cloud. America Latină se află pe locul doi în ceea ce privește numărul de investiții în dezvoltarea tehnologiilor Big Data, înaintea Europei și SUA.
În continuare, va fi prezentată o descriere și previziuni ale dezvoltării pieței Big Data în mai multe țări.

China
Cantitatea de informații din China este de 909 exaocteți, ceea ce este egal cu 10% din cantitatea totală de informații din lume, până în 2020 cantitatea de informații va ajunge la 8060 exaocteți, iar ponderea informațiilor în statisticile globale va crește, de asemenea, în 5 ani va fi egal cu 18%. Creșterea potențială a Big Data din China are una dintre dinamicele cu cea mai rapidă creștere.

Brazilia
Până la sfârșitul anului 2014, Brazilia a acumulat 212 exaocteți de informații, ceea ce reprezintă 3% din volumul global. Până în 2020, volumul de informații va crește la 1600 de exaocteți, ceea ce va reprezenta 4% din informațiile din lume.

India
Potrivit EMC, cantitatea de date acumulate în India în 2014 este de 326 de exaocteți, ceea ce reprezintă 5% din cantitatea totală de informații. Până în 2020, volumul de informații va crește la 2800 de exaocteți, ceea ce va reprezenta 6% din informațiile din lume.

Japonia
Cantitatea de date acumulate în Japonia la sfârșitul anului 2014 este de 495 exaocteți, ceea ce reprezintă 8% din cantitatea totală de informații. Până în 2020, volumul de informații va crește la 2200 de exaocteți, dar cota de piață a Japoniei va scădea și se va ridica la 5% din cantitatea totală de informații din întreaga lume.
Astfel, volumul pieței japoneze va scădea cu peste 30%.

Germania
Potrivit EMC, cantitatea de date acumulate în Germania în 2014 este de 230 de exaocteți, ceea ce reprezintă 4% din cantitatea totală de informații din lume. Până în 2020, volumul de informații va crește la 1100 exaocteți și va fi de 2%.
Pe piața germană, o pondere mare a veniturilor, conform previziunilor Grupului Experton, va fi generată de segmentul de servicii, a cărui pondere în 2015 va fi de 54%, iar în 2019 va crește la 59%, ponderea software-ului și hardware-ului, dimpotrivă, va scădea.

În general, dimensiunea pieței va crește de la 1,345 miliarde euro în 2015 la 3,198 miliarde euro în 2019, cu o rată medie de creștere de 24%.
Astfel, pe baza analizelor CIO și EMC, putem concluziona că țările în curs de dezvoltare ale lumii vor deveni piețe pentru dezvoltarea activă a tehnologiilor Big Data în următorii ani.

Principalele tendințe ale pieței

Conform previziunilor IDC, tendințele pieței sunt după cum urmează:

• În următorii 5 ani, costul de soluții cloudîn domeniul tehnologiilor Big Data vor crește de 3 ori mai repede decât costurile soluțiilor locale. Platformele hibride de stocare vor deveni populare.
• Creșterea aplicațiilor care utilizează analize sofisticate și predictive, inclusiv învățarea automată, se va accelera în 2015, piața pentru astfel de aplicații va crește cu 65% mai rapid decât aplicațiile fără analiză predictivă.
• Analiza media se va tripla în 2015 și va deveni un motor cheie de creștere pentru piața tehnologiei Big Data.
• Tendința de a implementa soluții pentru analiza fluxului constant de informații care este aplicabilă Internetului lucrurilor se va accelera.
• Până în 2018, 50% dintre utilizatori vor interacționa cu servicii bazate pe calculul cognitiv.

Drivere și limitatoare ale pieței

Potrivit sondajului Accenture, problemele de securitate a datelor reprezintă acum principala barieră în adoptarea tehnologiilor Big Data, peste 51% dintre respondenți au confirmat că sunt îngrijorați de protecția datelor și de confidențialitate. 47% dintre companii au raportat imposibilitatea implementării Big Data din cauza unui buget limitat, 41% dintre companii au indicat lipsa personalului calificat drept problemă.

Wikibon prezice că piața Big Data va crește la 38,4 miliarde de dolari în 2015, în creștere cu 36% de la an la an. În următorii ani, va exista o scădere a ratelor de creștere la 10% în 2017. Luând în considerare aceste previziuni, dimensiunea pieței în 2020 va fi egală cu 68,7 miliarde de dolari SUA.

Distribuția pieței globale Big Data pe categorii de afaceri va arăta astfel:

După cum puteți vedea din diagramă, cea mai mare parte a pieței va fi ocupată de tehnologii din domeniul îmbunătățirii serviciului clienți. Marketingul spot va fi a doua cea mai mare prioritate pentru companii până în 2019, în 2020, potrivit Heavy Reading, va lăsa loc soluțiilor de îmbunătățire a eficienței operaționale.
Segmentul „îmbunătățirea serviciului clienți” va avea, de asemenea, cea mai mare rată de creștere, cu o creștere de 49% anual.
Prognoza pieței pentru subtipurile Big Data va arăta astfel:

Cota de piață predominantă, după cum se poate observa din diagramă, este ocupată de serviciile profesionale, aplicațiile cu analitică vor avea cea mai mare rată de creștere, ponderea acestora va crește de la actualul 12% la 18% în 2020, iar volumul acestui segment va crește. să fie egală cu 12,3 miliarde de dolari SUA, ponderea echipamentelor de calcul, dimpotrivă, va scădea de la 20% la 14% și se va ridica la aproximativ 9,3 miliarde de dolari SUA în 2020, piața tehnologiilor cloud va crește treptat și în 2020 va ajunge 6,3 miliarde de dolari SUA, cota de piață a soluțiilor pentru stocarea datelor, dimpotrivă, va scădea de la 15% în 2014 la 13% în 2020 și în termeni monetari va fi egală cu 8,9 miliarde de dolari.
Conform prognozei Bain & Company’s Insights Analysis, distribuția pieței Big Data pe industrie în 2020 va arăta astfel:

• Industria financiară va cheltui 6,4 miliarde de dolari pe Big Data, cu o rată medie de creștere de 22% pe an;
• Companiile de internet vor cheltui 2,8 miliarde de dolari și o rată medie de creștere a costurilor de 26% în următorii 5 ani;
• Costurile sectorului public vor fi proporționale cu costurile companiilor de internet, dar ritmul de creștere va fi mai mic - 22%;
• Sectorul telecomunicațiilor va crește cu o rată medie de creștere de 40% și va ajunge la 1,2 miliarde USD în 2020;

Companiile energetice vor investi în aceste tehnologii o sumă relativ mică - 800 de milioane de dolari SUA, dar ritmul de creștere va fi unul dintre cele mai mari - 54% anual.
Astfel, companiile din industria financiară vor ocupa o cotă mare din piața Big Data în 2020, iar energia va fi sectorul cu cea mai rapidă creștere.
În urma previziunilor analiștilor, volumul total al pieței va crește în următorii ani. Creșterea pieței va fi asigurată de introducerea tehnologiilor Big Data în țările în curs de dezvoltare ale lumii, așa cum se poate observa din graficul de mai jos.

Dimensiunea estimată a pieței va depinde de modul în care țările în curs de dezvoltare percep tehnologiile Big Data, dacă acestea vor fi la fel de populare ca și în țările dezvoltate. În 2014, țările în curs de dezvoltare ale lumii au reprezentat 40% din informațiile acumulate. Conform prognozei EMC, structura actuală a pieței, dominată de țările dezvoltate, se va schimba încă din 2017. Potrivit EMC analytics, în 2020 ponderea țărilor în curs de dezvoltare va fi mai mare de 60%.
Potrivit Cisco și EMC, țările în curs de dezvoltare ale lumii vor lucra activ cu Big Data, în multe privințe acest lucru se va datora disponibilității tehnologiilor și acumulării de informații suficiente la nivelul Big Data. Harta lumii de pe pagina următoare va afișa prognoza de creștere și rata de creștere a Big Data pe regiune.

ANALIZA PIEȚEI RUSE

• Oracol
• Microsoft
• cloudera
• Hortonworks
• Teradata.

Prezentare generală a pieței în funcție de industrie și experiența utilizării Big Data în companii

În Rusia, tehnologiile Big Data sunt mai populare în bancarși telecomunicații, dar sunt solicitate și în industria minieră, energie, retail, companii de logistică și sectorul public.
În continuare, vor fi luate în considerare exemple de utilizare a Big Data în realitățile rusești.

Telecom
Operatorii de telecomunicații au una dintre cele mai mari baze de date, ceea ce le permite să efectueze cea mai aprofundată analiză a informațiilor acumulate.
Unul dintre domeniile de aplicare a tehnologiei Big Data este managementul loialității abonaților.
Scopul principal al analizei datelor este de a păstra clienții existenți și de a atrage alții noi. Pentru a face acest lucru, companiile segmentează clienții, le analizează traficul și determină afilierea socială a abonatului. Pe lângă utilizarea informațiilor în scopuri de marketing, telecomunicațiile utilizează tehnologia pentru a preveni tranzacțiile financiare frauduloase.
Vimpelcom este unul dintre cele mai strălucitoare exemple ale acestei industrii. Compania folosește Big Data pentru a îmbunătăți calitatea serviciului la nivelul fiecărui abonat, raportând, analizând date pentru dezvoltarea rețelei, combaterea spam-ului și personalizarea serviciilor.

Băncile
O proporție semnificativă a utilizatorilor de Big Data este ocupată de specialiști din industria financiară. Unul dintre experimentele de succes a fost efectuat la Banca Ural pentru Reconstrucție și Dezvoltare, unde baza de informatii a început să fie folosită pentru analiza clienților, banca a început să ofere oferte de credit specializate, depozite și alte servicii. Pe parcursul anului de utilizare a acestor tehnologii, portofoliul de credite pentru retail al companiei a crescut cu 55%.
Alfa-Bank analizează informațiile din rețelele de socializare, procesează cereri de împrumut, analizează comportamentul utilizatorilor site-ului companiei.
Sberbank a început, de asemenea, să prelucreze o serie de date pentru a segmenta clienții, a preveni frauda, ​​a vânzărilor încrucișate și a gestiona riscul. În viitor, este planificată îmbunătățirea serviciului și analizarea acțiunilor clienților în timp real.
Banca de Dezvoltare Regională a Rusiei analizează comportamentul proprietarilor carduri de plastic. Acest lucru vă permite să identificați tranzacțiile care sunt atipice pentru un anumit client, crescând astfel probabilitatea de a detecta furtul de fonduri de pe cardurile de plastic.

Cu amănuntul
În Rusia, tehnologiile Big Data au fost implementate atât de companiile comerciale online, cât și offline. Astăzi, conform CNews Analytics, Big Data este folosit de 20% dintre retaileri. 75% dintre profesioniștii din retail consideră că Big Data este necesar pentru dezvoltarea unei strategii competitive de promovare a unei companii. Potrivit statisticilor Hadoop, după introducerea tehnologiei Big Data, profitul în organizațiile comerciale crește cu 7-10%.
Specialiștii M.Video vorbesc despre îmbunătățirea planificării logisticii după implementarea SAP HANA, de asemenea, ca urmare a implementării acestuia, întocmirea rapoartelor anuale a fost redusă de la 10 zile la 3, viteza de încărcare zilnică a datelor a fost redusă de la 3. ore până la 30 de minute.
Wikimart folosește aceste tehnologii pentru a genera recomandări pentru vizitatorii site-ului.
Unul dintre primele magazine offline care a introdus analiza Big Data în Rusia a fost Lenta. Cu ajutorul Big Data, retailul a început să studieze informații despre clienți din încasările de numerar. Retailerul colectează informații pentru a construi modele comportamentale care să permită luarea deciziilor mai informate la nivel operațional și de afaceri.

Industria petrolului și gazelor
În această industrie, domeniul de aplicare al Big Data este destul de larg. Tehnologiile Big Data pot fi aplicate în extragerea mineralelor din intestine. Cu ajutorul lor, puteți analiza procesul de minerit în sine și cel mai mult moduri eficiente extragerea acestuia, urmărirea procesului de foraj, analiza calității materiilor prime și prelucrarea și comercializarea produsului final. În Rusia, aceste tehnologii sunt deja folosite de Transneft și Rosneft.

Organele statului
În țări precum Germania, Australia, Spania, Japonia, Brazilia și Pakistan, tehnologiile Big Data sunt folosite pentru a rezolva problemele naționale. Aceste tehnologii ajută autoritățile publice să ofere mai eficient servicii populației, să ofere sprijin social direcționat.
În Rusia, aceste tehnologii au început să fie stăpânite de asemenea organisme guvernamentale precum Fondul de pensii, Serviciul Fiscal Federal și Fondul de asigurări medicale obligatorii. Potențialul de implementare a proiectelor folosind Big Data este mare; aceste tehnologii ar putea contribui la îmbunătățirea calității serviciilor și, ca urmare, a nivelului de trai al populației.

Logistica si transport
Big Data poate fi folosit și de companiile de transport. Cu ajutorul tehnologiilor Big Data, este posibil să urmăriți flota de mașini, să luați în considerare costurile cu combustibilul și să monitorizați solicitările clienților.
Căile Ferate Ruse au implementat tehnologiile Big Data împreună cu SAP. Aceste tehnologii au contribuit la reducerea timpului de raportare de 43,5 ori (de la 14,5 ore la 20 de minute) și la îmbunătățirea acurateței alocării costurilor de 40 de ori. De asemenea, Big Data a fost introdusă în procesele de planificare și reglementare a tarifelor. În total, companiile folosesc peste 300 de sisteme bazate pe soluții SAP, sunt implicate 4 centre de date, iar numărul de utilizatori este de 220.000.

Principalii factori de piață și constrângeri

• Creșterea interesului utilizatorilor față de posibilitățile Big Data ca modalitate de creștere a competitivității companiei;
• Dezvoltarea metodelor de procesare a fișierelor media la nivel global;
• Transferul serverelor care prelucrează informații personale pe teritoriul Rusiei, conform legea adoptată privind stocarea și prelucrarea datelor cu caracter personal;
• Implementarea planului industrial pentru înlocuirea importului de software. Acest plan include sprijinul de stat pentru producătorii autohtoni de software, precum și acordarea de preferințe pentru produsele IT interne la achiziționarea pe cheltuială publică.
• În noua situație economică, când dolarul aproape s-a dublat, va exista o tendință de utilizare în creștere a serviciilor furnizorilor ruși. servicii cloud decât cele străine.
• Crearea de parcuri tehnologice care să contribuie la dezvoltarea pieței tehnologiei informației, inclusiv a pieței Big Data;
• Program de stat pentru introducerea sistemelor grid, care se bazează pe tehnologiile Big Data.

Principalele bariere în calea dezvoltării Big Data pe piața rusă sunt:

• Asigurarea securității și confidențialității datelor;
• Lipsa personalului calificat;
• Insuficiență de acumulat resurse informaționale la nivelul Big Data în majoritatea companiilor rusești;
• Dificultăți în introducerea noilor tehnologii în sistemele informaționale consacrate ale companiilor;
• Costul ridicat al tehnologiilor Big Data, ceea ce duce la un număr limitat de întreprinderi care au posibilitatea de a implementa aceste tehnologii;
• Incertitudine politică și economică, care a dus la ieșirea de capital și înghețarea proiectelor de investiții în Rusia;
• Creșterea prețurilor la produsele importate și o creștere a inflației, potrivit IDC, împiedică dezvoltarea întregii piețe IT.

Prognoza pieței rusești

Cu toate acestea, piața rusă, urmând tendințele globale, va crește. Începând cu 2014, IDC estimează dimensiunea pieței la 340 de milioane de dolari.
Rata de creștere a pieței pentru anii precedenți a fost de 50% pe an, dacă se menține la același nivel, atunci în 2018 volumul pieței va ajunge la 1,7 miliarde de dolari SUA. Cota pieței ruse pe piața mondială va fi de aproximativ 3%, crescând de la actualul 1,2%.

Cele mai receptive industrii la utilizarea Big Data în Rusia includ:

• Retail și bănci, pentru ei, în primul rând, este important să analizeze baza de clienți, să evalueze efectul campaniilor de marketing;
• Telecom - segmentarea bazei de clienți și monetizarea traficului;
• Sectorul public - raportare, analiza aplicatiilor din partea publicului etc.;
• Companii petroliere - monitorizarea lucrărilor și planificarea producției și marketingului;
• Companii energetice - crearea de sisteme electrice inteligente, monitorizare și prognoză operațională.

Principalele rezultate ale analizei pieței

Piața mondială

• volumul pieței a fost de 28,5 miliarde de dolari SUA, în creștere cu 45% față de anul precedent;
• majoritatea veniturilor pieței Big Data au fost constituite din servicii, ponderea acestora fiind egală cu 40% din veniturile totale;
• 36% din venituri au provenit din aplicații și analize Big Data, 17% din hardware de calcul și 15% din tehnologii de stocare;
• Platformele in-memory ale companiilor precum SAP, HANA și Oracle sunt cele mai populare pentru rezolvarea problemelor Big Data.
• numărul companiilor cu proiecte implementate în domeniul managementului Big Data a crescut cu 125%;

• în 2015 volumul pieţei va ajunge la 38,4 miliarde dolari SUA, în 2020 - 68,7 miliarde dolari SUA;
• rata medie de creștere va fi de 16% anual;
• cheltuielile medii ale companiei pentru tehnologiile Big Data vor fi de 13,8 milioane USD pentru companiile mari și 1,6 milioane USD pentru întreprinderile mici și mijlocii;
• tehnologiile vor avea cea mai mare prevalență în domeniile de servicii pentru clienți și marketing direcționat;
• în 2017, structura pieței globale se va schimba spre predominanța companiilor utilizatori din țările în curs de dezvoltare.

piata ruseasca

• volumul pieței a ajuns la 340 de milioane de dolari SUA;
• rata medie de creștere a pieței în anii anteriori a fost de 50% anual;
• cantitatea totală de informații acumulate a fost de 155 exaocteți;
• 10% dintre companiile rusești au început să folosească tehnologiile Big Data;
• Tehnologiile Big Data au fost mai populare în sectorul bancar, telecomunicații, companii de internet și retail.

• volumul pieței ruse în 2015 va ajunge la 500 de milioane de dolari SUA, iar în 2018 - 1,7 miliarde de dolari;
• ponderea pieței ruse pe piața mondială va fi de aproximativ 3% în 2018;
• cantitatea de date acumulate în 2020 va fi de 980 exaocteți;
• datele vor crește la 2,2% din datele globale în 2020;
• tehnologiile de vizualizare a datelor, analiza fișierelor media și Internetul lucrurilor vor câștiga cea mai mare popularitate.

Vă mulțumim pentru timpul acordat citirii acestei lucrări voluminoase, abonați-vă la blogul nostru - promitem multe publicații noi interesante!

Rubrica de profesori HSE despre mituri și cazuri de lucru cu big data

La marcaje

Lectorii HSE School of New Media Konstantin Romanov și Alexander Pyatigorsky, care este și directorul de transformare digitală la Beeline, au scris o coloană pentru site despre principalele concepții greșite despre big data - exemple de utilizare a tehnologiei și instrumente. Autorii sugerează că publicația îi va ajuta pe liderii companiei să înțeleagă acest concept.

Mituri și concepții greșite despre Big Data

Big Data nu este marketing

Termenul de Big Data a devenit foarte la modă – este folosit în milioane de situații și în sute de interpretări diferite, adesea fără legătură cu ceea ce este. Adesea, în mintea oamenilor există o înlocuire a conceptelor, iar Big Data este confundată cu un produs de marketing. Mai mult, în unele companii Big Data face parte din divizia de marketing. Rezultatul analizei big data poate fi într-adevăr o sursă pentru activitatea de marketing, dar nimic mai mult. Să vedem cum funcționează.

Dacă am identificat o listă cu cei care au cumpărat bunuri în valoare de peste trei mii de ruble în magazinul nostru în urmă cu două luni și apoi am trimis un fel de ofertă acestor utilizatori, atunci acesta este un marketing tipic. Obținem un model clar din datele structurale și îl folosim pentru a crește vânzările.

Totuși, dacă combinăm datele CRM cu informații de streaming, de exemplu, de pe Instagram, și le analizăm, găsim un model: o persoană care și-a redus activitatea miercuri seara și a cărei ultima fotografie arată pisoi ar trebui să facă o anumită ofertă. Va fi deja Big Data. Am găsit declanșatorul, l-am dat agenților de marketing și l-au folosit în propriile lor scopuri.

De aici rezultă că tehnologia funcționează de obicei cu date nestructurate, iar dacă datele sunt structurate, sistemul continuă să caute modele ascunse în ele, ceea ce marketingul nu face.

Big Data nu este IT

A doua extremă a acestei povești: Big Data este adesea confundată cu IT. Acest lucru se datorează faptului că în companiile rusești, de regulă, specialiștii IT sunt motorii tuturor tehnologiilor, inclusiv big data. Prin urmare, dacă totul se întâmplă în acest departament, pentru companie în ansamblu se pare că acesta este un fel de activitate IT.

De fapt, aici există o diferență fundamentală: Big Data este o activitate care vizează obținerea unui anumit produs, care nu se aplică deloc IT-ului, deși tehnologia nu poate exista fără ele.

Big Data nu este întotdeauna colectarea și analiza informațiilor

Există o altă concepție greșită despre Big Data. Toată lumea înțelege că această tehnologie este asociată cu cantități mari de date, dar ce fel de date înseamnă nu este întotdeauna clar. Toată lumea poate colecta și utiliza informații, acum este posibil nu numai în filme despre, ci și în orice companie, chiar și foarte mică. Singura întrebare este ce anume să colecteze și cum să-l folosești în avantajul tău.

Dar trebuie înțeles că tehnologia Big Data nu va fi colectarea și analiza absolută a oricărei informații. De exemplu, dacă colectați date despre o anumită persoană pe rețelele sociale, acestea nu vor fi Big Data.

Ce este de fapt Big Data

Big Data constă din trei elemente:

• date;
• analitice;
• tehnologie.

Big Data nu este doar una dintre aceste componente, ci o combinație a tuturor celor trei elemente. Adesea, oamenii înlocuiesc concepte: cineva crede că Big Data este doar date, cineva crede că este tehnologie. Dar, de fapt, indiferent de câte date colectezi, nu poți face nimic fără ele tehnologiile necesareși analitice. Dacă există analize bune, dar nu există date, cu atât mai rău.

Dacă vorbim despre date, atunci acestea nu sunt doar texte, ci și toate fotografiile postate pe Instagram și, în general, tot ceea ce poate fi analizat și folosit în diferite scopuri și sarcini. Cu alte cuvinte, Datele se referă la cantități uriașe de date interne și externe ale diferitelor structuri.

De asemenea, este nevoie de analiză, deoarece sarcina Big Data este de a construi unele modele. Adică, analitica este identificarea dependențelor ascunse și căutarea de noi întrebări și răspunsuri bazate pe analiza întregului volum de date eterogene. Mai mult, Big Data ridică întrebări care nu sunt derivate direct din aceste date.

Când vine vorba de imagini, faptul că ai postat o fotografie cu tine într-un tricou albastru nu spune nimic. Dar dacă folosești o fotografie pentru modelarea Big Data, atunci se poate dovedi că chiar acum ar trebui să oferi un împrumut, deoarece în grupul tău social acest comportament indică un anumit fenomen în acțiuni. Prin urmare, datele „goale” fără analize, fără a dezvălui dependențe ascunse și neevidente, nu sunt Big Data.

Deci avem date mari. Gama lor este uriașă. Avem și un analist. Dar cum ne putem asigura că din aceste date brute se naște o soluție specifică? Pentru a face acest lucru, avem nevoie de tehnologii care să ne permită nu doar să le stocăm (și acest lucru era imposibil înainte), ci și să le analizăm.

Mai simplu spus, dacă aveți o mulțime de date, veți avea nevoie de tehnologii precum Hadoop, care fac posibilă salvarea tuturor informațiilor în forma sa originală pentru o analiză ulterioară. Astfel de tehnologii au apărut în giganții internetului, deoarece ei au fost primii care s-au confruntat cu problema stocării unei cantități mari de date și a le analiza pentru monetizarea ulterioară.

Pe lângă instrumentele de stocare optimizată și ieftină a datelor, sunt necesare instrumente analitice, precum și suplimente pentru platforma utilizată. De exemplu, un întreg ecosistem de proiecte și tehnologii conexe s-a format deja în jurul Hadoop. Iată câteva dintre ele:

• Pig este un limbaj declarativ de analiză a datelor.
• Hive - analiza datelor folosind un limbaj apropiat de SQL.
• Oozie este un flux de lucru în Hadoop.
• Hbase - bază de date (non-relațională), analog cu Google Big Table.
• Mahout - învățare automată.
• Sqoop - transfer de date de la RSDDB la Hadoop și invers.
• Flume - transfer de bușteni pe HDFS.
• Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS și așa mai departe.

Toate aceste instrumente sunt disponibile pentru toată lumea gratuit, dar există și un set de suplimente plătite.

În plus, este nevoie de specialiști: acesta este un dezvoltator și un analist (așa-numitul Data Scientist). De asemenea, aveți nevoie de un manager care este capabil să înțeleagă cum să aplice această analiză la o anumită sarcină, deoarece în sine este complet lipsită de sens dacă nu este încorporată în procesele de afaceri.

Toți cei trei angajați trebuie să lucreze în echipă. Un manager care dă unui Data Scientist sarcina de a găsi un anumit tipar trebuie să înțeleagă că nu este întotdeauna posibil să găsească exact ceea ce are nevoie. În acest caz, managerul ar trebui să asculte cu atenție ceea ce a găsit Data Scientist, deoarece adesea descoperirile sale se dovedesc a fi mai interesante și mai utile pentru afacere. Sarcina ta este să o aplici în afaceri și să faci un produs din ea.

În ciuda faptului că acum există multe tipuri diferite de mașini și tehnologii, decizia finală rămâne întotdeauna a persoanei. Pentru a face acest lucru, informațiile trebuie vizualizate cumva. Există destul de multe instrumente pentru asta.

Cel mai ilustrativ exemplu sunt rapoartele geoanalitice. Compania Beeline lucrează foarte mult cu guvernele din diferite orașe și regiuni. Foarte des, aceste organizații comandă rapoarte precum „Încărcare de trafic într-o anumită locație”.

Este clar că un astfel de raport ar trebui să ajungă la agențiile guvernamentale într-o formă simplă și de înțeles. Dacă le oferim un tabel uriaș și complet de neînțeles (adică informații în forma în care le primim), este puțin probabil să cumpere un astfel de raport - va fi complet inutil, nu vor scoate din el cunoștințele pe care voiau să le primească.

Prin urmare, indiferent cât de buni sunt oamenii de știință de date și indiferent de tiparele pe care le găsesc, nu veți putea lucra cu aceste date fără instrumente de vizualizare de calitate.

Surse de date

Gama de date primite este foarte mare, deci poate fi împărțită în câteva grupuri.

Date interne ale companiei

Deși 80% din datele colectate aparțin acestui grup, această sursă nu este întotdeauna utilizată. Adesea, acestea sunt date de care, se pare, nimeni nu are nevoie deloc, de exemplu, jurnalele. Dar dacă le privești dintr-un unghi diferit, uneori poți găsi în ele modele neașteptate.

Surse shareware

Acestea includ date de pe rețelele de socializare, de pe Internet și tot ceea ce poate fi pătruns gratuit. De ce shareware? Pe de o parte, aceste date sunt disponibile pentru toată lumea, dar dacă sunteți companie mare, apoi obținerea lor la dimensiunea unei baze de abonați de zeci de mii, sute sau milioane de clienți nu mai este o sarcină ușoară. Prin urmare, pe piață există servicii cu plată pentru a furniza aceste date.

Surse plătite

Acestea includ companiile care vând date pentru bani. Acestea pot fi telecomunicații, DMP-uri, companii de internet, birouri de credit și agregatori. În Rusia, telecomunicațiile nu vând date. În primul rând, este neprofitabilă din punct de vedere economic și, în al doilea rând, este interzisă de lege. Prin urmare, vând rezultatele prelucrării lor, de exemplu, rapoarte geoanalitice.

date deschise

Statul răspunde nevoilor afacerilor și face posibilă utilizarea datelor pe care le colectează. Într-o măsură mai mare, acest lucru este dezvoltat în Occident, dar și Rusia ține pasul cu vremurile în acest sens. De exemplu, există Portalul de date deschise al Guvernului de la Moscova, care publică informații despre diverse obiecte ale infrastructurii urbane.

Pentru rezidenții și oaspeții Moscovei, datele sunt prezentate sub formă tabelară și cartografică, iar pentru dezvoltatori - în formate speciale, care pot fi citite de mașină. În timp ce proiectul este în derulare modul limitat, dar se dezvoltă, ceea ce înseamnă că este și o sursă de date pe care o puteți folosi pentru sarcinile dvs. de afaceri.

Cercetare

După cum sa menționat deja, sarcina Big Data este să găsească un model. Adesea, studiile din întreaga lume pot deveni un punct de referință pentru găsirea unui anumit model - puteți obține un rezultat specific și puteți încerca să aplicați o logică similară obiectivelor dvs.

Big Data este un domeniu în care nu funcționează toate legile matematicii. De exemplu, „1” + „1” nu este „2”, ci mult mai mult, deoarece la amestecarea surselor de date, efectul poate fi mult îmbunătățit.

Exemple de produse

Mulți oameni sunt familiarizați cu serviciul de selecție de muzică Spotify. Frumusețea este că nu întreabă utilizatorii care este starea lor de spirit astăzi, ci o calculează pe baza surselor disponibile. El știe întotdeauna de ce ai nevoie acum - jazz sau hard rock. Aceasta este diferența cheie care îi oferă fani și îl deosebește de alte servicii.

Astfel de produse sunt de obicei numite produse de simț - cele care își simt clientul.

Tehnologia Big Data este folosită și în industria auto. De exemplu, Tesla face asta - în lor Cel mai recent model exista pilot automat. Compania se străduiește să creeze o mașină care să ducă pasagerul acolo unde trebuie să meargă. Fără Big Data, acest lucru este imposibil, deoarece dacă folosim doar datele pe care le primim direct, așa cum o face o persoană, atunci mașina nu se va putea îmbunătăți.

Când conducem noi înșine o mașină, ne folosim neuronii pentru a lua decizii bazate pe mulți factori pe care nici măcar nu îi observăm. De exemplu, s-ar putea să nu realizăm de ce am decis să nu aprindem imediat semaforul verde și apoi se dovedește că decizia a fost corectă - o mașină a trecut pe lângă tine cu o viteză vertiginoasă și ai evitat un accident.

De asemenea, puteți da un exemplu de utilizare a Big Data în sport. În 2002, directorul general al echipei de baseball Oakland Athletics, Billy Bean, a decis să spargă paradigma modului de căutare a sportivilor - a selectat și a antrenat jucători „după cifre”.

De obicei, managerii se uită la succesul jucătorilor, dar în acest caz a fost diferit - pentru a obține rezultatul, managerul a studiat ce combinații de sportivi avea nevoie, acordând atenție caracteristicilor individuale. Mai mult, a ales sportivi care în sine nu reprezentau un potențial mare, dar echipa în ansamblu s-a dovedit a fi atât de reușită încât a câștigat douăzeci de meciuri la rând.

Regizorul Bennett Miller a realizat ulterior un film dedicat acestei povești - „The Man Who Changed Everything” în rol principal cu Brad Pitt.

Tehnologia Big Data este utilă și în sectorul financiar. Nicio persoană din lume nu poate determina în mod independent și precis dacă merită să acorde cuiva un împrumut. Pentru a lua o decizie se realizează scoring, adică se construiește un model probabilistic prin care se poate înțelege dacă această persoană va returna banii sau nu. În plus, scorul este aplicat în toate etapele: puteți, de exemplu, să calculați că la un anumit moment o persoană va înceta să plătească.

Big Data permite nu numai să câștigi bani, ci și să îi salvezi. În special, această tehnologie a ajutat Ministerul German al Muncii să reducă costul indemnizațiilor de șomaj cu 10 miliarde de euro, deoarece după analizarea informațiilor a devenit clar că 20% din prestații au fost plătite nemeritat.

Tehnologiile sunt folosite și în medicină (acest lucru este valabil mai ales pentru Israel). Cu ajutorul Big Data, poți face o analiză mult mai precisă decât poate face un medic cu treizeci de ani de experiență.

Orice medic, atunci când pune un diagnostic, se bazează doar pe cont propriu propria experiență. Când mașina o face, vine din experiența a mii de astfel de medici și din toate cazurile existente. Se ia în considerare din ce material este făcută casa pacientului, în ce zonă locuiește victima, ce fum este acolo și așa mai departe. Adică ia în calcul o mulțime de factori de care medicii nu iau în considerare.

Un exemplu de utilizare a Big Data în asistența medicală este proiectul Project Artemis, care a fost implementat de Spitalul de Copii din Toronto. Acesta este un sistem informatic care colectează și analizează date despre bebeluși în timp real. Aparatul vă permite să analizați 1260 de indicatori de sănătate ai fiecărui copil în fiecare secundă. Acest proiect are ca scop prezicerea stării instabile a copilului și prevenirea bolilor la copii.

Big data încep să fie folosit și în Rusia: de exemplu, Yandex are o divizie de big data. Compania, împreună cu AstraZeneca și societatea rusă de Oncologie Clinică, RUSSCO a lansat platforma RAY pentru geneticieni și biologi moleculari. Proiectul îmbunătățește metodele de diagnosticare a cancerului și de identificare a predispoziției la cancer. Platforma va fi lansată în decembrie 2016.

Big data, sau big data, este un concept folosit în tehnologia informației și marketing. Termenul „big data” este folosit pentru a defini analiza și gestionarea seturilor mari de date. Astfel, big data sunt informații care, datorită volumelor mari, nu pot fi procesate în mod tradițional.

viața modernă imposibil de imaginat fără tehnologiile digitale. Depozitele mondiale de date sunt reînnoite în mod constant și, prin urmare, este, de asemenea, necesar să se schimbe constant atât condițiile de stocare a informațiilor, cât și să se caute noi modalități de a crește volumul purtătorilor săi. Pe baza opiniilor experților, creșterea Date mareși creșterea ritmului de creștere sunt realitățile actuale. După cum am menționat deja, informațiile apar non-stop. Volume uriașe sunt generate de site-uri de informații, diverse servicii de partajare a fișierelor și rețele sociale, dar aceasta este doar o mică parte din volumul total produs.

IDC Digital Universe, după efectuarea unui studiu, a declarat că în 5 ani cantitatea de date în general pe întreg Pământul va ajunge la patruzeci de zettabytes. Aceasta înseamnă că pentru fiecare persoană de pe planetă vor exista 5200 GB de informații.

Cel mai bun articol al lunii

Prima jumătate a anului 2018 se apropie de sfârșit - este timpul să rezumam rezultatele intermediare. Chiar dacă performanța comercială a companiei a crescut față de perioada anterioară, asigurați-vă că nu există dificultăți ascunse în funcționarea companiei care pot aduce probleme.

Pentru a diagnostica problemele, completați listele de verificare din articolul nostru și aflați ce latură a afacerii să acordați atenție.

Este bine cunoscut faptul că oamenii nu sunt principalul producător de informații. Sursa principală care aduce informații de date sunt roboții care interacționează continuu. Acestea includ sistem de operare computere, tablete și telefoane mobile, sisteme inteligente, instrumente de monitorizare, sisteme de supraveghere și multe altele. Împreună, stabilesc ritmul rapid de creștere a cantității de date, ceea ce înseamnă că nevoia de a crea atât servere reale, cât și virtuale este în creștere. Împreună, acest lucru duce la extinderea și implementarea de noi centre de date.

Cel mai adesea, big data este definită ca informații care sunt mai mari decât un hard disk al unui computer și, de asemenea, nu pot fi procesate prin metode tradiționale care sunt utilizate în procesarea și analiza informațiilor cu un volum mai mic.

Pentru a rezuma, tehnologia de procesare a datelor mari se reduce în cele din urmă la 3 domenii principale, care, la rândul lor, rezolvă 3 tipuri de probleme:

1. Stocarea și gestionarea unor cantități uriașe de date - dimensiunile acestora ajung la sute de terabytes și petabytes - care baze relaționale datele nu permit utilizarea eficientă.
2. Organizarea informațiilor nestructurate - texte, imagini, videoclipuri și alte tipuri de date.
3. Analiza datelor mari (analitica datelor mari) - aici luăm în considerare modul de lucru cu informații nestructurate și de a crea rapoarte de date analitice și introducerea de modele predictive.

Piața Proiectuluimaredate este strâns interconectată cu piața VA - business intelligence, al cărei volum în 2012 s-a ridicat la aproximativ 100 de miliarde de dolari și include tehnologii de rețea, software, servicii tehniceși servere.

Automatizarea activităților companiei, în special a soluțiilor din clasa de garantare a veniturilor (RA), este, de asemenea, indisolubil legată de utilizarea tehnologiilor de date mari. Astăzi, sistemele din acest domeniu conțin instrumente care sunt folosite pentru a detecta inconsecvențele și pentru analiza aprofundată a datelor, precum și pentru a identifica eventualele pierderi sau inexactități ale informațiilor care pot duce la o scădere a rezultatelor sectorului.

Companiile ruse confirmă că există o cerere pentru tehnologiile de date mari, ei notează separat că principalii factori care influențează dezvoltarea datelor mari în Rusia sunt creșterea volumului de date, luarea rapidă a deciziilor de management și creșterea calității acestora.

Ce rol joacă Big Data în marketing?

Nu este un secret pentru nimeni că informația este una dintre componentele principale ale previziunii și dezvoltării de succes a unei strategii de marketing, dacă știi să o folosești.

Analiza datelor mari este indispensabilă în determinare public țintă, interesele și activitățile ei. Cu alte cuvinte, utilizarea cu pricepere a datelor mari vă permite să preziceți cu exactitate dezvoltarea companiei.

Folosind, de exemplu, cunoscutul model de licitație RTB, cu ajutorul analizei big data, este ușor de realizat astfel încât publicitate să fie afișată doar pentru acei potențiali cumpărători care sunt interesați să achiziționeze un serviciu sau un produs.

Aplicație Big Data în marketing:

1. Vă permite să recunoașteți potențialii cumpărători și să atrageți publicul corespunzător pe Internet.
2. Contribuie la evaluarea gradului de satisfacție.
3. Ajută la potrivirea serviciului oferit cu nevoile cumpărătorului.
4. Facilitează căutarea și implementarea de noi metode de creștere a loialității clienților.
5. Simplifica crearea de proiecte care ulterior vor fi solicitate.

Un exemplu deosebit este serviciul Google.trends. Cu ajutorul acestuia, marketerul va putea identifica prognoza pentru sezon cu privire la un anumit produs, geografia clicurilor și fluctuațiilor. Astfel, comparând informațiile primite cu statisticile propriului site, este destul de ușor să creezi un buget de publicitate care să indice regiunea și luna.

• Repartizarea bugetului de publicitate: pe ce merită să cheltuiești banii
l>

Cum și unde să stocați datele mari

Sistemul de fișiere- aici sunt organizate și stocate datele mari. Toate informațiile se află pe un număr mare de hard disk-uri de pe un computer.

"Hartă"- hartă - ține evidența unde este stocată direct fiecare informație.

Pentru a vă asigura împotriva circumstanțelor neprevăzute, este obișnuit să salvați fiecare dintre informațiile de mai multe ori - se recomandă să faceți acest lucru de trei ori.

De exemplu, după colectarea tranzacțiilor individuale într-o rețea de vânzare cu amănuntul, toate informațiile despre fiecare tranzacție individuală vor fi stocate pe mai multe servere și hard disk-uri, iar „harta” va indexa locația fișierului pentru fiecare tranzacție specifică.

Pentru a organiza stocarea datelor în volume mari, puteți utiliza hardware și software standard care se află în domeniul public (de exemplu, Hadoop).

Big data și business intelligence: diferența dintre concepte

Astăzi, analiza de afaceri este un proces descriptiv al rezultatelor care au fost obținute într-o anumită perioadă de timp. Viteza de operare pentru procesarea datelor mari face ca analiza să fie predictivă. Recomandările lui se pot baza pe viitor. Tehnologiile de date mari fac posibilă analiza mai multor tipuri de date în comparație cu instrumentele și instrumentele utilizate în business intelligence. Acest lucru permite nu numai să se concentreze asupra stocărilor în care datele sunt structurate, ci și să se utilizeze resurse mult mai largi.

Business Intelligence și Big Data sunt similare în multe privințe, dar există următoarele diferențe:

• Big data este folosit pentru a procesa o cantitate de informații mult mai mare decât business intelligence, care definește însuși conceptul de big data.
• Cu ajutorul datelor mari, puteți procesa rapid datele primite și în schimbare, ceea ce duce la interactivitate, adică în majoritatea cazurilor, viteza de încărcare a unei pagini web este mai mică decât viteza de generare a rezultatelor.
• Big data pot fi folosite în prelucrarea datelor care nu au o structură, lucru cu care ar trebui început doar după asigurarea stocării și colectării acestora. În plus, este necesar să se aplice algoritmi care pot identifica principalele modele din tablourile create.

Procesul de analiză a afacerilor seamănă puțin cu munca datelor mari. De regulă, este obișnuit ca analiștii de afaceri să obțină rezultatul prin adunarea unor valori specifice: un exemplu este volumul anual de vânzări, calculat ca suma tuturor facturilor plătite. În procesul de lucru cu big data, calculul are loc prin construirea unui model în etape:

• formularea unei ipoteze;
• construirea unui model static, vizual și semantic;
• testarea validității ipotezei pe baza acestor modele;
• propunând următoarea ipoteză.

Pentru a efectua un ciclu complet de cercetare, este necesar să se interpreteze valorile vizuale (interogări interactive bazate pe cunoștințe). De asemenea, este posibil să se dezvolte un algoritm adaptiv de învățare automată.

Opinia expertului

Nu vă bazați orbește pe opiniile analiștilor

Viaceslav Nazarov,

Director general al reprezentanței ruse a Archos, Moscova

În urmă cu aproximativ un an, bazându-ne pe părerea experților, am lansat pe piață o tabletă complet nouă, o consolă de jocuri. Compactitatea și puterea tehnică suficientă și-au găsit recunoașterea printre fanii jocurilor pe calculator. De menționat că acest grup, în ciuda „îngustimei sale”, avea o putere de cumpărare destul de mare. La început, noutatea a adunat o mulțime de recenzii pozitive în mass-media și a primit o evaluare de aprobare din partea partenerilor noștri. Cu toate acestea, curând a devenit clar că vânzările tabletei sunt destul de scăzute. Soluția nu și-a găsit niciodată popularitatea în masă.

Eroare. Deficiența noastră a fost că interesele publicului țintă nu au fost studiate până la capăt. Utilizatorii care preferă să se joace pe o tabletă nu au nevoie de super grafică, deoarece joacă în mare parte jocuri simple. Jucătorii serioși sunt deja obișnuiți să joace pe un computer pe platforme mai avansate. Nu a existat o publicitate masivă a produsului nostru, campania de marketing a fost și ea slabă, iar în final, tableta nu și-a găsit cumpărătorul în niciunul dintre grupurile indicate.

Efecte. Producția produsului a trebuit să fie redusă cu aproape 40% față de volumele planificate inițial. Desigur, nu au existat pierderi mari, precum și profitul planificat. Totuși, acest lucru ne-a obligat să ajustăm unele obiective strategice. Cel mai valoros lucru pe care l-am pierdut iremediabil este timpul nostru.

sfaturi. Trebuie să te gândești înainte. Liniile de produse trebuie calculate cu doi sau trei pași înainte. Ce înseamnă? La pornirea unora gama de modele astăzi este de dorit să-i înțelegi soarta mâine și să ai măcar o imagine aproximativă a ceea ce i se va întâmpla peste un an și jumătate. Desigur, detaliu complet puțin probabil, dar plan de bazăîncă mai trebuie compilat.

Și totuși nu ar trebui să ai încredere completă și completă în analiști. Evaluările experților ar trebui să fie proporționale cu propriile lor date statistice, precum și cu situația operațională de pe piață. Dacă produsul tău nu este pe deplin dezvoltat, nu ar trebui să-l lansezi pe piață, deoarece pentru cumpărător prima impresie este cea mai importantă, iar atunci va fi o sarcină dificilă să-l convingi de contrariul.

Un sfat foarte important în caz de eșec este viteza de luare a deciziilor. Nu poți doar să privești și să aștepți. Rezolvarea unei probleme în urmărire este întotdeauna mult mai ușoară și mai ieftină decât rezolvarea uneia care rulează.

Ce probleme creează sistemul de date mari?

Există trei grupuri principale de probleme ale sistemelor de date mari, care în literatura străină sunt combinate în 3V - volum, viteză și varietate, adică:

1. Volum.
2. Viteză de procesare.
3. Nestructurat.

Problema stocării unor cantități mari de informații este asociată cu necesitatea organizării anumitor condiții, adică cu crearea de spațiu și oportunități. În ceea ce privește viteza, aceasta este asociată nu atât cu încetinirile și frânările atunci când se folosesc metode de procesare învechite, cât cu interactivitate: rezultatul este mai productiv, cu atât procesarea informațiilor este mai rapidă.

1. Problema nestructurarii vine din separarea surselor, formatul și calitatea acestora. Agregarea și prelucrarea cu succes a datelor mari necesită atât muncă de pregătire, cât și instrumente sau sisteme analitice.
2. O mare influență are și limita „valorii” datelor. Este destul de dificil să se determine valoarea și, pe această bază, este problematic să se calculeze ce investiții financiare vor fi necesare și ce tehnologii vor fi necesare. Cu toate acestea, pentru anumite cantități, de exemplu, terabytes, astăzi se aplică cu succes noi metode de procesare, care sunt în mod constant îmbunătățite.
3. Lipsa principiilor general acceptate pentru lucrul cu big data este o altă problemă care este complicată de eterogenitatea fluxurilor menționată mai sus. Pentru a rezolva această problemă, sunt create noi metode de analiză a datelor mari. Pe baza declarațiilor reprezentanților universităților din New York, Washington și California, crearea unei discipline separate și chiar a științei big data nu este departe. Aceasta este ceea ce este Motivul principal faptul că companiile nu se grăbesc să introducă proiecte legate de big data. Un alt factor este costul ridicat.
4. Dificultățile determină și selecția datelor pentru analiză și algoritmul acțiunilor. Până în prezent, nu există nicio înțelegere a datelor care conțin informații valoroase și necesită analize de date mari și care pot fi ignorate. În această situație, încă un lucru devine clar - nu există destui profesioniști din industrie pe piață care să facă față unei analize aprofundate, să facă un raport despre soluția problemei și, în consecință, să aducă profit.
5. Există, de asemenea, o latură morală a întrebării: colectarea datelor fără știrea utilizatorului este diferită de o intruziune brută în intimitate? Este de remarcat faptul că colectarea datelor îmbunătățește calitatea vieții: de exemplu, colectarea continuă de date în sistemele Google și Yandex ajută companiile să își îmbunătățească serviciile în funcție de nevoile consumatorilor. Sistemele acestor servicii înregistrează fiecare clic al utilizatorului, locația acestuia și site-urile vizitate, toate mesajele și achizițiile - și toate acestea fac posibilă afișarea reclamelor pe baza comportamentului utilizatorului. Utilizatorul nu și-a dat consimțământul pentru colectarea datelor: o astfel de alegere nu a fost oferită. Acest lucru duce la următoarea problemă: cât de sigure sunt stocate informațiile? De exemplu, informațiile despre potențialii cumpărători, istoricul achizițiilor lor și tranzițiile către diverse site-uri pot ajuta la rezolvarea multor probleme de afaceri, dar dacă platforma folosită de cumpărători este sigură este o problemă foarte controversată. Mulți apelează la faptul că astăzi nicio stocare de date - nici măcar serverele de serviciu militar - nu este suficient de protejată de atacurile hackerilor.

• Secret comercial: protecție și sancțiuni pentru divulgare

Utilizarea treptată a datelor mari

Etapa 1. Implementarea tehnologica a companiei intr-un proiect strategic.

La sarcini specialisti tehnici include un studiu preliminar al conceptului de dezvoltare: o analiză a căilor de dezvoltare pentru zonele care au cel mai mult nevoie de el.

Pentru a determina compoziția și sarcinile, se poartă o conversație cu clienții, în urma căreia sunt analizate resursele necesare. În paralel, organizația decide să externalizeze complet toate sarcinile sau să creeze o echipă hibrid formată din specialiști din această organizație și din orice alte organizații.

Potrivit statisticilor, un număr mare de companii folosesc tocmai o astfel de schemă: prezența unei echipe de experți în interior, controlând calitatea muncii și formarea mișcării și în exterior, realizând un test direct al ipotezelor despre dezvoltarea oricărui direcţie.

Etapa 2. Căutați un inginer de date.

Şeful adună colegial personalul muncitorilor. El este, de asemenea, responsabil pentru dezvoltarea proiectului. Angajații HR joacă un rol direct în construirea unei echipe interne.

În primul rând, o astfel de echipă are nevoie de un analist de date, el este cercetător de date, care se va ocupa de sarcina de a forma ipoteze și de a analiza șirul de informații. Corelațiile pe care le-a subliniat vor fi folosite în viitor pentru a baza noi produse și servicii.

Este deosebit de important în stadiile incipiente sarcina departamentului HR. Angajații săi decid cine anume va face munca care vizează dezvoltarea proiectului, de unde să-l obțină și cum să-l motiveze. Un analist de date nu este ușor de găsit, așa că acesta este un „produs pe bucată”.

Fiecare companie serioasa trebuie sa aiba un specialist de acest profil, altfel focusul proiectului se pierde. Inginer analist în agregat: dezvoltator, analist și analist de afaceri. În plus, trebuie să aibă abilități de comunicare pentru a-și arăta rezultatele activităților sale și un depozit de cunoștințe și abilități pentru o explicație detaliată a gândurilor sale.

• 24 de gânduri care încep mari schimbări în viață

Caută exemple

1. La Moscova a fost organizată o companie de taxiuri „Big Data”. Pe traseu, pasagerii au răspuns sarcinilor din domeniul analizei profesionale. În cazul în care pasagerul a răspuns corect la majoritatea întrebărilor, compania i-a oferit un loc de muncă. Principalul dezavantaj al acestei tehnici de recrutare este reticența majorității de a participa la astfel de proiecte. Doar câteva persoane au fost de acord cu interviul.

2. Organizarea unui concurs special de business intelligence cu un fel de premiu. O mare bancă rusă a folosit această metodă. Drept urmare, peste 1000 de persoane au participat la competiția de hackathon. Celor care au obținut cel mai mare succes în competiție li s-a oferit un loc de muncă. Din păcate, majoritatea câștigătorilor nu și-au exprimat dorința de a primi un post, întrucât singura lor motivație a fost premiul. Dar totuși, câțiva oameni au fost de acord să lucreze în echipă.

3. Cauta in mediul specialistilor in date care inteleg business analytics si sunt capabili sa puna lucrurile in ordine construind algoritmul corect de actiuni. Abilitățile necesare ale unui analist de specialitate includ: programare, cunoștințe de Python, R, Statistica, Rapidminer și alte cunoștințe la fel de importante pentru un analist de afaceri.

Etapa 3. Crearea unei echipe de dezvoltare.

Este nevoie de o echipă coordonată. Când se ia în considerare analize avansate, cum ar fi dezvoltarea inovatoare a unei companii, un manager va trebui să creeze și să dezvolte inteligența de afaceri.

Inginer de cercetare se ocupa de construirea si testarea ipotezelor pentru dezvoltarea cu succes a vectorului ales.

Cap este necesar să se organizeze dezvoltarea zonei de afaceri alese, să creeze produse noi și să le coordoneze cu clienții. În plus, îndatoririle sale includ calculul cazurilor de afaceri.

Un manager de dezvoltare trebuie să lucreze îndeaproape cu toată lumea. Inginerul analist și managerul de dezvoltare a afacerii află nevoile și oportunitățile de analiză a datelor mari prin întâlniri cu angajații responsabili de diverse domenii ale proiectului. După ce analizează situația, managerul creează cazuri, datorită cărora compania va lua decizii cu privire la dezvoltarea ulterioară a unei direcții, serviciu sau produs.

• Manager de dezvoltare: cerințe și fișă post

3 principii de lucru cu bIGdla un

Putem distinge principalele metode de lucru cu big data:

1. Scalabilitate orizontală. Datorită faptului că trebuie să existe o cantitate imensă de date, orice sistem care prelucrează o cantitate mare de informații va fi extensibil. De exemplu, dacă cantitatea de date a crescut de mai multe ori, cantitatea de hardware din cluster a crescut cu aceeași cantitate.
2. Toleranță la erori. Pe baza principiului scalabilității orizontale, putem concluziona că există un număr mare de mașini în cluster. De exemplu, cluster-ul Hadoop al Yahoo are peste 42.000. Toate metodele de lucru cu big data trebuie să țină cont de posibilele eșecuri și să caute modalități de a face față problemelor fără consecințe.
3. Localitatea datelor. Datele stocate în sisteme mari distribuite într-un număr destul de mare de mașini. Prin urmare, într-o situație în care datele sunt stocate pe serverul nr. 1 și procesate pe serverul nr. 2, nu poate fi exclusă posibilitatea ca transmiterea lor să coste mai mult decât procesarea. De aceea, la proiectare, se acordă o mare atenție asigurării că datele sunt stocate și procesate pe un singur computer.

Toate metodele de lucru cu big data, într-un fel sau altul, respectă aceste trei principii.

Cum se utilizează sistemul de date mari

Soluțiile puternice de date mari pentru o gamă largă de afaceri sunt activate de numeroasele combinații de software și hardware disponibile în prezent.

Demnitate importantămaredate- capacitatea de a aplica instrumente noi cu cele care sunt deja utilizate în acest domeniu. Acest lucru joacă un rol deosebit de important în situația proiectelor interdisciplinare. Exemplele includ vânzări pe mai multe canale și asistență pentru consumatori.

Pentru a lucra cu date mari, este importantă o anumită secvență:

• datele sunt colectate mai întâi;
• atunci informaţia este structurată. În acest scop, se folosesc tablouri de bord ( Tablouri de bord - instrumente de structurare;
• în etapa următoare se creează perspective și contexte, pe baza cărora se formează recomandări pentru luarea deciziilor. Datorită costurilor ridicate ale colectării datelor, sarcina principală este de a determina scopul utilizării informațiilor obținute.

Exemplu. Agențiile de publicitate pot folosi informații de locație agregate de telecomunicații. Această abordare va oferi publicitate direcționată. Aceleași informații sunt aplicabile și în alte domenii legate de furnizarea și vânzarea de servicii și bunuri.

Informațiile obținute în acest fel pot fi esențiale pentru a decide dacă să deschideți un magazin într-o anumită zonă.

Dacă luăm în considerare cazul utilizării panourilor publicitare în aer liber în Londra, nu există nicio îndoială că astăzi o astfel de experiență este posibilă doar dacă lângă fiecare panou publicitar este amplasat un dispozitiv special de măsurare. În același timp, operatorii de telefonie mobilă cunosc întotdeauna informațiile de bază despre abonații lor: locația acestora, starea civilă și așa mai departe.

Un alt domeniu potențial de aplicare a datelor mari este colectarea de informații cu privire la numărul de vizitatori la diverse evenimente.

Exemplu. Organizatorii meciurilor de fotbal nu sunt în măsură să știe în avans numărul exact de persoane care au venit la meci. Cu toate acestea, ar fi primit astfel de informații dacă ar fi folosit informațiile de la operatori comunicatii mobile: unde sunt potențialii vizitatori pentru o anumită perioadă de timp - o lună, o săptămână, o zi - înainte de meci. Rezultă că organizatorii ar avea posibilitatea să planifice locația evenimentului, în funcție de preferințele publicului țintă.

Big data oferă, de asemenea, avantaje incomparabile pentru sectorul bancar, care poate folosi datele prelucrate pentru a identifica deținătorii de carduri fără scrupule.

Exemplu. Atunci când un deținător de card susține că cardul a fost pierdut sau furat, banca are capacitatea de a urmări locația cardului utilizat pentru decontare și telefonul mobil al titularului pentru a verifica veridicitatea informațiilor. Astfel, reprezentantul băncii are posibilitatea de a vedea că cardul de plată și telefonul mobil al titularului se află în aceeași zonă. Deci - cardul este folosit de proprietar.

Cu beneficiile de acest gen, utilizarea informațiilor oferă companiilor multe oportunități noi, iar piața big data continuă să evolueze.

Principala dificultate în implementarea datelor mari este complexitatea calculării cazului. Acest proces este complicat de prezența unui număr mare de necunoscute.

Este destul de dificil să faci previziuni pentru viitor, în timp ce datele despre trecut nu sunt întotdeauna în zona de acces. În această situație, cel mai important planificarea acțiunilor tale inițiale:

1. Definirea unei probleme specifice, în soluția căreia va fi aplicată tehnologia de procesare a datelor mari, va ajuta la determinarea conceptului și la setarea vectorului acțiune ulterioară. După ce ne-am concentrat pe colectarea de informații despre această problemă specială, merită, de asemenea, să folosiți toate instrumentele și metodele disponibile pentru a obține o imagine mai clară. Mai mult, această abordare va facilita foarte mult procesul de luare a deciziilor în viitor.
2. Probabilitatea ca un proiect de date mari să fie implementat de o echipă fără anumite abilități și experiență este extrem de mică. Cunoștințele care trebuie utilizate într-un studiu atât de complex sunt dobândite de obicei printr-o muncă îndelungată, motiv pentru care experiența anterioară este atât de importantă în acest domeniu. Este dificil de supraestimat impactul culturii de utilizare a informațiilor obținute prin astfel de cercetări. Ele oferă diverse oportunități, inclusiv abuzul de materiale primite. Pentru a folosi informațiile pentru bine, ar trebui să respectați reguli elementare prelucrarea corectă a datelor.
3. Perspectivele sunt valoarea de bază a tehnologiei. Piața se confruntă încă cu o lipsă acută de profesioniști puternici - cei care înțeleg legile de a face afaceri, importanța informațiilor și domeniul de aplicare a acesteia. Nu se poate ignora faptul că analiza datelor este calea cheie atingerea obiectivelor și dezvoltarea afacerii, este necesar să ne străduim să dezvoltăm un model specific de comportament și percepție. În acest caz, big data va beneficia și va juca rol pozitivîn tratarea problemelor de afaceri.

Cazuri de succes de implementare a datelor mari

Unele dintre cazurile enumerate mai jos au avut mai mult succes în colectarea datelor, altele au fost mai bune în analiza datelor mari și modalități de aplicare a datelor obținute în timpul studiului.

1. « Sistemele de credit Tinkoff» a folosit platforma EMC2 Greenplum pentru calcul masiv paralel. Datorită creșterii continue a fluxului de utilizatori de carduri în bancă, a devenit necesară accelerarea procesării datelor. S-a decis să se utilizeze big data și să se lucreze cu informații nestructurate, precum și cu informații corporative care au fost obținute din surse disparate. Faptul că un strat analitic al depozitului federal de date este implementat pe site-ul Serviciului Federal de Taxe din Rusia nu a scăpat de atenția specialiștilor acestora. Ulterior, pe baza acestuia, se preconizează organizarea unui spațiu care să ofere acces la datele sistemului fiscal pentru prelucrarea ulterioară și obținerea datelor statistice.
2. Separat, merită să luați în considerare un startup rus synquera, implicat în analiza online a datelor mari și a dezvoltat platforma Simplate. Concluzia este că sunt procesate o cantitate mare de date, sunt analizate date despre consumatori, cumpărăturile acestora, vârsta, starea de spirit și starea de spirit. O rețea de magazine de cosmetice a instalat senzori la casă care pot recunoaște emoțiile cumpărătorului. După determinarea stării de spirit, se analizează informații despre cumpărător, momentul achiziției. După aceea, cumpărătorul primește intenționat informații despre reduceri și promoții. Această decizie a crescut loialitatea consumatorilor și a putut crește veniturile vânzătorului.
3. Separat, merită să vorbim despre un caz privind utilizarea tehnologiilor de date mari într-o companie Dunkin' Donuts, care, prin analogie cu exemplul anterior, a folosit analiza online pentru a crește profiturile. Așadar, în punctele de vânzare cu amănuntul, afișajele afișau oferte speciale, al căror conținut se schimba în fiecare minut. Baza pentru substituții în text a fost atât ora din zi, cât și produsul din stoc. Din încasările de numerar, compania a primit informații despre ce articole erau cele mai solicitate. Această metodă a permis creșterea veniturilor și a cifrei de afaceri a stocurilor din depozit.

Astfel, prelucrarea datelor mari are un efect pozitiv asupra rezolvării problemelor de afaceri. Un factor important este, desigur, alegerea strategiei și utilizarea celor mai recente evoluții în domeniul big data.

Informații despre companie

Archos. Domeniul de activitate: producerea si comercializarea echipamentelor electronice. Teritoriu: birourile de vânzări sunt deschise în nouă țări (Spania, China, Rusia, SUA, Franța etc.). Numărul de angajați ai filialei: 5 (în reprezentanța Rusiei).

Ce Date mare(literalmente - Date mare)? Să ne uităm mai întâi la dicționarul Oxford:

Date- cantități, caractere sau simboluri operate de un calculator și care pot fi stocate și transmise sub formă de semnale electrice, înregistrate pe suporturi magnetice, optice sau mecanice.

Termen Date mare folosit pentru a descrie un set de date mare și în creștere exponențială. Pentru a procesa această cantitate de date, nu se poate face fără .

Beneficiile oferite de Big Data:

1. Colectarea datelor din diverse surse.
2. Îmbunătățiți procesele de afaceri prin analize în timp real.
3. Stocarea unei cantități uriașe de date.
4. Perspective. Big Data este mai perspicace pentru informații ascunse folosind date structurate și semistructurate.
5. Big Data ajută la reducerea riscurilor și la luarea unor decizii mai inteligente cu analiza de risc adecvată

Exemple de Big Data

Bursa de Valori din New York zilnic generează 1 terabyte datele de tranzacționare pentru sesiunea anterioară.

Rețelele de socializare: statisticile arată că bazele de date Facebook sunt încărcate zilnic 500 terabytes date noi sunt generate în principal din cauza încărcării fotografiilor și videoclipurilor pe serverele rețelelor sociale, a mesajelor, a comentariilor sub postări și așa mai departe.

Motor turboreactor generează 10 terabytes date la fiecare 30 de minute în timpul zborului. Deoarece mii de zboruri sunt efectuate în fiecare zi, volumul de date ajunge la petabytes.

Clasificarea Big Data

Formulare de date mari:

• Structurat
• Nestructurat
• semi-structurat

Forma structurata

Datele care pot fi stocate, accesate și procesate într-un format fix se numesc date structurate. De-a lungul timpului, informatica a făcut progrese mari în îmbunătățirea tehnicilor de lucru cu acest tip de date (unde formatul este cunoscut dinainte) și a învățat să culeagă beneficiile. Cu toate acestea, deja astăzi există probleme asociate cu creșterea volumelor la dimensiuni măsurate în intervalul mai multor zettabytes.

1 zettabyte este egal cu un miliard de terabytes

Privind aceste cifre, este ușor să te convingi de veridicitatea termenului Big Data și de dificultățile asociate procesării și stocării unor astfel de date.

Datele stocate într-o bază de date relațională sunt structurate și arată ca, de exemplu, tabele ale angajaților companiei

formă nestructurată

Datele cu structură necunoscută sunt clasificate ca nestructurate. Pe lângă dimensiunea sa mare, această formă se caracterizează printr-o serie de dificultăți în procesarea și extragerea informațiilor utile. Un exemplu tipic de date nestructurate este o sursă eterogenă care conține o combinație de fișiere text simple, imagini și videoclipuri. Organizațiile de astăzi au acces la o cantitate mare de date brute sau nestructurate, dar nu știu cum să le folosească.

formă semistructurată

Această categorie conține ambele elemente de mai sus, astfel încât datele semi-structurate au o anumită formă, dar nu sunt definite cu adevărat de tabelele din bazele de date relaționale. Un exemplu al acestei categorii sunt datele personale prezentate într-un fișier XML.

Prashant RaoMasculin35 Seema R.Femeie41 coama satioasaMasculin29 Subrato RoyMasculin26 Ieremia J.Masculin35

Caracteristicile Big Data

Creșterea Big Data în timp:

Culoarea albastră reprezintă datele structurate (date Enterprise), care sunt stocate în baze de date relaționale. În alte culori - date nestructurate din diferite surse (telefonie IP, dispozitive și senzori, rețele sociale și aplicații web).

Potrivit Gartner, Big Data variază în ceea ce privește dimensiunea, rata de generare, varietatea și volatilitatea. Să luăm în considerare aceste caracteristici mai detaliat.

1. Volum. În sine, termenul Big Data este asociat cu dimensiunea mare. Mărimea datelor este cel mai important indicator în determinarea posibilei valori recuperabile. În fiecare zi, 6 milioane de oameni folosesc media digitală, care generează aproximativ 2,5 chintilioane de octeți de date. Prin urmare, volumul este prima caracteristică de luat în considerare.
2. Diversitate este următorul aspect. El se referă la surse eterogene și la natura datelor, care pot fi fie structurate, fie nestructurate. Anterior, foile de calcul și bazele de date erau singurele surse de informații luate în considerare în majoritatea aplicațiilor. Astăzi, datele sub formă de e-mailuri, fotografii, videoclipuri, fișiere PDF, audio sunt, de asemenea, luate în considerare în aplicațiile analitice. Această varietate de date nestructurate duce la probleme în stocare, extragere și analiză: 27% dintre companii nu sunt sigure că lucrează cu datele potrivite.
3. Rata de generare. Cât de repede sunt acumulate și procesate datele pentru a îndeplini cerințele determină potențialul. Viteza determină viteza fluxului de informații din surse - procese de afaceri, jurnalele de aplicații, rețele sociale și site-uri media, senzori, dispozitive mobile. Fluxul de date este imens și continuu în timp.
4. Variabilitate descrie variabilitatea datelor în anumite momente în timp, ceea ce complică procesarea și gestionarea. De exemplu, majoritatea datelor sunt de natură nestructurată.

Analiza Big Data: la ce folosesc datele mari

Promovarea bunurilor si serviciilor: Accesul la date din motoarele de căutare și site-uri precum Facebook și Twitter permite companiilor să dezvolte strategii de marketing mai precis.

Îmbunătățirea serviciului pentru clienți: Sistemele tradiționale de feedback ale clienților sunt înlocuite cu altele noi care utilizează Big Data și procesarea limbajului natural pentru a citi și evalua feedback-ul clienților.

Calculul riscului asociate cu lansarea unui nou produs sau serviciu.

Eficienta operationala: Big Data este structurată pentru a extrage mai rapid informațiile potrivite și pentru a produce rapid rezultate precise. Această combinație de tehnologii Big Data și stocare ajută organizațiile să optimizeze munca cu informații rar utilizate.

Conform cercetărilor și tendințelor

Big Data, „Big Data” a devenit de câțiva ani vorbirea orașului în presa IT și de marketing. Si e clar: tehnologii digitale viaţă pătrunsă omul modern, „totul este scris”. Volumul de date despre diverse aspecte ale vieții este în creștere și, în același timp, crește posibilitățile de stocare a informațiilor.

Tehnologii globale pentru stocarea informațiilor

Sursa: Hilbert și Lopez, „Capacitatea tehnologică a lumii de a stoca, comunica și calcula informații”, Science, 2011 Global.

Majoritatea experților sunt de acord că accelerarea creșterii datelor este o realitate obiectivă. Retele sociale, dispozitive mobile, date de la dispozitive de măsurare, informații despre afaceri - acestea sunt doar câteva tipuri de surse care pot genera cantități uriașe de informații. Conform cercetărilor IDCUniversul digital, publicat în 2012, în următorii 8 ani cantitatea de date din lume va ajunge la 40 Zb (zettabytes), ceea ce echivalează cu 5200 GB pe locuitor al planetei.

Creșterea informațiilor digitale colectate în SUA

Sursa: IDC

O parte semnificativă a informației este creată nu de oameni, ci de roboți care interacționează atât între ei, cât și cu alte rețele de date, cum ar fi, de exemplu, senzori și dispozitive inteligente. La acest ritm de creștere, cantitatea de date din lume, potrivit cercetătorilor, se va dubla în fiecare an. Numărul de virtuale și servere fiziceîn lume va crește de zece ori datorită extinderii și creării de noi centre de date. În acest sens, există o nevoie din ce în ce mai mare de utilizare eficientă și monetizare a acestor date. Deoarece utilizarea Big Data în afaceri necesită investiții considerabile, este necesar să înțelegem clar situația. Și este, în esență, simplu: poți crește eficiența afacerii prin reducerea costurilor și/sau creșterea vânzărilor.

Pentru ce sunt Big Data?

Paradigma Big Data definește trei tipuri principale de sarcini.

• Stocarea și gestionarea sutelor de terabytes sau petabytes de date pe care bazele de date relaționale convenționale nu le pot folosi eficient.
• Organizarea informațiilor nestructurate constând în texte, imagini, videoclipuri și alte tipuri de date.
• Analiza Big Data, care ridică întrebarea cum să lucrăm cu informații nestructurate, generarea de rapoarte analitice și implementarea modelelor predictive.

Piața proiectelor Big Data se intersectează cu piața de business intelligence (BA), al cărei volum în lume, conform experților, s-a ridicat în 2012 la circa 100 de miliarde de dolari. Include componente ale tehnologiei de rețea, servere, software și servicii tehnice.

De asemenea, utilizarea tehnologiilor Big Data este relevantă pentru soluțiile de clasă de asigurare a veniturilor (RA) menite să automatizeze activitățile companiilor. Sistemele moderne de garantare a veniturilor includ instrumente de detectare a inconsecvențelor și analiză aprofundată a datelor care permit detectarea în timp util a posibilelor pierderi sau distorsiuni ale informațiilor care pot duce la rezultate financiare mai scăzute. În acest context, companiile rusești confirmă cererea de tehnologii Big Data pentru piata interna, rețineți că factorii care stimulează Dezvoltare mare Datele din Rusia sunt creșterea datelor, accelerarea procesului de luare a deciziilor manageriale și îmbunătățirea calității acestora.

Ce împiedică lucrul cu Big Data

Astăzi, doar 0,5% din datele digitale acumulate sunt analizate, în ciuda faptului că în mod obiectiv există sarcini la nivel de industrie care ar putea fi rezolvate folosind soluții analitice din clasa Big Data. Piețele IT dezvoltate au deja rezultate care pot fi folosite pentru a evalua așteptările asociate cu acumularea și prelucrarea datelor mari.

Unul dintre principalii factori care încetinește implementarea proiectelor Big Data, pe lângă costul ridicat, este problema alegerii datelor de prelucrat: adică definirea a ce date trebuie extrase, stocate și analizate și care nu trebuie luate în considerare.

Mulți reprezentanți ai afacerilor notează că dificultățile în implementarea proiectelor Big Data sunt asociate cu o lipsă de specialiști - marketeri și analiști. Rata de rentabilitate a investiției în Big Data depinde direct de calitatea muncii angajaților implicați în analize profunde și predictive. Potențialul uriaș al datelor care există deja într-o organizație de multe ori nu poate fi utilizat în mod eficient de către agenții de marketing înșiși din cauza proceselor de afaceri învechite sau a reglementărilor interne. Prin urmare, proiectele Big Data sunt adesea percepute de companii ca fiind dificile nu numai în implementare, ci și în evaluarea rezultatelor: valoarea datelor colectate. Specificul lucrului cu date impune specialiștilor de marketing și analiștilor să-și schimbe atenția de la tehnologie și raportare la rezolvarea unor probleme specifice de afaceri.

Datorită volumului mare și de mare viteză fluxul de date, procesul de colectare a acestora implică proceduri ETL în timp real. Pentru trimitere:ETL - de laEnglezăExtrage, Transforma, sarcină- literal "extracție, transformare, încărcare") - unul dintre procesele principale în management depozite de date, care include: extragerea datelor din surse externe, transformarea acestora și curatenie pentru a satisface nevoile ETL ar trebui privit nu numai ca un proces de transfer de date de la o aplicație la alta, ci și ca un instrument de pregătire a datelor pentru analiză.

Și atunci problemele de asigurare a securității datelor care provin din surse externe ar trebui să aibă soluții care să corespundă volumului de informații cules. Întrucât metodele de analiză Big Data se dezvoltă până acum doar după creșterea volumului de date, capacitatea platformelor analitice de a utiliza noi metode de pregătire și agregare a datelor joacă un rol important. Acest lucru sugerează că, de exemplu, datele despre potențialii cumpărători sau un depozit de date masiv cu un istoric de clicuri pe site-urile magazinelor online pot fi interesante pentru rezolvarea diferitelor probleme.

Dificultățile nu se opresc

În ciuda tuturor dificultăților cu implementarea Big Data, afacerea intenționează să crească investițiile în acest domeniu. Potrivit datelor Gartner, în 2013, 64% dintre cele mai mari companii din lume au investit deja sau au planuri să investească în implementarea tehnologiilor Big Data pentru afacerile lor, în timp ce în 2012 existau 58% dintre astfel de companii. Potrivit unui studiu Gartner, liderii industriilor care investesc în Big Data sunt companiile media, telecomunicațiile, sectorul bancar și companiile de servicii. Rezultate de succes ale implementării Big Data au fost deja obținute de mulți jucători importanți din industria de retail în ceea ce privește utilizarea datelor obținute cu ajutorul instrumentelor RFID, a sistemelor de logistică și de relocare (din engleză. reaprovizionare- acumulare, completare - R&T), precum și din programe de fidelitate. Experiența de succes în retail stimulează alte sectoare de piață să găsească noi modalități eficiente de a monetiza datele mari pentru a le transforma analiza într-o resursă care funcționează pentru dezvoltarea afacerii. Datorită acestui fapt, potrivit experților, în perioada de până în 2020, investițiile în management și stocare vor scădea pentru fiecare gigabyte de date de la 2 USD la 0,2 USD, dar pentru studiul și analiza proprietăților tehnologice ale Big Data vor crește cu doar 40 USD. %.

Costurile prezentate în diverse proiecte de investiții în domeniul Big Data sunt de altă natură. Elementele de cost depind de tipurile de produse care sunt selectate pe baza anumitor decizii. Cea mai mare parte costurile în proiecte de investiții, potrivit experților, revin produselor legate de colectarea, structurarea datelor, curățarea și gestionarea informațiilor.

Cum se face

Există multe combinații de software și hardware care vă permit să creați soluții eficiente de Big Data pentru diverse discipline de afaceri: de la social media și aplicatii mobile, la minarea și vizualizarea datelor de afaceri. Un avantaj important al Big Data este compatibilitatea noilor instrumente cu bazele de date utilizate pe scară largă în afaceri, ceea ce este deosebit de important atunci când lucrați cu proiecte interdisciplinare, cum ar fi organizarea de vânzări pe mai multe canale și asistența clienților.

Secvența de lucru cu Big Data constă în colectarea datelor, structurarea informațiilor primite folosind rapoarte și tablouri de bord (tablouri de bord), crearea de perspective și contexte și formularea de recomandări de acțiune. Întrucât lucrul cu Big Data implică costuri mari pentru colectarea datelor, al căror rezultat al prelucrării nu este cunoscut în prealabil, sarcina principală este de a înțelege clar pentru ce sunt datele și nu cât de mult sunt disponibile. În acest caz, colectarea datelor se transformă într-un proces de obținere a informațiilor extrem de necesar pentru rezolvarea unor probleme specifice.

De exemplu, furnizorii de telecomunicații agregează o cantitate imensă de date, inclusiv geolocalizarea, care este actualizată în mod constant. Aceste informații pot fi de interes comercial pentru agențiile de publicitate, care le pot folosi pentru a difuza publicitate direcționată și localizată, precum și pentru comercianții cu amănuntul și băncile. Astfel de date pot juca un rol important în a decide dacă se deschide un punct de vânzare cu amănuntul în locație specifică pe baza datelor privind prezența unui flux puternic de persoane vizate. Există un exemplu de măsurare a eficienței reclamei pe panouri publicitare în aer liber în Londra. Acum, acoperirea unei astfel de reclame poate fi măsurată doar prin plasarea oamenilor în apropierea structurilor publicitare cu un dispozitiv special care numără trecătorii. În comparație cu acest tip de măsurare a eficienței publicității, operator mobil mult mai multe oportunități – știe exact locația abonaților săi, cunoaște caracteristicile demografice ale acestora, sexul, vârsta, starea civilă etc.

Pe baza unor astfel de date, în viitor, perspectiva schimbării conținutului mesaj publicitar, folosind preferințele unei anumite persoane care trece pe lângă panoul publicitar. Dacă datele arată că persoana care trece pe aici călătorește mult, atunci i se poate afișa un anunț pentru stațiune. Organizatorii unui meci de fotbal nu pot decât să estimeze numărul de suporteri atunci când vin la meci. Dar dacă ar putea să ceară operatorului de telefonie mobilă informații despre locul în care se aflau vizitatorii cu o oră, o zi sau o lună înainte de meci, atunci acest lucru ar oferi organizatorilor posibilitatea de a planifica locuri pentru promovarea meciurilor următoare.

Un alt exemplu este modul în care băncile pot folosi Big Data pentru a preveni frauda. În cazul în care clientul raportează pierderea cardului, iar la efectuarea unei achiziții folosindu-l, banca vede în timp real locația telefonului clientului în zona de cumpărare în care are loc tranzacția, banca poate verifica informațiile din aplicația clientului. , fie că a încercat să-l înșele. Sau invers, atunci când un client face o achiziție într-un magazin, banca vede că cardul pe care are loc tranzacția și telefonul clientului sunt în același loc, banca poate concluziona că proprietarul acesteia folosește cardul. Datorită acestor avantaje ale Big Data, granițele cu care sunt înzestrate depozitele tradiționale de date se extind.

Pentru o decizie de succes de implementare a soluțiilor Big Data, o companie trebuie să calculeze un caz de investiție, iar acest lucru provoacă mari dificultăți din cauza multor componente necunoscute. Paradoxul analizei în astfel de cazuri este de a prezice viitorul pe baza trecutului, informații despre care adesea lipsesc. În acest caz, un factor important este planificarea clară a acțiunilor tale inițiale:

• În primul rând, este necesar să se determine o problemă specifică de business, pentru care vor fi utilizate tehnologiile Big Data, această sarcină va deveni nucleul determinării corectitudinii conceptului ales. Trebuie să vă concentrați pe colectarea de date legate de această sarcină specială, iar în timpul probei conceptului veți putea folosi diverse instrumente, procese și metode de management care vă vor permite să luați decizii mai informate în viitor.
• În al doilea rând, este puțin probabil ca o companie fără abilitățile și experiența de analiză a datelor să poată implementa cu succes un proiect Big Data. Cunoștințe necesare provin întotdeauna din experiența anterioară în analiză, care este un factor major care influențează calitatea muncii cu date. Un rol important îl joacă cultura utilizării datelor, deoarece de multe ori analiza informațiilor dezvăluie adevărul dur despre afacere, iar pentru a accepta acest adevăr și a lucra cu el, sunt necesare metode dezvoltate de lucru cu date.
• În al treilea rând, valoarea tehnologiilor Big Data constă în furnizarea de perspective.Analiștii buni rămân insuficienti pe piață. Aceștia sunt numiți specialiști care au o înțelegere profundă a semnificației comerciale a datelor și știu să le aplice corect. Analiza datelor este un mijloc de a atinge obiectivele de afaceri, iar pentru a înțelege valoarea Big Data, aveți nevoie de un model de comportament adecvat și de o înțelegere a acțiunilor dvs. În acest caz, big data va oferi o mulțime de informații utile despre consumatori, pe baza cărora puteți lua decizii utile de afaceri.

În ciuda faptului că piața rusă de Big Data abia începe să prindă contur, unele proiecte în acest domeniu sunt deja implementate cu destul de mult succes. Unele dintre ele au succes în domeniul colectării datelor, cum ar fi proiecte pentru Serviciul Federal de Taxe și Sistemele de Credit Tinkoff, altele în ceea ce privește analiza datelor și aplicație practică rezultatele sale: acesta este un proiect Synqera.

Tinkoff Credit Systems Bank a implementat un proiect de implementare a platformei EMC2 Greenplum, care este un instrument de calcul masiv paralel. În ultimii ani, banca și-a crescut cerințele pentru viteza de procesare a informațiilor acumulate și analiza datelor în timp real, cauzate de rata mare de creștere a numărului de utilizatori de carduri de credit. Banca a anunțat planuri de extindere a utilizării tehnologiilor Big Data, în special pentru prelucrarea datelor nestructurate și lucrul cu acestea informație corporativă obtinute din diverse surse.

Serviciul Federal de Taxe din Rusia creează în prezent un strat analitic al depozitului federal de date. Pe baza ei, un unit spațiu informaționalși tehnologia de acces la datele fiscale pentru prelucrarea statistică și analitică. Pe parcursul implementării proiectului, se lucrează la centralizarea informațiilor analitice cu peste 1200 de surse la nivel local ale Serviciului Fiscal Federal.

Un alt exemplu interesant de analiză a datelor mari în timp real este startup-ul rus Synqera, care a dezvoltat platforma Simplate. Soluția se bazează pe procesarea unor matrice mari de date, programul analizează informații despre clienți, istoricul achizițiilor acestora, vârsta, sexul și chiar starea de spirit. La casele de marcat din rețeaua magazinelor de cosmetice au fost instalate ecrane tactile cu senzori care recunosc emoțiile clienților. Programul determină starea de spirit a unei persoane, analizează informații despre ea, determină ora din zi și scanează baza de date cu reduceri a magazinului, după care trimite cumpărătorului mesaje direcționate despre promoții și oferte speciale. Această soluție îmbunătățește loialitatea clienților și crește vânzările retailerului.

Dacă vorbim de cazuri străine de succes, atunci în acest sens este interesantă experiența utilizării tehnologiilor Big Data la Dunkin` Donuts, care utilizează date în timp real pentru a vinde produse. Afișajele digitale din magazine afișează oferte care se modifică în fiecare minut, în funcție de ora din zi și de disponibilitatea produsului. Conform încasărilor de numerar, compania primește date despre ofertele care au primit cel mai mare răspuns de la cumpărători. Această abordare de prelucrare a datelor a permis creșterea profiturilor și a cifrei de afaceri a mărfurilor din depozit.

După cum arată experiența implementării proiectelor Big Data, această zonă este concepută pentru a rezolva cu succes problemele de afaceri moderne. În același timp, un factor important în atingerea obiectivelor comerciale atunci când lucrați cu date mari este alegerea strategia corectă, care include analize care identifică interogările consumatorilor, precum și utilizarea tehnologii inovatoareîn domeniul Big Data.

Potrivit unui sondaj global realizat anual de Econsultancy și Adobe din 2012 în rândul marketerilor companiilor, „big data”, care caracterizează acțiunile oamenilor pe internet, pot face multe. Ei sunt capabili să optimizeze procesele de afaceri offline, să ajute să înțeleagă modul în care proprietarii de dispozitive mobile le folosesc pentru a căuta informații sau pur și simplu „să îmbunătățească marketingul”, de exemplu. mai eficient. Mai mult, ultima funcție devine din ce în ce mai populară de la an la an, după cum reiese din diagrama noastră.

Principalele domenii de activitate ale agenților de marketing pe internet în ceea ce privește relațiile cu clienții

Sursă: Econsultancy și Adobe, publicateemarketer.com

Rețineți că naționalitatea respondenților nu contează prea mult. Potrivit unui sondaj realizat de KPMG în 2013, proporția „optimiștilor”, i.e. dintre cei care folosesc Big Data atunci când elaborează o strategie de afaceri este de 56%, iar fluctuațiile de la o regiune la alta sunt mici: de la 63% în țările nord-americane la 50% în EMEA.

Utilizarea Big Data în diferite regiuni ale lumii

Sursă: KPMG, publicatemarketer.com

Între timp, atitudinea agenților de marketing față de astfel de „tendințe de modă” amintește oarecum de o anecdotă binecunoscută:

Spune-mi, Vano, îți plac roșiile?
- Îmi place să mănânc, dar nu.

În ciuda faptului că marketerii spun că „adoră” Big Data și chiar par să le folosească, de fapt, „totul este complicat”, în timp ce scriu despre atașamentele lor sincere în rețelele sociale.

Potrivit unui sondaj realizat de Circle Research în ianuarie 2014 în rândul marketerilor europeni, 4 din 5 respondenți nu folosesc Big Data (în ciuda faptului că, desigur, le „adoră”). Motivele sunt diferite. Sunt puțini sceptici inveterati - 17% și exact același număr ca și antipozii lor, adică. cei care răspund cu încredere „Da”. Restul ezită și se îndoiește, „mlaștina”. Ei se sustrage de la un răspuns direct sub scuze plauzibile precum „nu încă, dar în curând” sau „așteptăm să înceapă ceilalți”.

Utilizarea Big Data de către marketeri, Europa, ianuarie 2014

Sursă:dnx, publicat -emarketer.com

Ce îi încurcă? Pură prostii. Unii (exact jumătate dintre ei) pur și simplu nu cred aceste date. Alții (sunt și destul de mulți dintre ei - 55%) le este dificil să coreleze între ei seturile de „date” și „utilizatori”. Cineva doar (să spunem corect din punct de vedere politic) are o mizerie internă corporativă: datele merg fără proprietar între departamentele de marketing și structurile IT. Pentru alții, software-ul nu poate face față afluxului de muncă. Si asa mai departe. Întrucât cotele totale sunt mult peste 100%, este clar că situația „barierelor multiple” nu este neobișnuită.

Bariere care împiedică utilizarea Big Data în marketing

Sursă:dnx, publicat -emarketer.com

Astfel, trebuie să afirmăm că până acum „Big Data” reprezintă un mare potențial care mai trebuie folosit. Apropo, acesta poate fi și motivul pentru care Big Data își pierde aureola de „tendință de modă”, așa cum reiese din datele sondajului realizat de compania Econsultancy pe care am menționat-o deja.

Cele mai semnificative tendințe în marketing digital 2013-2014

Sursă: Consultanță și Adobe

Ele sunt înlocuite de un alt rege - marketingul de conținut. Cât timp?

Nu se poate spune că Big Data este un fenomen fundamental nou. Sursele de date mari există de ani de zile: baze de date cu achizițiile clienților, istoricul creditului, stilul de viață. Și de ani de zile, oamenii de știință au folosit aceste date pentru a ajuta companiile să evalueze riscurile și să prezică nevoile viitoare ale clienților. Cu toate acestea, astăzi situația s-a schimbat în două aspecte:

Au apărut instrumente și metode mai sofisticate pentru a analiza și combina diferite seturi de date;

Aceste instrumente analitice sunt completate de o avalanșă de noi surse de date conduse de digitalizarea practic a oricărei metode de colectare și măsurare a datelor.

Gamă informatii disponibile atât inspirator, cât și înfricoșător pentru cercetătorii care au crescut într-un mediu de cercetare structurat. Sentimentul consumatorilor este captat de site-uri web și de tot felul de rețele sociale. Faptul de a vizualiza reclame este înregistrat nu numai prin set-top box-uri, ci și cu ajutorul etichetelor digitale și dispozitive mobile comunicarea cu televizorul.

Datele comportamentale (cum ar fi numărul de apeluri, obiceiurile de cumpărături și achizițiile) sunt acum disponibile în timp real. Astfel, o mare parte din ceea ce putea fi învățat anterior prin cercetare poate fi acum învățat prin surse de date mari. Și toate aceste active informaționale sunt generate în mod constant, indiferent de orice proces de cercetare. Aceste schimbări ne fac să ne întrebăm dacă big data poate înlocui cercetarea clasică de piață.

Nu este vorba despre date, ci despre întrebări și răspunsuri

Înainte de a ordona un glas pentru cercetarea clasică, trebuie să ne reamintim că nu este prezența unui activ de date sau altul, ci altceva este decisiv. Ce anume? Capacitatea noastră de a răspunde la întrebări, asta este. Un lucru amuzant despre noua lume a datelor mari este că rezultatele din noile active de date conduc la și mai multe întrebări, iar aceste întrebări tind să primească cel mai bine răspunsul cercetării tradiționale. Astfel, pe măsură ce big data crește, observăm o creștere paralelă a disponibilității și cererii de „date mici” care pot oferi răspunsuri la întrebările din lumea datelor mari.

Să luăm în considerare o situație: un advertiser mare monitorizează în mod constant traficul din magazine și volumele de vânzări în timp real. Metodologiile de cercetare existente (în care întrebăm participanții la panourile de cercetare despre motivațiile și comportamentul lor de cumpărare la punctul de vânzare) ne ajută să țintim mai bine anumite segmente de clienți. Aceste metodologii pot fi extinse pentru a include o gamă mai largă de active de date mari, până la punctul în care datele mari devin un instrument de observare pasivă și cercetează o metodă de investigare continuă, concentrată în mod restrâns, a schimbărilor sau evenimentelor care trebuie studiate. Acesta este modul în care big data poate elibera cercetarea de rutina inutilă. Cercetarea primară nu ar trebui să se mai concentreze asupra a ceea ce se întâmplă (datele mari o vor face). În schimb, cercetarea primară se poate concentra pe explicarea de ce vedem anumite tendințe sau abateri de la tendințe. Cercetătorul se va putea gândi mai puțin la obținerea de date și mai mult despre cum să le analizeze și să le folosească.

În același timp, vedem că big data rezolvă una dintre cele mai mari probleme ale noastre, problema studiilor prea lungi. Examinarea studiilor în sine a arătat că instrumentele de cercetare excesiv de umflate au un impact negativ asupra calității datelor. Deși mulți experți au recunoscut existența acestei probleme de mult timp, ei au răspuns invariabil la aceasta cu fraza: „Dar am nevoie de această informație pentru senior management iar sondajele lungi au continuat.

În lumea datelor mari, unde indicatorii cantitativi pot fi obținuți prin observare pasivă, această problemă devine discutabilă. Din nou, să ne gândim înapoi la toate aceste cercetări de consum. Dacă big data ne oferă perspective despre consum prin observație pasivă, atunci cercetarea primară sub formă de anchete nu mai trebuie să colecteze acest tip de informații și, în sfârșit, putem susține viziunea noastră despre anchete scurte nu numai cu urări de bine, ci și cu ceva real.

Big Data are nevoie de ajutorul tău

În cele din urmă, „mare” este doar una dintre caracteristicile datelor mari. Caracteristica „mare” se referă la dimensiunea și scara datelor. Desigur, aceasta este caracteristica principală, deoarece volumul acestor date depășește domeniul de aplicare a tot ceea ce am lucrat înainte. Dar și alte caracteristici ale acestor noi fluxuri de date sunt, de asemenea, importante: sunt adesea prost formatate, nestructurate (sau, în cel mai bun caz, parțial structurate) și pline de incertitudine. Domeniul în curs de dezvoltare al managementului datelor, denumit în mod adecvat „analitica entității”, își propune să rezolve problema depășirii zgomotului în big data. Sarcina sa este de a analiza aceste seturi de date și de a afla câte observații sunt pentru aceeași persoană, care observații sunt actuale și care dintre ele sunt utilizabile.

Acest tip de curățare a datelor este necesar pentru a elimina zgomotul sau datele eronate atunci când lucrați cu active de date mari sau mici, dar nu este suficient. De asemenea, trebuie să creăm context în jurul activelor de date mari pe baza experienței noastre anterioare, a analizelor și a cunoștințelor despre categorii. De fapt, mulți analiști indică capacitatea de a gestiona incertitudinea inerentă big data ca o sursă de avantaj competitiv, deoarece permite o mai bună luare a deciziilor.

Și aici este locul în care cercetarea primară nu este doar eliberată de rutină datorită datelor mari, dar contribuie și la crearea de conținut și analiza în cadrul datelor mari.

Un prim exemplu în acest sens este aplicarea noului nostru cadru de capital de marcă pe rețelele sociale. (vorbim despre cel dezvoltat înMillward Maroo nouă abordare pentru măsurarea valorii mărciiThe Semnificativ Diferit Cadru- „Paradigma diferențelor semnificative” -R & T ). Acest model este testat în funcție de comportament în anumite piețe, implementat în mod standard și poate fi aplicat cu ușurință altor discipline de marketing și sistemelor informaționale de sprijinire a deciziilor. Cu alte cuvinte, modelul nostru de capital de marcă, bazat pe (deși nu exclusiv) cercetări prin sondaj, are toate proprietățile necesare pentru a depăși natura nestructurată, incoerentă și incertă a datelor mari.

Luați în considerare datele despre sentimentele consumatorilor furnizate de rețelele sociale. În forma sa brută, vârfurile și văile în sentimentul consumatorilor sunt foarte adesea corelate minim cu măsurile offline ale echității și comportamentului mărcii: pur și simplu există prea mult zgomot în date. Dar putem reduce acest zgomot prin aplicarea modelelor noastre de simț al consumatorului, diferențiere a mărcii, dinamică și caracteristici distinctive la datele brute despre sentimentele consumatorilor este o modalitate de procesare și agregare a datelor din rețelele sociale în aceste dimensiuni.

Odată ce datele sunt organizate conform modelului nostru cadru, tendințele identificate se potrivesc de obicei cu echitatea mărcii și cu măsurătorile de comportament obținute offline. De fapt, datele din rețelele sociale nu pot vorbi de la sine. Pentru a le folosi în acest scop este nevoie de experiența noastră și de modele construite în jurul mărcilor. Când rețelele sociale ne oferă informații unice exprimat în limbajul folosit de consumatori pentru a descrie mărcile, ar trebui să folosim acel limbaj atunci când creăm cercetarea noastră pentru a face cercetarea primară mult mai eficientă.

Beneficiile studiilor scutite

Acest lucru ne readuce la faptul că big data nu înlocuiește atât cercetarea, cât o eliberează. Cercetătorii vor fi scutiți de a fi nevoiți să creeze un nou studiu pentru fiecare caz nou. Activele în continuă creștere ale datelor mari pot fi utilizate pentru diferite subiecte de cercetare, permițând cercetării primare ulterioare să aprofundeze subiectul și să umple golurile. Cercetătorii vor fi eliberați de a fi nevoiți să se bazeze pe sondaje excesiv de umflate. În schimb, vor putea folosi sondaje scurte și se vor concentra pe cei mai importanți parametri, ceea ce îmbunătățește calitatea datelor.

Cu această versiune, cercetătorii vor putea să-și folosească principiile și cunoștințele stabilite pentru a adăuga precizie și semnificație activelor de date mari, ceea ce duce la noi domenii pentru cercetarea prin sondaj. Acest ciclu ar trebui să conducă la o înțelegere mai profundă a unei game de probleme strategice și, în cele din urmă, la o mișcare către ceea ce ar trebui să fie întotdeauna obiectivul nostru principal - de a informa și îmbunătăți calitatea deciziilor de brand și de comunicare.