Miflar va katta ma'lumotlar bilan ishlash holatlari haqida HSE o'qituvchilarining ustuni

Xatcho'plar uchun

HSE Yangi Media maktabi o‘qituvchilari Konstantin Romanov va “Bilayn”ning raqamli transformatsiyalar bo‘yicha direktori Aleksandr Pyatigorskiy sayt uchun katta ma’lumotlar haqidagi asosiy noto‘g‘ri tushunchalar – texnologiyalardan foydalanish va vositalar misollari haqida rukn yozishdi. Mualliflar nashr kompaniya rahbarlariga ushbu kontseptsiyani tushunishga yordam berishini taklif qilishmoqda.

Katta ma'lumotlar haqidagi afsonalar va noto'g'ri tushunchalar

Big Data marketing emas

Muddati katta ma'lumotlar juda modaga aylandi - u millionlab vaziyatlarda va yuzlab turli talqinlarda qo'llaniladi, ko'pincha nima bilan bog'liq emas. Ko'pincha odamlar ongida tushunchalar o'rnini bosadi va Big Data marketing mahsuloti bilan chalkashib ketadi. Bundan tashqari, ba'zi kompaniyalarda Big Data marketing bo'limining bir qismidir. Katta ma'lumotlarni tahlil qilish natijasi haqiqatan ham marketing faoliyati uchun manba bo'lishi mumkin, ammo boshqa hech narsa emas. Keling, bu qanday ishlashini ko'rib chiqaylik.

Agar biz ikki oy oldin do'konimizda uch ming rubldan ortiq qiymatga ega bo'lgan tovarlarni sotib olganlar ro'yxatini aniqlagan bo'lsak va keyin ushbu foydalanuvchilarga qandaydir taklif yuborgan bo'lsak, bu odatiy marketing. Biz tuzilmaviy ma'lumotlardan aniq namuna olamiz va undan savdoni oshirish uchun foydalanamiz.

Biroq, agar biz CRM ma'lumotlarini, masalan, Instagram'dagi oqim ma'lumotlari bilan birlashtirsak va uni tahlil qilsak, biz bir naqsh topamiz: chorshanba kuni kechqurun o'z faoliyatini kamaytirgan va oxirgi fotosuratida mushukchalar ko'rsatilgan odam ma'lum bir taklif bilan chiqishi kerak. Bu allaqachon Big Data bo'ladi. Biz tetikni topdik, sotuvchilarga berdik va ular undan o'z maqsadlari uchun foydalanishdi.

Bundan kelib chiqadiki, texnologiya odatda tuzilmagan ma'lumotlar bilan ishlaydi va agar ma'lumotlar tuzilgan bo'lsa, tizim hali ham ulardagi yashirin naqshlarni qidirishda davom etadi, bu esa marketing qilmaydi.

Big Data IT emas

Ushbu hikoyaning ikkinchi ekstremal tomoni: Big Data ko'pincha IT bilan aralashib ketadi. Buning sababi, Rossiya kompaniyalarida, qoida tariqasida, IT-mutaxassislari barcha texnologiyalar, jumladan, katta ma'lumotlarning haydovchilari hisoblanadi. Shuning uchun, agar hamma narsa ushbu bo'limda sodir bo'lsa, umuman kompaniya uchun bu qandaydir IT faoliyati kabi ko'rinadi.

Aslida, bu erda tub farq bor: Big Data - bu ma'lum bir mahsulotni olishga qaratilgan faoliyat bo'lib, u ITga umuman taalluqli emas, garchi ularsiz texnologiya mavjud bo'lmasa ham.

Katta ma'lumotlar har doim ham ma'lumot to'plash va tahlil qilish emas

Katta ma'lumotlar haqida yana bir noto'g'ri tushuncha mavjud. Ushbu texnologiya katta hajmdagi ma'lumotlar bilan bog'liqligini hamma tushunadi, ammo qanday ma'lumotlar nazarda tutilgani har doim ham aniq emas. Har bir inson ma'lumot to'plashi va foydalanishi mumkin, endi bu nafaqat haqidagi filmlarda, balki har qanday, hatto juda kichik kompaniyada ham mumkin. Bitta savol - aniq nimani to'plash va undan qanday qilib o'z foydangizga foydalanish.

Ammo shuni tushunish kerakki, Big Data texnologiyasi mutlaqo biron bir ma'lumotni to'plash va tahlil qilish bo'lmaydi. Misol uchun, agar siz ijtimoiy tarmoqlarda ma'lum bir shaxs haqida ma'lumot to'plasangiz, u Big Data bo'lmaydi.

Haqiqatan ham Big Data nima

Big Data uchta elementdan iborat:

• ma'lumotlar;
• tahlil;
• texnologiya.

Katta ma'lumotlar faqat ushbu komponentlardan biri emas, balki uchta elementning kombinatsiyasi. Ko'pincha odamlar tushunchalarni almashtiradilar: kimdir Big Data faqat ma'lumot deb o'ylaydi, kimdir texnologiya deb o'ylaydi. Ammo, aslida, siz qancha ma'lumot to'plashingizdan qat'i nazar, ularsiz hech narsa qila olmaysiz zarur texnologiyalar va analitika. Agar yaxshi tahlil bo'lsa, lekin ma'lumotlar bo'lmasa, bundan ham yomoni.

Agar biz ma'lumotlar haqida gapiradigan bo'lsak, unda bu nafaqat matnlar, balki Instagram-da joylashtirilgan barcha fotosuratlar va umuman tahlil qilish va turli maqsadlar va vazifalar uchun ishlatilishi mumkin bo'lgan barcha narsalar. Boshqacha qilib aytganda, ma'lumotlar turli tuzilmalarning katta hajmdagi ichki va tashqi ma'lumotlarini anglatadi.

Analitika ham kerak, chunki Big Dataning vazifasi ba'zi naqshlarni yaratishdir. Ya'ni, analitika - bu yashirin bog'liqliklarni aniqlash va turli xil ma'lumotlarning butun hajmini tahlil qilish asosida yangi savol va javoblarni izlash. Bundan tashqari, Big Data bevosita ushbu ma'lumotlardan kelib chiqmagan savollarni tug'diradi.

Tasvirlar haqida gap ketganda, siz ko'k futbolkada tushgan fotosuratingizni joylashtirganingiz hech narsa demaydi. Ammo agar siz Big Data modellashtirish uchun fotografiyadan foydalansangiz, hozir siz kredit taklif qilishingiz kerak bo'lishi mumkin, chunki sizning ijtimoiy guruh bunday xatti-harakatlar harakatlardagi ma'lum bir hodisa haqida gapiradi. Shuning uchun, analitiksiz, yashirin va aniq bo'lmagan bog'liqliklarni oshkor qilmasdan "yalang'och" ma'lumotlar Big Data emas.

Shunday qilib, bizda katta ma'lumotlar mavjud. Ularning massivi juda katta. Bizda ham tahlilchi bor. Ammo ma'lum bir yechim ushbu xom ma'lumotlardan tug'ilganiga qanday ishonch hosil qilishimiz mumkin? Buning uchun bizga nafaqat ularni saqlashga imkon beruvchi texnologiyalar kerak (va oldin bu imkonsiz edi), balki ularni tahlil qilish imkonini beradi.

Oddiy qilib aytganda, agar sizda juda ko'p ma'lumotlar bo'lsa, sizga Hadoop kabi texnologiyalar kerak bo'ladi, bu esa keyinchalik tahlil qilish uchun barcha ma'lumotlarni asl ko'rinishida saqlash imkonini beradi. Bunday texnologiyalar Internet gigantlarida paydo bo'lgan, chunki ular birinchi bo'lib katta hajmdagi ma'lumotlarni saqlash va keyinchalik monetizatsiya qilish uchun tahlil qilish muammosiga duch kelishgan.

Optimallashtirilgan va arzon ma'lumotlarni saqlash vositalariga qo'shimcha ravishda, tahliliy vositalar, shuningdek ishlatiladigan platformaga qo'shimchalar kerak. Masalan, Hadoop atrofida tegishli loyihalar va texnologiyalarning butun ekotizimi allaqachon shakllangan. Mana ulardan ba'zilari:

• Pig - bu deklarativ ma'lumotlarni tahlil qilish tili.
• Hive - SQL ga yaqin til yordamida ma'lumotlarni tahlil qilish.
• Oozie - bu Hadoop-dagi ish jarayoni.
• Hbase - ma'lumotlar bazasi (aloqaviy bo'lmagan), Google Big Table analogi.
• Mahout - mashinani o'rganish.
• Sqoop - RSDDB dan Hadoop ga va aksincha ma'lumotlarni uzatish.
• Flume - jurnallarni HDFSga o'tkazish.
• Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS va boshqalar.

Ushbu vositalarning barchasi hamma uchun bepul, ammo pullik qo'shimchalar to'plami ham mavjud.

Bundan tashqari, mutaxassislar kerak: bu ishlab chiquvchi va tahlilchi (ma'lumot olimi deb ataladigan). Shuningdek, sizga ushbu tahlilni ma'lum bir vazifaga qanday qo'llashni tushuna oladigan menejer kerak, chunki u biznes jarayonlariga o'rnatilmagan bo'lsa, o'z-o'zidan bu mutlaqo ma'nosizdir.

Uchala xodim ham jamoa bo'lib ishlashi kerak. Ma'lumot olimiga ma'lum bir naqshni topish vazifasini topshirgan menejer, unga kerak bo'lgan narsani aniq topish har doim ham mumkin emasligini tushunishi kerak. Bunday holda, menejer Data Scientist nima topganini diqqat bilan tinglashi kerak, chunki ko'pincha uning topilmalari biznes uchun yanada qiziqarli va foydali bo'lib chiqadi. Sizning vazifangiz uni biznesda qo'llash va undan mahsulot yaratishdir.

Hozirda juda ko'p turli xil mashinalar va texnologiyalar mavjud bo'lishiga qaramay, yakuniy qaror har doim odam bilan qoladi. Buning uchun ma'lumotni qandaydir tarzda vizualizatsiya qilish kerak. Buning uchun juda ko'p vositalar mavjud.

Eng yorqin misol - geoanalitik hisobotlar. Beeline kompaniyasi turli shahar va viloyatlar hukumatlari bilan ko'p hamkorlik qiladi. Ko'pincha, bu tashkilotlar "Ma'lum bir joyda transport yuki" kabi hisobotlarni buyurtma qilishadi.

Bunday hisobot davlat organlariga oddiy va tushunarli shaklda yetib borishi aniq. Agar biz ularga ulkan va mutlaqo tushunarsiz jadvalni taqdim qilsak (ya'ni, biz uni oladigan shakldagi ma'lumot), ular bunday hisobotni sotib olishlari dargumon - bu mutlaqo foydasiz bo'ladi, ular undan bilim olishmaydi. ular olishni xohlashdi.

Shuning uchun, ma'lumotlar olimlari qanchalik yaxshi bo'lishidan qat'i nazar va ular qanday naqshlarni topmasin, sifatli vizualizatsiya vositalarisiz ushbu ma'lumotlar bilan ishlay olmaysiz.

Ma'lumotlar manbalari

Qabul qilingan ma'lumotlarning massivi juda katta, shuning uchun uni ba'zi guruhlarga bo'lish mumkin.

Kompaniyaning ichki ma'lumotlari

To'plangan ma'lumotlarning 80% ushbu guruhga tegishli bo'lsa-da, bu manba har doim ham ishlatilmaydi. Ko'pincha bu hech kimga kerak bo'lmagan ma'lumotlar, masalan, jurnallar. Ammo agar siz ularga boshqa tomondan qarasangiz, ba'zida ularda kutilmagan naqshlarni topishingiz mumkin.

Shareware manbalari

Bunga ijtimoiy tarmoqlar, Internet va bepul kirish mumkin bo'lgan barcha ma'lumotlar kiradi. Nima uchun Shareware? Bir tomondan, bu ma'lumotlar hamma uchun mavjud, ammo agar siz yirik kompaniya bo'lsangiz, uni o'n minglab, yuzlab yoki millionlab mijozlardan iborat abonent bazasi hajmida olish endi oson ish emas. Shuning uchun bozorda ushbu ma'lumotlarni taqdim etish uchun pullik xizmatlar mavjud.

Pulli manbalar

Bunga ma'lumotlarni pulga sotadigan kompaniyalar kiradi. Bular telekommunikatsiya, DMP, Internet kompaniyalari, kredit byurolari va agregatorlar bo'lishi mumkin. Rossiyada telekommunikatsiyalar ma'lumotlarni sotmaydi. Birinchidan, bu iqtisodiy jihatdan foydasiz, ikkinchidan, qonun bilan taqiqlangan. Shuning uchun ular o'zlarining qayta ishlash natijalarini, masalan, geoanalitik hisobotlarni sotadilar.

ochiq ma'lumotlar

Davlat biznes ehtiyojlarini qondiradi va ular to'playdigan ma'lumotlardan foydalanishga imkon beradi. Bu ko'proq darajada G'arbda rivojlangan, ammo Rossiya ham bu borada zamon bilan hamnafas bo'lmoqda. Masalan, Moskva hukumatining ochiq ma'lumotlar portali mavjud bo'lib, u shahar infratuzilmasining turli ob'ektlari to'g'risidagi ma'lumotlarni e'lon qiladi.

Moskva aholisi va mehmonlari uchun ma'lumotlar jadval va kartografik ko'rinishda, ishlab chiquvchilar uchun esa - maxsus mashinada o'qiladigan formatlarda taqdim etiladi. Loyiha cheklangan rejimda ishlayotgan bo'lsa-da, lekin rivojlanmoqda, bu sizning biznes vazifalaringiz uchun foydalanishingiz mumkin bo'lgan ma'lumotlar manbai ekanligini anglatadi.

Tadqiqot

Yuqorida aytib o'tilganidek, Big Dataning vazifasi naqsh topishdir. Ko'pincha butun dunyo bo'ylab tadqiqotlar ma'lum bir naqshni topish uchun mos yozuvlar nuqtasiga aylanishi mumkin - siz aniq natija olishingiz va maqsadlaringizga o'xshash mantiqni qo'llashga harakat qilishingiz mumkin.

Katta ma'lumotlar matematikaning barcha qonunlari ishlamaydigan sohadir. Misol uchun, "1" + "1" "2" emas, balki juda ham ko'p, chunki ma'lumotlar manbalarini aralashtirishda ta'sirni sezilarli darajada oshirish mumkin.

Mahsulot namunalari

Ko'pchilik Spotify musiqa tanlash xizmati bilan tanish. Uning go'zalligi shundaki, u foydalanuvchilarning bugungi kayfiyatini so'ramaydi, balki uni mavjud manbalar asosida hisoblab chiqadi. U har doim sizga hozir nima kerakligini biladi - jazz yoki hard rock. Bu uni muxlislar bilan ta'minlaydigan va uni boshqa xizmatlardan ajratib turadigan asosiy farqdir.

Bunday mahsulotlar odatda sezgir mahsulotlar deb ataladi - o'z mijozini his qiladigan mahsulotlar.

Big Data texnologiyasi avtomobil sanoatida ham qo'llaniladi. Masalan, Tesla buni o'zlarida qiladi eng so'nggi model avtopilot mavjud. Kompaniya yo'lovchini kerakli joyga olib boradigan avtomobil yaratishga intiladi. Katta ma'lumotlarsiz buning iloji yo'q, chunki agar biz to'g'ridan-to'g'ri oladigan ma'lumotlardan foydalansak, xuddi odam kabi, u holda mashina yaxshilana olmaydi.

Biz o'zimiz mashina haydaganimizda, biz neyronlarimizdan ko'plab omillarga asoslanib qaror qabul qilish uchun foydalanamiz, biz hatto sezmaymiz. Misol uchun, nega biz darhol yashil chiroq yoqmaslikka qaror qilganimizni tushunmasligimiz mumkin, keyin qaror to'g'ri bo'lib chiqdi - mashina sizni juda katta tezlikda supurib o'tdi va siz baxtsiz hodisadan qochdingiz.

Sportda Big Datadan foydalanishga misol ham keltirishingiz mumkin. 2002 yilda Oakland Athletics beysbol jamoasining bosh menejeri Billi Bin sportchilarni qanday qidirish kerakligi haqidagi paradigmani buzishga qaror qildi - u o'yinchilarni "raqamlar bo'yicha" tanladi va o'rgatdi.

Odatda menejerlar o'yinchilarning muvaffaqiyatiga qarashadi, ammo bu holatda u boshqacha edi - natijaga erishish uchun menejer individual xususiyatlarga e'tibor berib, unga qanday sportchilar kombinatsiyasi kerakligini o'rgandi. Bundan tashqari, u o'zlarida katta salohiyatga ega bo'lmagan sportchilarni tanladi, lekin umuman jamoa shu qadar muvaffaqiyatli bo'ldiki, ular ketma-ket yigirmata uchrashuvda g'alaba qozonishdi.

Keyinchalik rejissyor Bennet Miller ushbu hikoyaga bag'ishlangan filmni suratga oldi - Bred Pitt ishtirokidagi "Hammasini o'zgartirgan odam".

Big Data texnologiyasi moliyaviy sektorda ham foydalidir. Dunyoda hech kim mustaqil ravishda va kimgadir qarz berishga arziydimi yoki yo'qligini aniqlay olmaydi. Qaror qabul qilish uchun skoring amalga oshiriladi, ya'ni bu odam pulni qaytarib beradimi yoki yo'qligini tushunish mumkin bo'lgan ehtimollik modeli quriladi. Bundan tashqari, skoring barcha bosqichlarda qo'llaniladi: siz, masalan, ma'lum bir vaqtda odam to'lashni to'xtatishini hisoblashingiz mumkin.

Katta ma'lumotlar nafaqat pul ishlash, balki ularni tejash imkonini beradi. Xususan, ushbu texnologiya Germaniya Mehnat vazirligiga ishsizlik nafaqalari narxini 10 milliard evroga kamaytirishga yordam berdi, chunki ma'lumotni tahlil qilgandan so'ng, nafaqalarning 20 foizi noloyiq to'langanligi ma'lum bo'ldi.

Texnologiyalar tibbiyotda ham qo'llaniladi (bu ayniqsa Isroil uchun to'g'ri keladi). Katta ma'lumotlar yordamida siz o'ttiz yillik tajribaga ega shifokorga qaraganda ancha aniqroq tahlil qilishingiz mumkin.

Har qanday shifokor tashxis qo'yishda faqat o'ziga tayanadi o'z tajribasi. Mashina buni qilganda, bu minglab bunday shifokorlarning tajribasi va barcha mavjud bo'lgan holatlar tarixidan kelib chiqadi. Bemorning uyi qanday materialdan qurilganligi, jabrlanuvchining qaysi hududda yashashi, qanday tutun borligi va hokazolarni hisobga oladi. Ya'ni, shifokorlar hisobga olmaydigan juda ko'p omillarni hisobga oladi.

Katta ma'lumotlardan sog'liqni saqlashda foydalanishga misol sifatida Toronto bolalar kasalxonasi tomonidan amalga oshirilgan Artemis loyihasi loyihasidir. Bu real vaqt rejimida chaqaloqlar haqidagi ma'lumotlarni to'playdigan va tahlil qiladigan axborot tizimi. Mashina har soniyada har bir bolaning 1260 ta sog'liq ko'rsatkichlarini tahlil qilish imkonini beradi. Ushbu loyiha bolaning beqaror ahvolini bashorat qilishga va bolalardagi kasalliklarning oldini olishga qaratilgan.

Katta ma'lumotlar Rossiyada ham qo'llanila boshlandi: masalan, Yandex katta ma'lumotlar bo'limiga ega. Kompaniya AstraZeneca va Rossiya Klinik Onkologiya Jamiyati RUSSCO bilan birgalikda genetiklar va molekulyar biologlar uchun RAY platformasini ishga tushirdi. Loyiha saraton kasalligini tashxislash va saratonga moyillikni aniqlash usullarini takomillashtiradi. Platforma 2016 yilning dekabr oyida ishga tushadi.

"Katta ma'lumotlar"- texnologiya kompaniyalari tomonidan faol muhokama qilinadigan mavzu. Ulardan ba'zilari katta ma'lumotlardan hafsalasi pir bo'ldi, boshqalari esa, aksincha, iloji boricha undan biznes uchun foydalanishadi... . Umid qilamizki, ma'lumotlar qiziqarli va foydali bo'ladi.

BIG DATA NIMA?

Asosiy xususiyatlar

"Katta ma'lumotlar" atamasi juda ko'p bahs-munozaralarga sabab bo'ladi, ko'pchilik bu faqat to'plangan ma'lumotlar miqdorini anglatadi, deb hisoblaydi, ammo texnik tomoni haqida unutmang, bu soha saqlash texnologiyalari, hisoblash va xizmatlarni o'z ichiga oladi.

Shuni ta'kidlash kerakki, bu soha an'anaviy usullar yordamida qayta ishlash qiyin bo'lgan katta hajmdagi ma'lumotlarni qayta ishlashni o'z ichiga oladi*.

Quyida an'anaviy va katta ma'lumotlar bazasini taqqoslash jadvali keltirilgan.

Katta ma'lumotlar sohasi quyidagi xususiyatlar bilan tavsiflanadi:
Ovoz balandligi - hajmi, to'plangan ma'lumotlar bazasi - bu an'anaviy usullarda qayta ishlash va saqlash uchun mashaqqatli bo'lgan katta hajmdagi ma'lumotlar, ular yangi yondashuv va takomillashtirilgan vositalarni talab qiladi.
Tezlik - tezlik, bu xususiyat ham ma'lumotlarni to'plash tezligining ortib borayotganligini (so'nggi 2 yil ichida ma'lumotlarning 90 foizi to'plangan) va ma'lumotlarni qayta ishlash tezligini ko'rsatadi; so'nggi paytlarda real vaqt rejimida ma'lumotlarni qayta ishlash texnologiyalari ko'proq talab qilinmoqda.
Turli xillik - xilma-xillik, ya'ni. turli formatdagi tuzilgan va tuzilmagan axborotni bir vaqtda qayta ishlash imkoniyati. Strukturaviy axborotning asosiy farqi shundaki, uni tasniflash mumkin. Bunday ma'lumotlarga misol qilib mijoz operatsiyalari haqidagi ma'lumotlarni keltirish mumkin.
Tarkibi bo'lmagan ma'lumotlarga video, audio fayllar, bepul matn, ijtimoiy tarmoqlardan keladigan ma'lumotlar kiradi. Bugungi kunda ma'lumotlarning 80% tuzilmaganlar guruhiga kiritilgan. Ushbu ma'lumot keyingi qayta ishlash uchun foydali bo'lishi uchun murakkab tahlilni talab qiladi.
Haqiqat - Ma'lumotlarning ishonchliligi, foydalanuvchilar mavjud ma'lumotlarning ishonchliligiga ahamiyat berishni boshladilar. Shunday qilib, internet-kompaniyalar robot va shaxs tomonidan kompaniya veb-saytida amalga oshirilgan harakatlarini ajratishda muammoga duch kelishadi, bu esa oxir-oqibat ma'lumotlarni tahlil qilish qiyinligiga olib keladi.
qiymat - to'plangan ma'lumotlarning qiymati. Big Data kompaniya uchun foydali bo'lishi va unga qandaydir qiymat keltirishi kerak. Masalan, biznes jarayonlarini yaxshilash, hisobot berish yoki xarajatlarni optimallashtirishda yordam bering.

Agar yuqoridagi 5 shart bajarilsa, to'plangan ma'lumotlar hajmlarini katta deb tasniflash mumkin.

Katta ma'lumotlarning ilovalari

Big Data texnologiyalarining qamrovi juda keng. Shunday qilib, Big Data yordamida siz mijozlarning xohish-istaklari, marketing kampaniyalarining samaradorligi haqida bilib olishingiz yoki xavf tahlilini o'tkazishingiz mumkin. Quyida kompaniyalarda Big Datadan foydalanish yoʻnalishlari boʻyicha IBM instituti soʻrovi natijalari keltirilgan.

Diagrammadan ko'rinib turibdiki, ko'pchilik kompaniyalar Big Data'dan mijozlarga xizmat ko'rsatish sohasida foydalanadilar, ikkinchi eng mashhur yo'nalish - operatsion samaradorlik, xavflarni boshqarish sohasida Big Data hozirda kamroq tarqalgan.

Shuni ham ta'kidlash kerakki, Big Data axborot texnologiyalarining eng tez rivojlanayotgan yo'nalishlaridan biri bo'lib, statistik ma'lumotlarga ko'ra, qabul qilingan va saqlanadigan ma'lumotlarning umumiy hajmi har 1,2 yilda ikki barobar ortadi.
2012-2014-yillarda mobil tarmoqlar orqali har oyda uzatiladigan maʼlumotlar hajmi 81 foizga oshdi. Cisco 2014 yilda bu hajmni taxmin qilmoqda mobil trafik oyiga 2,5 ekzabaytni (10 ^ 18 standart baytga teng ma'lumot miqdorini o'lchash birligi) tashkil etdi va 2019 yilda u 24,3 ekzabaytga teng bo'ladi.
Shunday qilib, Big Data biznesning ko'plab sohalarida keng tarqalgan va kompaniyalar rivojlanishida muhim rol o'ynaydigan nisbatan yosh bo'lishiga qaramay, allaqachon shakllangan texnologiya sohasidir.

Katta ma'lumotlar texnologiyalari

• Dasturiy ta'minot;
• Uskunalar;
• Xizmat.

Ma'lumotlarni qayta ishlashning (PD) eng keng tarqalgan yondashuvlari quyidagilarni o'z ichiga oladi:
SQL - ma'lumotlar bazalari bilan ishlash imkonini beruvchi tuzilgan so'rovlar tili. FROM SQL yordamida siz ma'lumotlarni yaratishingiz va o'zgartirishingiz mumkin va ma'lumotlar massivi tegishli ma'lumotlar bazasini boshqarish tizimi tomonidan boshqariladi.
NoSQL - atama Not Only SQL (nafaqat SQL) degan ma'noni anglatadi. U ma'lumotlar bazasini amalga oshirishga qaratilgan bir qator yondashuvlarni o'z ichiga oladi, ular an'anaviy, relyatsion DBMSda qo'llaniladigan modellardan farq qiladi. Ular doimiy o'zgaruvchan ma'lumotlar tuzilmasi bilan foydalanish uchun qulay. Masalan, ijtimoiy tarmoqlarda ma'lumotlarni to'plash va saqlash uchun.
MapReduce – hisob-kitoblarni taqsimlash modeli. Juda katta ma'lumotlar to'plamlarida parallel hisoblash uchun ishlatiladi (petabayt* yoki undan ko'p). Dasturlash interfeysida ma'lumotlar ishlov berish uchun dasturga o'tkazilmaydi, lekin dastur ma'lumotlarga o'tkaziladi. Shuning uchun so'rov alohida dastur hisoblanadi. Ishlash printsipi ikkita Map va Reduce usuli bilan ma'lumotlarni ketma-ket qayta ishlashdan iborat. Xarita dastlabki ma'lumotlarni tanlaydi, Reduce ularni yig'adi.
Hadoop - yuqori yuklangan saytlar uchun qidiruv va kontekstli mexanizmlarni amalga oshirish uchun foydalaniladi - Facebook, eBay, Amazon va boshqalar. O'ziga xos xususiyat shundaki, tizim klaster tugunlarining biron birining ishdan chiqishidan himoyalangan, chunki har bir blokda ma'lumotlarning kamida bitta nusxasi mavjud. boshqa tugun ustida.
SAP HANA ma'lumotlarni saqlash va qayta ishlash uchun yuqori samarali NewSQL platformasi. beradi yuqori tezlik so'rovni qayta ishlash. Boshqa belgi SAP HANA analitik tizimlarni qo'llab-quvvatlash xarajatlarini kamaytirish orqali tizim landshaftini soddalashtiradi.

Texnologik uskunalar quyidagilarni o'z ichiga oladi:

• serverlar;
• infratuzilma uskunalari.

Xizmat.
Xizmatlarga ma'lumotlar bazasi tizimi arxitekturasi, infratuzilmani rivojlantirish va optimallashtirish hamda ma'lumotlarni saqlash xavfsizligi kiradi.

Dasturiy ta'minot, apparat va xizmatlar ma'lumotlarni saqlash va tahlil qilish uchun oxirigacha platformalarni yaratish uchun birlashadi. Microsoft, HP, EMC kabi kompaniyalar Big Data yechimlarini ishlab chiqish, joylashtirish va boshqarish xizmatlarini taklif qiladi.

Sanoatda qo'llanilishi

Chakana savdo
Chakana savdo do'konlarining ma'lumotlar bazalarida xaridorlar, inventarlarni boshqarish tizimi, sotiladigan mahsulotlarni etkazib berish haqida juda ko'p ma'lumotlar to'planishi mumkin. Ushbu ma'lumot do'kon faoliyatining barcha sohalarida foydali bo'lishi mumkin.

Shunday qilib, to'plangan ma'lumotlar yordamida siz tovarlarni etkazib berish, ularni saqlash va sotishni boshqarishingiz mumkin. To'plangan ma'lumotlarga asoslanib, tovarlarga bo'lgan talab va taklifni taxmin qilish mumkin. Shuningdek, ma'lumotlarni qayta ishlash va tahlil qilish tizimi sotuvchining boshqa muammolarini hal qilishi mumkin, masalan, xarajatlarni optimallashtirish yoki hisobotlarni tayyorlash.

Moliyaviy xizmatlar
Big Data qarz oluvchining kredit qobiliyatini tahlil qilish imkonini beradi va kredit skoring* va anderrayting** uchun ham foydalidir. Big Data texnologiyalarining joriy etilishi kredit arizalarini ko‘rib chiqish vaqtini qisqartiradi. Big Data yordamida muayyan mijozning operatsiyalarini tahlil qilish va unga mos keladigan bank xizmatlarini taklif qilish mumkin.

Telekom
Telekommunikatsiya sohasida Big Data mobil operatorlar tomonidan keng qo'llaniladi.
Operatorlar uyali aloqa moliya institutlari bilan bir qatorda ular eng yirik ma'lumotlar bazalaridan biriga ega bo'lib, ular to'plangan ma'lumotlarni eng chuqur tahlil qilish imkonini beradi.
Ma'lumotlarni tahlil qilishning asosiy maqsadi mavjud mijozlarni saqlab qolish va yangilarini jalb qilishdir. Buning uchun kompaniyalar mijozlarni segmentlarga ajratadi, ularning trafigini tahlil qiladi va abonentning ijtimoiy mansubligini aniqlaydi.

Katta ma'lumotlardan marketing maqsadlarida foydalanishdan tashqari, firibgar moliyaviy operatsiyalarni oldini olish uchun texnologiya qo'llaniladi.

Konchilik va neft sanoati
Big Data foydali qazilmalarni qazib olishda ham, ularni qayta ishlash va sotishda ham qo'llaniladi. Olingan ma'lumotlarga asoslanib, korxonalar konlarni o'zlashtirish samaradorligi to'g'risida xulosa chiqarishlari, kapital ta'mirlash jadvali va uskunalarning holatini kuzatishlari, mahsulotga talab va narxlarni prognoz qilishlari mumkin.

Tech Pro Research so‘roviga ko‘ra, Big Data telekommunikatsiya sohasida, shuningdek, muhandislik, IT, moliya va davlat korxonalarida eng keng tarqalgan. Natijalarga ko'ra ushbu so'rov, ta'lim va sog'liqni saqlash sohasida Big Data kamroq mashhur. So‘rov natijalari quyida keltirilgan:

Kompaniyalarda Big Datadan foydalanishga misollar

Qayta ishlangan axborotni qo'llash sohalari xilma-xil bo'lib, sohaga va bajariladigan vazifalarga qarab farqlanadi.
Keyinchalik Big Data texnologiyalarini amaliyotda qo'llash misollari keltiriladi.

HSBC plastik kartalar bilan firibgarlik operatsiyalariga qarshi turish uchun Big Data texnologiyalaridan foydalanadi. Big Data yordamida kompaniya xavfsizlik xizmati samaradorligini 3 baravarga, firibgarlik holatlarini tan olishni esa 10 barobarga oshirdi. Ushbu texnologiyalarni joriy etishdan olingan iqtisodiy samara 10 million AQSH dollaridan oshdi.

Firibgarlikka qarshi* VISA firibgarlik xarakteridagi tranzaktsiyalarni avtomatik ravishda hisoblash imkonini beradi, tizim hozirda har yili 2 milliard AQSH dollari miqdoridagi soxta to‘lovlarning oldini olishga yordam beradi.

Superkompyuter Watson kompaniyasi IBM bo'yicha ma'lumotlar oqimini real vaqt rejimida tahlil qiladi pul operatsiyalari. IBM ma'lumotlariga ko'ra, Watson aniqlangan firibgarlik operatsiyalari sonini 15 foizga oshirdi, 50 foizga kamaytirdi. noto'g'ri pozitivlar tizimi va ushbu turdagi operatsiyalardan himoyalangan mablag'lar miqdorini 60% ga oshirdi.

Procter & Gamble Big Data yordamida ular yangi mahsulotlarni ishlab chiqadilar va global marketing kampaniyalarini yaratadilar. P&G real vaqt rejimida ma'lumotni ko'rishingiz mumkin bo'lgan Business Spheres maxsus ofislarini yaratdi.
Shunday qilib, kompaniya rahbariyati bir zumda farazlarni sinab ko'rish va tajribalar o'tkazish imkoniyatiga ega. P&G kompaniyasi Big Data kompaniya faoliyatini bashorat qilishga yordam beradi, deb hisoblaydi.

Ofis buyumlari chakana sotuvchisi officemax Big Data texnologiyalari yordamida ular mijozlarning xatti-harakatlarini tahlil qiladilar. Big Data tahlili B2B daromadini 13 foizga oshirishga, xarajatlarni yiliga 400 000 dollarga kamaytirishga imkon berdi.

Ga ko'ra Caterpillar , uning distribyutorlari Big Data texnologiyasini tatbiq etmaganliklari uchun har yili 9 milliarddan 18 milliard dollargacha daromad olishmaydi. Katta ma'lumotlar mijozlarga mashinalarga o'rnatilgan sensorlar ma'lumotlarini tahlil qilish orqali o'z parkini yanada samarali boshqarish imkonini beradi.

Bugungi kunga kelib, asosiy komponentlarning holatini, ularning eskirish darajasini tahlil qilish, yoqilg'i va texnik xizmat ko'rsatish xarajatlarini boshqarish mumkin.

Luxottica guruhi Ray-Ban, Persol va Oakley kabi brendlar bilan sport ko'zoynaklari ishlab chiqaruvchisi. Kompaniya potentsial mijozlarning xatti-harakatlarini tahlil qilish va "aqlli" SMS marketing uchun Big Data texnologiyalaridan foydalanadi. Natijada Big Data Luxottica guruhi 100 milliondan ortiq eng qimmatli mijozlarni aniqladi va marketing kampaniyasi samaradorligini 10 foizga oshirdi.

Yandex Data Factory yordami bilan, o'yin ishlab chiquvchilari World of Tanks o'yinchilarning xatti-harakatlarini tahlil qilish. Big Data texnologiyalari 100 dan ortiq parametrlardan (xaridlar, oʻyinlar, tajriba va h.k.) yordamida 100 ming World of Tanks oʻyinchisining xatti-harakatlarini tahlil qilish imkonini berdi. Tahlil natijasida foydalanuvchilarning ishdan chiqishi prognozi olindi. Ushbu ma'lumotlar foydalanuvchilarga g'amxo'rlikni kamaytirish va o'yin ishtirokchilari bilan maqsadli ishlash imkonini beradi. Ishlab chiqilgan model standart o'yin sanoati tahlil vositalariga qaraganda 20-30% samaraliroq bo'lib chiqdi.

Germaniya Mehnat vazirligi kiruvchi ishsizlik da'volarini tahlil qilish uchun Big Datadan foydalanadi. Xullas, ma’lumotlar tahlil qilinib, nafaqalarning 20 foizi noloyiq to‘langani ma’lum bo‘ldi. Big Data yordamida Mehnat vazirligi xarajatlarni 10 milliard yevroga qisqartirdi.

Toronto bolalar kasalxonasi Project Artemis loyihasini amalga oshirdi. Bu real vaqt rejimida chaqaloqlar haqidagi ma'lumotlarni to'playdigan va tahlil qiladigan axborot tizimi. Tizim har soniyada har bir bolaning holatining 1260 ko‘rsatkichini kuzatib boradi. Artemis loyihasi bolaning beqaror holatini taxmin qilish va bolalardagi kasalliklarning oldini olishni boshlash imkonini beradi.

GLOBAL BIG MA'LUMOT BOZORI HAQIDA HUKUK

Jahon bozorining hozirgi holati

Wikibon ma'lumotlariga ko'ra, 2014 yilda Big Data bozorining daromadlarining katta qismi xizmatlardan iborat bo'lib, ularning ulushi umumiy daromadning 40% ni tashkil etdi (quyidagi diagrammaga qarang):

Agar biz 2014 yil uchun Big Datani kichik turlar bo'yicha ko'rib chiqsak, bozor quyidagicha ko'rinadi:

Wikibon maʼlumotlariga koʻra, ilovalar va tahlillar 2014-yilda Big Data ilovalari va analitikasidan olingan Big Data daromadining 36 foizini, hisoblash texnikasidan 17 foizini va saqlash texnologiyasidan 15 foizini tashkil qilgan. Eng kam daromad NoSQL texnologiyalari, infratuzilma uskunalari va kompaniyalar tarmog'ini (korporativ tarmoqlar) ta'minlashdan olingan.

Eng mashhurlari Texnologiya katta Ma'lumotlar, SAP, HANA, Oracle va boshqalar kompaniyalarning xotira platformalari sifatida. T-Systems so'rovi natijalari shuni ko'rsatdiki, ular so'rovda qatnashgan kompaniyalarning 30 foizi tomonidan tanlangan. Ikkinchi o'rinda NoSQL platformalari (foydalanuvchilarning 18%) bo'ldi, kompaniyalar Splunk va Dell analitik platformalaridan ham foydalanishgan, ularni 15% kompaniyalar tanlagan. So'rov natijalariga ko'ra, Big Data muammolarini hal qilish uchun eng kam foydali bo'lgan mahsulotlar Hadoop/MapReduce edi.

Accenture tadqiqotiga ko'ra, Big Data texnologiyalaridan foydalanadigan kompaniyalarning 50% dan ortig'ida Big Data narxi 21% dan 30% gacha.
Quyidagi Accenture tahliliga ko'ra, kompaniyalarning 76 foizi 2015 yilda bu xarajatlar oshib borishiga ishonadi va kompaniyalarning 24 foizi Big Data texnologiyalari uchun byudjetini o'zgartirmaydi. Bu shuni ko'rsatadiki, bu kompaniyalarda Big Data allaqachon IT sohasiga aylangan va kompaniya rivojlanishining ajralmas qismiga aylangan.

Economist Intelligence Unit so'rovi natijalari Big Data joriy etilishining ijobiy ta'sirini tasdiqlaydi. Kompaniyalarning 46 foizi Big Data texnologiyalaridan foydalangan holda mijozlarga xizmat ko'rsatishni 10 foizdan ko'proqqa yaxshilaganliklarini, 33 foiz kompaniyalarning inventarizatsiyasini optimallashtirish va asosiy aktivlar unumdorligini oshirishni, 32 foiz kompaniyalar rejalashtirish jarayonlarini yaxshilaganliklarini da'vo qilmoqdalar.

Katta ma'lumotlar turli mamlakatlar tinchlik

Shuningdek, CIO so'roviga ko'ra, Osiyo-Tinch okeani mintaqasi kompaniyalari katta ma'lumotlarni tahlil qilish, xavfsiz saqlash va saqlash sohasida yangi echimlarni tezda o'zlashtirmoqda. bulutli texnologiyalar. Lotin Amerikasi Big Data texnologiyalarini rivojlantirishga investitsiyalar soni bo'yicha Evropa va AQShdan oldin ikkinchi o'rinda turadi.
Keyinchalik, bir nechta mamlakatlarda Big Data bozorining rivojlanishi tavsifi va prognozlari taqdim etiladi.

Xitoy
Xitoyda axborot hajmi 909 ekzabaytni tashkil etadi, bu dunyodagi umumiy axborot hajmining 10% ga teng, 2020 yilga borib axborot hajmi 8060 ekzabaytga etadi va global statistikada axborot ulushi ham ortadi. 5 yil ichida u 18% ga teng bo'ladi. Xitoyning Big Data potentsial o'sishi eng tez o'sayotgan dinamikalardan biriga ega.

Braziliya
2014 yil oxiriga kelib Braziliyada 212 ekzabayt ma'lumot to'plangan, bu global hajmning 3 foizini tashkil qiladi. 2020 yilga borib axborot hajmi 1600 ekzabaytgacha oshadi, bu dunyo axborotining 4 foizini tashkil qiladi.

Hindiston
EMC ma'lumotlariga ko'ra, Hindistonda 2014 yilda to'plangan ma'lumotlar hajmi 326 ekzabaytni tashkil etadi, bu umumiy ma'lumot hajmining 5 foizini tashkil qiladi. 2020 yilga borib axborot hajmi 2800 ekzabaytgacha oshadi, bu dunyo axborotining 6 foizini tashkil qiladi.

Yaponiya
2014 yil oxirida Yaponiyada to'plangan ma'lumotlar hajmi 495 ekzabaytni tashkil etadi, bu umumiy ma'lumotlar hajmining 8% ni tashkil qiladi. 2020 yilga kelib, axborot hajmi 2200 ekzabaytgacha o'sadi, ammo Yaponiyaning bozor ulushi kamayadi va butun dunyodagi umumiy ma'lumotlarning 5% ni tashkil qiladi.
Shunday qilib, Yaponiya bozorining hajmi 30% dan ortiq kamayadi.

Germaniya
EMC ma'lumotlariga ko'ra, Germaniyada 2014 yilda to'plangan ma'lumotlar hajmi 230 ekzabaytni tashkil etadi, bu dunyodagi umumiy ma'lumotlar hajmining 4 foizini tashkil qiladi. 2020 yilga kelib, axborot hajmi 1100 ekzabaytgacha o'sadi va 2% ni tashkil qiladi.
Nemis bozorida, Experton Group prognozlariga ko'ra, daromadning katta ulushi xizmatlar segmentiga to'g'ri keladi, ularning ulushi 2015 yilda 54% ni tashkil qiladi va 2019 yilda dasturiy ta'minot va texnik vositalar ulushi 59% gacha ko'tariladi. aksincha, kamayadi.

Umuman olganda, bozor hajmi 2015 yildagi 1,345 milliard yevrodan 2019 yilda 3,198 milliard yevrogacha o‘sadi, o‘rtacha o‘sish sur’ati 24 foizni tashkil etadi.
Shunday qilib, CIO va EMC tahlillariga asoslanib, biz dunyoning rivojlanayotgan mamlakatlari yaqin yillarda bozorga aylanadi degan xulosaga kelishimiz mumkin. faol rivojlanish Big Data texnologiyalari.

Bozorning asosiy tendentsiyalari

IDC prognozlariga ko'ra, bozor tendentsiyalari quyidagicha:

• Kelgusi 5 yil ichida bulutga asoslangan Big Data yechimlari narxi mahalliy yechimlar narxidan 3 barobar tezroq oshadi. Gibrid saqlash platformalari mashhur bo'ladi.
• 2015-yilda murakkab va bashoratli tahlillardan foydalanadigan ilovalarning o‘sishi, jumladan, mashina o‘rganishi tezlashadi, bunday ilovalar bozori bashoratli tahlilsiz ilovalarga qaraganda 65 foizga tezroq o‘sadi.
• 2015-yilda media-tahlil uch barobar ortadi va Big Data texnologiyalari bozori uchun asosiy o‘sish omiliga aylanadi.
• Narsalar Interneti uchun qo'llaniladigan doimiy ma'lumotlar oqimini tahlil qilish uchun echimlarni joriy qilish tendentsiyasi tezlashadi.
• 2018 yilga kelib, foydalanuvchilarning 50 foizi kognitiv hisob-kitoblarga asoslangan xizmatlar bilan o'zaro aloqada bo'ladi.

Bozor haydovchilari va cheklovchilari

Accenture soʻroviga koʻra, hozirda maʼlumotlar xavfsizligi masalalari Big Data texnologiyalarini joriy etish yoʻlidagi asosiy toʻsiq boʻlib turibdi, respondentlarning 51% dan ortigʻi maʼlumotlarni himoya qilish va shaxsiy daxlsizlikdan xavotirda ekanini tasdiqladi. Kompaniyalarning 47 foizi cheklangan byudjet tufayli Big Datani amalga oshirishning iloji yo'qligi haqida xabar berishdi, 41 foiz kompaniyalar etishmovchilikni muammo sifatida ko'rsatdilar. malakali kadrlar.

Wikibon prognozlariga ko'ra, Big Data bozori 2015 yilda 38,4 milliard dollargacha o'sadi, bu o'tgan yilga nisbatan 36% ga oshadi. Kelgusi yillarda o'sish sur'atlarining 2017 yilda 10% gacha pasayishi kuzatiladi. Ushbu prognozlarni hisobga olgan holda, 2020 yilda bozor hajmi 68,7 milliard AQSh dollariga teng bo'ladi.

Global Big Data bozorini biznes toifalari bo'yicha taqsimlash quyidagicha ko'rinadi:

Diagrammadan ko'rinib turibdiki, bozorning katta qismini mijozlarga xizmat ko'rsatishni yaxshilash sohasidagi texnologiyalar egallaydi. Spot marketing 2019 yilgacha kompaniyalar uchun ikkinchi eng ustuvor yo'nalish bo'ladi, 2020 yilda Heavy Reading ma'lumotlariga ko'ra, u operatsion samaradorlikni oshirish bo'yicha echimlarga o'z o'rnini bo'shatadi.
"Mijozlarga xizmat ko'rsatishni yaxshilash" segmenti ham har yili 49% ga o'sish bilan eng yuqori o'sish sur'atiga ega bo'ladi.
Big Data kichik turlari uchun bozor prognozi quyidagicha ko'rinadi:

Diagrammadan ko'rinib turibdiki, bozorning asosiy ulushini professional xizmatlar egallaydi, tahliliy ilovalar eng yuqori o'sish sur'atiga ega bo'ladi, ularning ulushi 2020 yilda hozirgi 12% dan 18% gacha o'sadi va ushbu segmentning hajmi o'zgaradi. 12,3 milliard AQSH dollariga teng boʻlsa, hisoblash texnikasining ulushi, aksincha, 20 foizdan 14 foizga tushib, 2020 yilda qariyb 9,3 milliard AQSH dollarini tashkil etadi, bulutli texnologiyalar bozori asta-sekin oʻsib boradi va 2020-yilga yetadi. 6,3 milliard AQSH dollarini tashkil etgan boʻlsa, maʼlumotlarni saqlash boʻyicha yechimlarning bozor ulushi, aksincha, 2014-yildagi 15 foizdan 2020-yilda 13 foizga qisqaradi va pul koʻrinishida 8,9 milliard AQSh dollariga teng boʻladi.
Bain & Company's Insights Analysis prognoziga ko'ra, 2020 yilda Big Data bozorining sanoat bo'yicha taqsimlanishi quyidagicha bo'ladi:

• Moliyaviy sanoat yiliga o'rtacha 22% o'sish sur'ati bilan Big Data uchun 6,4 milliard dollar sarflaydi;
• Internet-kompaniyalar kelgusi 5 yil ichida 2,8 milliard dollar va o'rtacha xarajatlarning o'sish sur'ati 26 foizni tashkil etadi;
• Davlat sektori xarajatlari internet-kompaniyalarning xarajatlariga mutanosib bo'ladi, lekin o'sish sur'ati past bo'ladi - 22%;
• Telekommunikatsiya sohasi o'rtacha 40% o'sish sur'atida o'sib, 2020 yilda 1,2 milliard dollarga etadi;

Energetika kompaniyalari ushbu texnologiyalarga nisbatan kichik - 800 million AQSh dollari sarmoya kiritadilar, ammo o'sish sur'ati eng yuqori ko'rsatkichlardan biri bo'ladi - har yili 54%.
Shunday qilib, moliyaviy sanoat kompaniyalari 2020 yilda Big Data bozorining katta qismini egallaydi va energiya eng tez rivojlanayotgan sektor bo'ladi.
Tahlilchilarning prognozlariga ko'ra, kelgusi yillarda bozorning umumiy hajmi ortadi. Bozorning o'sishi dunyoning rivojlanayotgan mamlakatlarida Big Data texnologiyalarini joriy etish orqali ta'minlanadi, buni quyidagi grafikdan ko'rish mumkin.

Bozorning bashorat qilinadigan hajmi rivojlanayotgan mamlakatlar Big Data texnologiyalarini qanday qabul qilishiga, ular rivojlangan mamlakatlardagi kabi mashhur bo'ladimi-yo'qligiga bog'liq bo'ladi. 2014 yilda dunyoning rivojlanayotgan mamlakatlari to'plangan ma'lumotlarning 40 foizini tashkil etdi. EMC prognoziga ko'ra, rivojlangan mamlakatlar hukmronlik qiladigan joriy bozor tuzilmasi 2017 yildayoq o'zgaradi. EMC analytics ma'lumotlariga ko'ra, 2020 yilda rivojlanayotgan mamlakatlar ulushi 60% dan ortiqni tashkil qiladi.
Cisco va EMC ma'lumotlariga ko'ra, dunyoning rivojlanayotgan mamlakatlari Big Data bilan faol ishlaydi, bu ko'p jihatdan texnologiyalarning mavjudligi va Big Data darajasiga etarli ma'lumotlarning to'planishi bilan bog'liq bo'ladi. Keyingi sahifadagi dunyo xaritasi mintaqalar bo'yicha Big Dataning o'sish prognozi va o'sish sur'atlarini ko'rsatadi.

ROSSIYA BOZORI TAHLILI

• Oracle
• Microsoft
• bulutlar
• Hortonworks
• Teradata.

Bozorning sanoat bo'yicha umumiy ko'rinishi va kompaniyalarda Big Datadan foydalanish tajribasi

Rossiyada Big Data texnologiyalari bank sektori va telekommunikatsiya sohasida ko'proq mashhur, ammo ular tog'-kon sanoati, energetika, chakana savdo, logistika kompaniyalari va davlat sektorida ham talabga ega.
Keyinchalik, rus haqiqatlarida Big Datadan foydalanish misollari ko'rib chiqiladi.

Telekom
Aloqa operatorlari eng katta ma'lumotlar bazalaridan biriga ega bo'lib, ular to'plangan ma'lumotlarni eng chuqur tahlil qilish imkonini beradi.
Big Data texnologiyasini qo'llash sohalaridan biri bu obunachilarning sodiqligini boshqarishdir.
Ma'lumotlarni tahlil qilishning asosiy maqsadi mavjud mijozlarni saqlab qolish va yangilarini jalb qilishdir. Buning uchun kompaniyalar mijozlarni segmentlarga ajratadi, ularning trafigini tahlil qiladi va abonentning ijtimoiy mansubligini aniqlaydi. Telekom ma'lumotlardan marketing maqsadlarida foydalanishdan tashqari, firibgar moliyaviy operatsiyalarni oldini olish uchun texnologiyadan foydalanadi.
Vimpelcom bu sohaning eng yorqin namunalaridan biridir. Kompaniya Big Data’dan har bir abonent darajasida xizmat ko‘rsatish sifatini yaxshilash, hisobot berish, tarmoqni rivojlantirish uchun ma’lumotlarni tahlil qilish, spam bilan kurashish va xizmatlarni shaxsiylashtirish uchun foydalanadi.

Banklar
Big Data foydalanuvchilarining katta qismini moliya sanoati mutaxassislari egallaydi. Muvaffaqiyatli tajribalardan biri Ural tiklanish va taraqqiyot bankida o'tkazildi, u erda axborot bazasi mijozlarni tahlil qilish uchun foydalanila boshlandi, bank maxsus kredit takliflari, depozitlar va boshqa xizmatlarni taklif qila boshladi. Ushbu texnologiyalardan foydalanilgan yil davomida kompaniyaning chakana kredit portfeli 55 foizga o'sdi.
Alfa-Bank ijtimoiy tarmoqlardagi ma'lumotlarni tahlil qiladi, kredit olish uchun arizalarni qayta ishlaydi, kompaniya veb-sayti foydalanuvchilarining xatti-harakatlarini tahlil qiladi.
Sberbank, shuningdek, mijozlarni segmentlarga ajratish, firibgarlikning oldini olish, o'zaro sotish va risklarni boshqarish uchun ma'lumotlar majmuasini qayta ishlashni boshladi. Kelgusida xizmatni takomillashtirish va real vaqt rejimida mijozlarning harakatlarini tahlil qilish rejalashtirilgan.
Butunrossiya mintaqaviy taraqqiyot banki plastik karta egalarining xatti-harakatlarini tahlil qiladi. Bu sizga ma'lum bir mijoz uchun atipik bo'lgan tranzaktsiyalarni aniqlash imkonini beradi va shu bilan plastik kartochkalardan pul mablag'larining o'g'irlanishini aniqlash ehtimolini oshiradi.

Chakana savdo
Rossiyada Big Data texnologiyalari onlayn va oflayn savdo kompaniyalari tomonidan amalga oshirildi. Bugungi kunda, CNews Analytics ma'lumotlariga ko'ra, Big Data 20% chakana sotuvchilar tomonidan foydalaniladi. Chakana savdo bo'yicha mutaxassislarning 75 foizi Big Datani kompaniyani ilgari surish uchun raqobatbardosh strategiyani ishlab chiqish uchun zarur deb hisoblaydi. Hadoop statistik ma'lumotlariga ko'ra, Big Data texnologiyasi joriy etilgandan so'ng, savdo tashkilotlarida foyda 7-10% ga oshadi.
M.Video mutaxassislari SAP HANA joriy etilgandan so'ng logistika rejalashtirishni takomillashtirish haqida gapiradi, shuningdek, uni amalga oshirish natijasida yillik hisobotlarni tayyorlash 10 kundan 3 kunga qisqartirildi, kunlik ma'lumotlarni yuklash tezligi 3 kundan kamaydi. soatdan 30 minutgacha.
Wikimart ushbu texnologiyalardan saytga tashrif buyuruvchilar uchun tavsiyalar yaratish uchun foydalanadi.
Rossiyada Big Data tahlilini joriy etgan birinchi oflayn do'konlardan biri Lenta edi. Big Data yordamida chakana naqd pul tushumlaridan mijozlar haqidagi ma'lumotlarni o'rganishni boshladi. Chakana sotuvchi operatsion va biznes darajasida ko'proq ma'lumotli qarorlar qabul qilish imkonini beruvchi xatti-harakatlar modellarini yaratish uchun ma'lumot to'playdi.

Neft va gaz sanoati
Ushbu sohada Big Data doirasi juda keng. Big Data texnologiyalari ichaklardan minerallarni olishda qo'llanilishi mumkin. Ularning yordami bilan siz qazib olish jarayonining o'zini va uni qazib olishning eng samarali usullarini tahlil qilishingiz, burg'ulash jarayonini kuzatishingiz, xom ashyo sifatini tahlil qilishingiz, shuningdek, yakuniy mahsulotlarni qayta ishlash va sotishni tahlil qilishingiz mumkin. Rossiyada bu texnologiyalar allaqachon Transneft va Rosneft tomonidan qo'llanilmoqda.

Davlat organlari
Germaniya, Avstraliya, Ispaniya, Yaponiya, Braziliya va Pokiston kabi mamlakatlarda milliy muammolarni hal qilishda Big Data texnologiyalaridan foydalaniladi. Ushbu texnologiyalar davlat hokimiyati va boshqaruvi organlariga aholiga xizmat ko‘rsatishni yanada samaraliroq ko‘rsatishga, aholini manzilli ijtimoiy qo‘llab-quvvatlashga yordam beradi.
Rossiyada ushbu texnologiyalar Pensiya jamg'armasi, Federal Soliq xizmati va Majburiy Jamg'arma kabi davlat organlari tomonidan o'zlashtirila boshladi. tibbiy sug'urta. Katta ma'lumotlardan foydalangan holda loyihalarni amalga oshirish salohiyati katta, bu texnologiyalar xizmatlar sifatini va natijada aholi turmush darajasini oshirishga yordam beradi.

Logistika va transport
Katta ma'lumotlardan transport kompaniyalari ham foydalanishlari mumkin. Big Data texnologiyalari yordamida avtomobillar parkini kuzatish, yoqilg‘i xarajatlarini hisobga olish, mijozlar so‘rovlarini kuzatish mumkin.
Rossiya temir yo'llari SAP bilan birgalikda Big Data texnologiyalarini joriy qildi. Ushbu texnologiyalar hisobot berish vaqtini 43,5 barobarga (14,5 soatdan 20 daqiqagacha) qisqartirish va xarajatlarni taqsimlashning aniqligini 40 barobar oshirish imkonini berdi. Shuningdek, Big Data rejalashtirish va tariflarni tartibga solish jarayonlariga kiritildi. Hammasi bo'lib kompaniyalar SAP yechimlari asosidagi 300 dan ortiq tizimlardan foydalanadilar, 4 ta ma'lumotlar markazlari jalb qilingan, foydalanuvchilar soni esa 220 000 tani tashkil etadi.

Bozorning asosiy omillari va cheklovlari

• Kompaniyaning raqobatbardoshligini oshirish usuli sifatida Big Data imkoniyatlariga foydalanuvchilarning qiziqishini oshirish;
• Global miqyosda media fayllarni qayta ishlash usullarini ishlab chiqish;
• Serverlarni qayta ishlashni uzatish Shaxsiy ma'lumot ko'ra, Rossiya hududiga qabul qilingan qonun shaxsiy ma'lumotlarni saqlash va qayta ishlash bo'yicha;
• Dasturiy ta'minot importini almashtirish bo'yicha sanoat rejasini amalga oshirish. Ushbu reja davlat tomonidan qo'llab-quvvatlashni o'z ichiga oladi mahalliy ishlab chiqaruvchilar dasturiy ta'minot, shuningdek, davlat mablag'lari hisobidan xarid qilishda mahalliy IT-mahsulotlarga imtiyozlar berish.
• Yangi iqtisodiy vaziyatda, dollar deyarli ikki baravar oshganida, xorijiy xizmatlardan ko'ra Rossiyaning bulutli xizmat ko'rsatuvchi provayderlari xizmatlaridan ko'proq foydalanish tendentsiyasi kuzatiladi.
• Axborot texnologiyalari bozorini, jumladan, Big Data bozorini rivojlantirishga yordam beruvchi texnoparklarni yaratish;
• Big Data texnologiyalariga asoslangan tarmoq tizimlarini joriy etish davlat dasturi.

Rossiya bozorida Big Data rivojlanishining asosiy to'siqlari quyidagilardir:

• Ma'lumotlarning xavfsizligi va maxfiyligini ta'minlash;
• Malakali kadrlar etishmasligi;
• Ko'pchilikda Big Data darajasiga qadar to'plangan axborot resurslarining etishmasligi Rossiya kompaniyalari;
• Kompaniyalarning tashkil etilgan axborot tizimlariga yangi texnologiyalarni joriy etishdagi qiyinchiliklar;
• Katta ma'lumotlar texnologiyalarining yuqori narxi, bu esa ushbu texnologiyalarni joriy etish imkoniyatiga ega bo'lgan korxonalarning cheklangan soniga olib keladi;
• Rossiyada kapitalning chiqib ketishiga va investitsiya loyihalarini muzlatishga olib kelgan siyosiy va iqtisodiy noaniqlik;
• Import qilinadigan mahsulotlar narxining oshishi va inflyatsiyaning o'sishi, IDC ma'lumotlariga ko'ra, butun IT bozorining rivojlanishiga to'sqinlik qilmoqda.

Rossiya bozori prognozi

Shunga qaramay, Rossiya bozori global tendentsiyalardan so'ng o'sib boradi. 2014 yil holatiga ko'ra, IDC bozor hajmini 340 million dollarga baholaydi.
O'tgan yillardagi bozor o'sish sur'ati yiliga 50% ni tashkil etdi, agar u o'sha darajada qolsa, 2018 yilda bozor hajmi 1,7 milliard AQSh dollariga etadi. Rossiya bozorining jahon bozoridagi ulushi hozirgi 1,2 foizdan oshib, qariyb 3 foizni tashkil etadi.

Rossiyada katta ma'lumotlardan foydalanishni eng ko'p qabul qiladigan tarmoqlarga quyidagilar kiradi:

• Chakana savdo va banklar, ular uchun, birinchi navbatda, mijozlar bazasini tahlil qilish, marketing kampaniyalarining ta'sirini baholash muhimdir;
• Telecom - mijozlar bazasini segmentatsiyalash va trafikni monetizatsiya qilish;
• Davlat sektori - hisobotlar, aholidan tushgan murojaatlar tahlili va boshqalar;
• Neft kompaniyalari - ish monitoringi va ishlab chiqarish va marketingni rejalashtirish;
• Energetika kompaniyalari - aqlli elektr energiya tizimlarini yaratish, operativ monitoring va prognozlash.

Bozor tahlilining asosiy natijalari

Jahon bozori

• bozor hajmi 28,5 mlrd AQSH dollarini tashkil etib, o‘tgan yilga nisbatan 45 foizga o‘sdi;
• Big Data bozori daromadining katta qismini xizmatlar tashkil etdi, ularning ulushi umumiy daromadning 40% ni tashkil etdi;
• Daromadning 36% Big Data ilovalari va analitikasidan, 17% hisoblash texnikasidan va 15% saqlash texnologiyalaridan;
• SAP, HANA va Oracle kabi kompaniyalarning xotiradagi platformalari Big Data muammolarini hal qilishda eng ommabop hisoblanadi.
• Big Data boshqaruvi sohasida loyihalarni amalga oshirgan kompaniyalar soni 125% ga oshdi;

• 2015 yilda bozor hajmi 38,4 milliard AQSh dollarini, 2020 yilda 68,7 milliard AQSh dollarini tashkil etadi;
• o'rtacha o'sish sur'ati yiliga 16% ni tashkil qiladi;
• kompaniyaning Big Data texnologiyalariga o'rtacha xarajatlari yirik kompaniyalar uchun 13,8 million dollar va kichik va o'rta biznes uchun 1,6 million dollarni tashkil qiladi;
• texnologiyalar mijozlarga xizmat ko'rsatish va maqsadli marketing sohalarida eng keng tarqalgan bo'ladi;
• 2017 yilda global bozor tuzilmasi rivojlanayotgan mamlakatlardan foydalanuvchi kompaniyalarning ustunligi tomon o'zgaradi.

Rossiya bozori

• bozor hajmi 340 million AQSH dollariga yetdi;
• o'tgan yillardagi o'rtacha bozor o'sish sur'ati yiliga 50% ni tashkil etdi;
• to'plangan ma'lumotlarning umumiy hajmi 155 ekzabaytni tashkil etdi;
• Rossiya kompaniyalarining 10 foizi Big Data texnologiyalaridan foydalanishni boshladi;
• Katta ma'lumotlar texnologiyalari bank sektori, telekom, internet kompaniyalari va chakana savdoda ko'proq mashhur edi.

• 2015 yilda Rossiya bozorining hajmi 500 million AQSh dollariga, 2018 yilda esa 1,7 milliard AQSh dollariga etadi;
• Rossiya bozorining jahon bozoridagi ulushi 2018 yilda taxminan 3% ni tashkil qiladi;
• 2020 yilda to'plangan ma'lumotlar miqdori 980 ekzabaytni tashkil qiladi;
• ma'lumotlar 2020 yilda global ma'lumotlarning 2,2% gacha o'sadi;
• ma'lumotlarni vizualizatsiya qilish texnologiyalari, media fayllarni tahlil qilish va narsalarning Interneti eng mashhur bo'ladi.

Ushbu katta hajmli asarni o'qishga vaqt ajratganingiz uchun tashakkur, bizning blogimizga obuna bo'ling - biz ko'plab yangi qiziqarli nashrlarni va'da qilamiz!

Katta ma'lumotlar (yoki katta ma'lumotlar) - bu katta hajmdagi tuzilgan yoki tuzilmagan ma'lumotlar bilan ishlash usullari to'plami. Katta ma'lumotlar bo'yicha mutaxassislar vizual, inson tomonidan seziladigan natijalarni olish uchun ularni qayta ishlash va tahlil qilish bilan shug'ullanadilar. Look At Me professionallar bilan suhbatlashdi va Rossiyada katta ma'lumotlarni qayta ishlash bilan bog'liq vaziyat qanday ekanligini, bu sohada ishlashni istaganlar uchun qayerda va nimani o'rganish yaxshiroq ekanligini aniqladi.

Aleksey Ryvkin katta ma'lumotlar, mijozlar bilan muloqot va raqamlar dunyosi sohasidagi asosiy yo'nalishlar haqida

Men Moskva elektron texnologiyalar institutida o‘qiganman. Men u erdan chiqishga muvaffaq bo'lgan asosiy narsa bu fizika va matematika bo'yicha fundamental bilimlar edi. O'qishim bilan bir vaqtda men ilmiy-tadqiqot markazida ishladim, u erda ma'lumotlarni xavfsiz uzatish uchun xatolarni tuzatuvchi kodlash algoritmlarini ishlab chiqish va amalga oshirish bilan shug'ullandim. Bakalavriatni tamomlab, Oliy Iqtisodiyot maktabining biznes informatika yo‘nalishi bo‘yicha magistraturaga o‘qishga kirdim. Shundan so'ng men IBSda ishlashni xohladim. Menga omad kulib boqdiki, o‘sha paytda ko‘p sonli loyihalar tufayli stajyorlarni qo‘shimcha jalb qilish bo‘lib o‘tdi va bir necha intervyulardan so‘ng Rossiyaning ushbu sohadagi eng yirik kompaniyalaridan biri bo‘lgan IBSda ishlay boshladim. Uch yil ichida men stajyorlikdan korxona yechimlari arxitektoriga aylandim. Hozir men moliyaviy va telekommunikatsiya sohalaridagi mijozlar kompaniyalari uchun Big Data texnologiyalari tajribasini rivojlantirmoqdaman.

Katta ma'lumotlar bilan ishlashni xohlovchilar uchun ikkita asosiy mutaxassislik mavjud: katta ma'lumotlar bilan ishlash texnologiyalarini yaratuvchi tahlilchilar va IT-maslahatchilar. Bundan tashqari, Big Data Analyst kasbi, ya'ni mijozning IT platformasi bilan bevosita ma'lumotlar bilan ishlaydigan odamlar haqida ham gapirish mumkin. Ilgari bular statistika va matematikani biladigan va statistik dasturiy ta'minot yordamida ma'lumotlarni tahlil qilish muammolarini hal qiladigan oddiy matematik tahlilchilar edi. Bugungi kunda, statistika va matematika bilimlaridan tashqari, texnologiya va ma'lumotlarning hayot aylanishini tushunish ham talab qilinadi. Bu, mening fikrimcha, zamonaviy Data Analyst va avvalgi tahlilchilar o'rtasidagi farq.

Mening mutaxassisligim - IT-konsalting, ya'ni men mijozlarga IT texnologiyalaridan foydalangan holda biznes muammolarini hal qilish usullarini o'ylab topaman va taklif qilaman. Odamlar maslahatga kelishadi turli tajribalar, ammo bu kasb uchun eng muhim fazilatlar - mijozning ehtiyojlarini tushunish qobiliyati, odamlar va tashkilotlarga yordam berish istagi, yaxshi muloqot va jamoaviy ko'nikmalar (chunki u har doim mijoz bilan va jamoada ishlaydi), yaxshi analitik ko'nikmalar. Ichki motivatsiya juda muhim: biz raqobat muhitida ishlaymiz, mijoz esa g'ayrioddiy echimlarni va ishga qiziqishni kutmoqda.

Ko'p vaqtim mijozlar bilan muloqot qilish, ularning biznes ehtiyojlarini rasmiylashtirish va eng mos texnologiya arxitekturasini ishlab chiqishda yordam berishga sarflanadi. Bu erda tanlov mezonlari o'ziga xos xususiyatga ega: funktsionallik va TCO (to'liq egalik qiymati - egalik qilishning umumiy qiymati) dan tashqari, tizim uchun funktsional bo'lmagan talablar juda muhim, ko'pincha bu javob vaqti, ma'lumotlarni qayta ishlash vaqti. Mijozni ishontirish uchun biz tez-tez kontseptsiyani isbotlovchi yondashuvdan foydalanamiz - texnologiya ishlashiga ishonch hosil qilish uchun texnologiyani biron bir vazifada, tor ma'lumotlar to'plamida bepul "sinovdan" o'tkazishni taklif qilamiz. Yechim qo'shimcha imtiyozlar (masalan, x-sotish, o'zaro sotish) olish orqali mijoz uchun raqobatdosh ustunlikni yaratishi yoki biznesning qandaydir muammosini hal qilishi kerak, aytaylik, kredit firibgarligining yuqori darajasini kamaytirishi kerak.

Agar mijozlar tayyor vazifa bilan kelishsa, bu ancha oson bo'lar edi, lekin ular bir necha yil ichida bozorni o'zgartira oladigan inqilobiy texnologiya borligini tushunmaguncha

Qanday muammolarga duch kelishingiz kerak? Bozor hali katta ma'lumotlar texnologiyalaridan foydalanishga tayyor emas. Agar mijozlar tayyor topshiriq bilan kelishsa, ancha oson bo'lar edi, lekin ular bir necha yil ichida bozorni o'zgartira oladigan inqilobiy texnologiya paydo bo'lganini tushunishmaydi. Shuning uchun biz, aslida, startap rejimida ishlaymiz - biz nafaqat texnologiyalarni sotamiz, balki har safar mijozlarni ushbu yechimlarga sarmoya kiritishlari kerakligiga ishontiramiz. Bu vizyonerlarning shunday pozitsiyasi - biz mijozlarga ma'lumotlar va IT ishtirokida o'z bizneslarini qanday o'zgartirishi mumkinligini ko'rsatamiz. Biz ushbu yangi bozorni - Big Data sohasida tijorat IT konsalting bozorini yaratmoqdamiz.

Agar biror kishi Big Data sohasida ma'lumotlarni tahlil qilish yoki IT-konsalting bilan shug'ullanmoqchi bo'lsa, unda birinchi navbatda yaxshi matematik ma'lumotga ega bo'lgan matematik yoki texnik ta'lim muhim ahamiyatga ega. SAS, Hadoop, R tili yoki IBM yechimlari kabi maxsus texnologiyalarni o'zlashtirish ham foydalidir. Bundan tashqari, siz Big Data uchun ilovalarga faol qiziqishingiz kerak - masalan, bank yoki mijozlarning hayot aylanishini boshqarishda yaxshilangan kredit skoring uchun ulardan qanday foydalanish mumkin. Bu va boshqa bilimlarni mavjud manbalardan olish mumkin: masalan, Coursera va Big Data University. Shuningdek, Pensilvaniyadagi Uorton universitetida Mijozlarni tahlil qilish tashabbusi mavjud bo'lib, u erda juda ko'p qiziqarli materiallar nashr etilgan.

Bizning sohamizda ishlashni istaganlar uchun jiddiy muammo - bu Big Data haqida aniq ma'lumot etishmasligi. Siz kitob do'koniga yoki biron bir veb-saytga borib, masalan, banklardagi Big Data texnologiyalarining barcha ilovalari bo'yicha to'liq holatlar to'plamini olishingiz mumkin emas. Bunday qo'llanmalar yo'q. Ma'lumotlarning bir qismi kitoblarda topiladi, boshqa qismi konferentsiyalarda to'planadi, ba'zilari esa o'zingiz hal qilishingiz kerak.

Yana bir muammo shundaki, tahlilchilar raqamlar olamida qulay, lekin biznesda ular har doim ham qulay emas. Bu odamlar ko'pincha introvert, muloqot qilishda qiyinchiliklarga duch kelishadi va shuning uchun tadqiqot natijalarini mijozlarga ishonchli tarzda etkazish qiyin. Ushbu ko'nikmalarni rivojlantirish uchun men "Piramida printsipi", "Diagrammalar tilida gapiring" kabi kitoblarni tavsiya qilaman. Ular taqdimot ko'nikmalarini rivojlantirishga yordam beradi, fikrlaringizni qisqa va aniq ifodalaydi.

Bu Oliy Iqtisodiyot maktabida o‘qiyotganimda turli keys chempionatlarida qatnashishimga katta yordam berdi. Keys chempionatlari talabalar uchun intellektual musobaqalar bo'lib, unda siz biznes muammolarini o'rganishingiz va ularga yechim taklif qilishingiz kerak. Ular ikki shaklda bo'ladi: McKinsey, BCG, Accenture kabi konsalting firmalari bo'yicha chempionatlari va Changellenge kabi mustaqil biznes chempionatlari. Ularda qatnasha turib, ko‘rishni, qaror qabul qilishni o‘rgandim qiyin vazifalar- muammoni aniqlash va uni tuzishdan boshlab uni hal qilish bo'yicha tavsiyalarni himoya qilishgacha.

Oleg Mixalskiy Rossiya bozori va katta ma'lumotlar sohasida yangi mahsulotni yaratishning o'ziga xos xususiyatlari haqida

Acronisga qo'shilishdan oldin men boshqa kompaniyalarda bozorga yangi mahsulotlarni chiqarishda ishtirok etganman. Bu har doim qiziqarli va ayni paytda qiyin, shuning uchun men darhol bulutli xizmatlar va ma'lumotlarni saqlash echimlari ustida ishlash imkoniyatiga qiziqib qoldim. Bu sohada mening IT-sanoatidagi barcha oldingi tajribalarim, jumladan, o'zimning I-accelerator startap loyiham foydali bo'ldi. Bu shuningdek, asosiy muhandislikdan tashqari biznes ta'limiga (MBA) ega bo'lishga yordam berdi.

Rossiyada yirik kompaniyalar - banklar, uyali aloqa operatorlari va boshqalar katta ma'lumotlarni tahlil qilishga muhtoj, shuning uchun mamlakatimizda bu sohada ishlashni xohlaydiganlar uchun istiqbollar mavjud. To‘g‘ri, hozirda ko‘plab loyihalar integratsiya, ya’ni xorijiy ishlanmalar yoki ochiq kodli texnologiyalar asosida amalga oshirilmoqda. Bunday loyihalarda printsipial jihatdan yangi yondashuvlar va texnologiyalar yaratilmaydi, aksincha, mavjud ishlanmalar moslashtiriladi. Acronis-da biz boshqa yo'lni tanladik va mavjud alternativalarni tahlil qilib, o'z rivojlanishimizga sarmoya kiritishga qaror qildik, natijada katta ma'lumotlarni ishonchli saqlash tizimi, masalan, Amazon S3-dan kam bo'lmagan, ammo ishonchli ishlaydi. va samaraliroq va ancha kichikroq miqyosda. Katta ma'lumotlar bo'yicha o'z ishlanmalari ham mavjud yirik internet kompaniyalari, lekin ular tashqi mijozlar ehtiyojlarini qondirishdan ko'ra ko'proq ichki ehtiyojlarga qaratilgan.

Katta ma'lumotlarni qayta ishlash sohasiga ta'sir qiluvchi tendentsiyalar va iqtisodiy kuchlarni tushunish muhimdir. Buning uchun siz ko'p o'qishingiz, IT-sanoat sohasidagi nufuzli mutaxassislarning nutqlarini tinglashingiz, tematik konferentsiyalarda qatnashishingiz kerak. Endi deyarli har bir konferentsiyada Big Data haqida bo'lim bor, lekin ularning barchasi bu haqda boshqa tomondan gapiradi: texnologiya, biznes yoki marketing nuqtai nazaridan. Siz ushbu mavzu bo'yicha loyihalari mavjud bo'lgan kompaniyada loyiha ishiga yoki amaliyotga borishingiz mumkin. Agar siz o'z qobiliyatingizga ishonchingiz komil bo'lsa, Big Data sohasida startap tashkil etishga hali kech emas.

Bozor bilan doimiy aloqasiz yangi rivojlanish talab qilinmaslik xavfini tug'diradi

To'g'ri, siz yangi mahsulot uchun mas'ul bo'lganingizda, bozor tahlili va muloqotga ko'p vaqt sarflanadi potentsial mijozlar, hamkorlar, mijozlar va ularning ehtiyojlari haqida ko'p narsalarni biladigan professional tahlilchilar. Bozor bilan doimiy aloqada bo'lmasa, yangi rivojlanish talab qilinmaslik xavfini tug'diradi. Har doim juda ko'p noaniqliklar mavjud: siz birinchi foydalanuvchilar (erta qabul qiluvchilar) kim bo'lishini, ular uchun nimaga ega ekanligingizni va keyin ommaviy auditoriyani qanday jalb qilishni tushunishingiz kerak. Ikkinchi eng muhim vazifa - ishlab chiquvchilarni ba'zi talablar hali ham o'zgarishi mumkin bo'lgan va ustuvorliklarga bog'liq bo'lgan bunday sharoitlarda ishlashga undash uchun yakuniy mahsulotning aniq va yaxlit tasavvurini shakllantirish va etkazishdir. fikr-mulohaza birinchi mijozlardan keladi. Shu sababli, bir tomondan mijozlarning, boshqa tomondan esa ishlab chiquvchilarning umidlarini boshqarish muhim vazifadir. Shunday qilib, ularning hech biri qiziqishni yo'qotmaydi va loyihani oxiriga etkazmaydi. Birinchisidan keyin muvaffaqiyatli loyiha osonlashadi va asosiy muammo yangi biznes uchun to'g'ri o'sish modelini topish bo'ladi.

Bir vaqtlar men "Katta ma'lumotlar" atamasini German Grefdan (Sberbank rahbari) eshitganman. Masalan, ular hozir faol ravishda amalga oshirish ustida ishlamoqda, chunki bu ularga har bir mijoz bilan ishlash vaqtini qisqartirishga yordam beradi.

Ikkinchi marta men ushbu kontseptsiyani mijozning onlayn-do'konida uchratdim, u erda biz ishladik va assortimentni bir necha mingdan bir necha o'n minglab tovarlargacha oshirdik.

Uchinchi marta men Yandex katta ma'lumotlar tahlilchisi kerakligini ko'rdim. Keyin men ushbu mavzuni chuqurroq o'rganishga qaror qildim va shu bilan birga TOP-menejerlar va Internet makonini hayajonlantiradigan qanday atama ekanligini aytib beradigan maqola yozishga qaror qildim.

VVV yoki VVVVV

Men odatda maqolalarimni qanday atama ekanligini tushuntirish bilan boshlayman. Ushbu maqola bundan mustasno bo'lmaydi.

Biroq, bu, birinchi navbatda, qanchalik aqlli ekanligimni ko'rsatish istagi bilan bog'liq emas, balki mavzu haqiqatan ham murakkab va diqqat bilan tushuntirishni talab qiladi.

Misol uchun, siz Vikipediyada katta ma'lumotlar nima ekanligini o'qishingiz mumkin, hech narsani tushunmayapsiz, keyin ta'rifi va biznes uchun qo'llanilishini tushunish uchun ushbu maqolaga qaytishingiz mumkin. Shunday qilib, keling, tavsifdan boshlaylik, keyin esa biznes misollariga.

Katta ma'lumotlar - bu katta ma'lumotlar. Ajoyib, to'g'rimi? Aslida, ingliz tilidan "katta ma'lumotlar" deb tarjima qilingan. Ammo bu ta'rif, deyish mumkinki, qo'g'irchoqlar uchun.

Muhim. Katta ma'lumotlar texnologiyasi - bu an'anaviy usullar bilan ishlov berish qiyin bo'lgan yangi ma'lumotlarni olish uchun ko'proq ma'lumotlarni qayta ishlashning yondashuvi/usuli.

Ma'lumotlar qayta ishlangan (tuzilgan) va qismlarga bo'lingan (ya'ni tuzilmagan) bo'lishi mumkin.

Bu atamaning o'zi nisbatan yaqinda paydo bo'lgan. 2008 yilda ilmiy jurnal bu yondashuvni eksponent ravishda o'sib borayotgan katta hajmdagi ma'lumotlar bilan kurashish uchun zarur bo'lgan narsa deb taxmin qildi.

Misol uchun, har yili Internetda saqlanishi kerak bo'lgan va, albatta, qayta ishlanishi kerak bo'lgan ma'lumotlar 40% ga oshadi. Yana bir marta. +40% har yili Internetda yangi ma'lumotlar paydo bo'ladi.

Agar chop etilgan hujjatlar tushunarli bo'lsa va ularni qayta ishlash usullari ham tushunarli bo'lsa (elektron shaklga o'tkazish, bitta papkaga yopishtirish, raqamlangan), unda butunlay boshqa "tashuvchilar" va boshqa hajmlarda taqdim etilgan ma'lumotlar bilan nima qilish kerak:

• Internet hujjatlari;
• bloglar va ijtimoiy tarmoqlar;
• audio/video manbalari;
• o'lchash asboblari;

Axborot va ma'lumotlarni katta ma'lumotlar sifatida tasniflash imkonini beradigan xususiyatlar mavjud.

Ya'ni, barcha ma'lumotlar tahlil qilish uchun mos kelmasligi mumkin. Bu xususiyatlar katta ma'lumotlarning asosiy tushunchasini o'z ichiga oladi. Ularning barchasi uchta V ga to'g'ri keladi.

1. Hajmi (ingliz tilidan). Ma'lumotlar tahlil qilinadigan "hujjat" ning jismoniy hajmi bo'yicha o'lchanadi;
2. Tezlik (inglizcha tezlikdan). Ma'lumotlar uning rivojlanishida turmaydi, lekin doimiy ravishda o'sib boradi, shuning uchun natijalarga erishish uchun ularni tezda qayta ishlash kerak;
3. Varete (inglizcha xilma-xillikdan). Ma'lumotlar bir xil bo'lmasligi mumkin. Ya'ni, ular parchalangan, tuzilgan yoki qisman tuzilgan bo'lishi mumkin.

Biroq, vaqti-vaqti bilan VVV ga to'rtinchi V (haqiqiylik - ma'lumotlarning ishonchliligi / ishonchliligi) va hatto beshinchi V qo'shiladi (ba'zi hollarda bu hayotiylik - yashovchanlik, boshqalarida bu qiymat).

Biror joyda men hatto katta ma'lumotlar bilan bog'liq ma'lumotlarni tavsiflovchi 7V ni ko'rdim. Lekin mening fikrimcha, bu ketma-ketlikdan (bu erda Plar vaqti-vaqti bilan qo'shiladi, garchi tushunish uchun boshlang'ich 4 etarli bo'lsa ham).

Kimga kerak?

Oʻrnidan turadi mantiqiy savol, axborotdan qanday foydalanish mumkin (agar biror narsa bo'lsa, katta ma'lumotlar yuzlab va minglab terabaytlarni tashkil qiladi)? Hatto bunday emas.

Mana ma'lumot. Xo'sh, nega ular katta ma'lumotlarni o'ylab topishdi? Marketing va biznesda katta ma'lumotlardan qanday foydalanish kerak?

1. An'anaviy ma'lumotlar bazalari juda katta hajmdagi ma'lumotlarni saqlay olmaydi va qayta ishlay olmaydi (men hozir tahlillar haqida gapirmayapman, shunchaki saqlash va qayta ishlash).

   Katta ma'lumotlar ushbu asosiy muammoni hal qiladi. Katta hajmdagi ma'lumotlarni muvaffaqiyatli saqlaydi va boshqaradi;

2. Tuzilmalar haqida ma'lumotlar keladi turli manbalar(video, tasvirlar, audio va matnli hujjatlar) yagona, tushunarli va hazm bo'ladigan shaklda;
3. Strukturaviy va qayta ishlangan ma'lumotlar asosida tahlilni shakllantirish va aniq prognozlarni yaratish.

Bu qiyin. Oddiy qilib aytganda, agar siz katta hajmdagi ma'lumotlarni (siz, kompaniyangiz, raqobatchilaringiz, sohangiz) o'rgansangiz, juda munosib natijalarga erishishingiz mumkinligini tushunadigan har qanday marketolog:

• Raqamlar nuqtai nazaridan kompaniyangiz va biznesingizni to'liq tushunish;
• Raqobatchilaringizni o'rganing. Bu esa, o'z navbatida, ularga hukmronlik qilib, oldinga borishga imkon beradi;
• Bilmoq yangi ma'lumotlar mijozlaringiz haqida.

Va aniq katta ma'lumotlar texnologiyasi quyidagi natijalarni bergani uchun hamma unga shoshiladi.

Ular sotishni ko'paytirish va xarajatlarni kamaytirish uchun ushbu biznesni o'z kompaniyalariga aylantirishga harakat qilmoqdalar. Va aniqroq bo'lish uchun:

1. O'zaro savdoni va yuqoriga sotishni oshiring yaxshiroq bilim mijozlarning afzalliklari;
2. Mashhur mahsulotlarni va ularni nima uchun sotib olish sabablarini qidiring (va aksincha);
3. Mahsulot yoki xizmatni yaxshilash;
4. Xizmat ko'rsatish darajasini oshirish;
5. Mijozlarga sodiqlik va e'tiborni oshirish;
6. Firibgarlikning oldini olish (bank sektori uchun ko'proq tegishli);
7. Ortiqcha xarajatlarni kamaytirish.

Barcha manbalarda keltirilgan eng keng tarqalgan misol, albatta, Apple kompaniyasi, u o'z foydalanuvchilari (telefon, soat, kompyuter) haqidagi ma'lumotlarni to'playdi.

Ekotizim mavjudligi tufayli korporatsiya o'z foydalanuvchilari haqida juda ko'p narsani biladi va kelajakda undan foyda olish uchun foydalanadi.

Ushbu va boshqa foydalanish misollarini ushbu maqoladan tashqari har qanday boshqa maqolada o'qishingiz mumkin.

Keling, kelajakka boraylik

Men sizga boshqa loyiha haqida aytib beraman. Toʻgʻrirogʻi, katta maʼlumotlar yechimlari yordamida kelajakni quruvchi shaxs haqida.

Bu Ilon Mask va uning kompaniyasi Tesla. Uning asosiy orzusi mashinalarni avtonom qilish, ya'ni siz rulga o'tirasiz, Moskvadan Vladivostokgacha avtopilotni yoqasiz va ... uxlab qolasiz, chunki siz umuman mashina haydashingiz shart emas, chunki u qiladi. hammasining o'zi.

Bu fantastik tuyuladimi? Lekin yoq! Shunchaki, Ilon o‘nlab sun’iy yo‘ldoshlar yordamida mashinalarni boshqaradigan Google’dan ancha donoroq harakat qilgan. Va boshqa tomonga ketdi:

1. Har bir sotilgan mashina barcha ma'lumotlarni to'playdigan kompyuter bilan jihozlangan.

   Hamma hamma narsani anglatadi. Haydovchi, uning haydash uslubi, atrofdagi yo'llar, boshqa mashinalarning harakati haqida. Bunday ma'lumotlarning hajmi soatiga 20-30 GB ga etadi;

2. Bundan tashqari, ushbu ma'lumot sun'iy yo'ldosh orqali ushbu ma'lumotlarni qayta ishlaydigan markaziy kompyuterga uzatiladi;
3. Ushbu kompyuter ishlov beradigan katta ma'lumotlarga asoslanib, uchuvchisiz transport vositasining modeli yaratilgan.

Aytgancha, agar Google juda yomon ishlayotgan bo'lsa va ularning mashinalari doimo baxtsiz hodisalarga uchrasa, Mask, ish olib borilmoqda katta ma'lumotlar bilan ishlar ancha yaxshi, chunki test modellari juda yaxshi natijalarni ko'rsatadi.

https://youtu.be/lc2ZVUZ6kno

Lekin... Hamma gap iqtisod bilan bog‘liq. Hammamiz foyda haqida nima deymiz, ha foyda haqida? Katta ma'lumotlar hal qila oladigan ko'p narsa daromad va pul bilan bog'liq emas.

Katta ma'lumotlarga asoslangan Google statistikasi qiziqarli narsani ko'rsatadi.

Shifokorlar mintaqada kasallikning epidemiyasi boshlanganini e'lon qilishdan oldin, ushbu mintaqada ushbu kasallikni davolash uchun qidiruv so'rovlari soni sezilarli darajada oshadi.

Shunday qilib, ma'lumotlarni to'g'ri o'rganish va ularni tahlil qilish prognozlarni shakllantirishi va epidemiyaning boshlanishini (va shunga mos ravishda uning oldini olish) hokimiyatning fikri va ularning harakatlaridan ko'ra tezroq bashorat qilishi mumkin.

Rossiyada ariza

Biroq, Rossiya, har doimgidek, biroz sekinlashadi. Shunday qilib, Rossiyada katta ma'lumotlarning ta'rifi 5 yil oldin paydo bo'lgan (men hozir oddiy kompaniyalar haqida gapiryapman).

Va bu dunyodagi eng tez rivojlanayotgan bozorlardan biri bo'lishiga qaramay (giyohvand moddalar va qurollar asabiy ravishda chekishadi), chunki har yili katta ma'lumotlarni to'plash va tahlil qilish uchun dasturiy ta'minot bozori 32% ga o'sadi.

Rossiyadagi katta ma'lumotlar bozorini tavsiflash uchun men eski hazilni eslayman. Katta uchrashuv 18 yoshdan oldin jinsiy aloqaga o'xshaydi.

Hamma bu haqda gapiradi, uning atrofida shov-shuv ko'p va haqiqiy harakatlar kam va hamma o'zlari buni qilmayotganini tan olishdan uyaladilar. Darhaqiqat, bu borada juda ko'p shov-shuvlar bor, lekin haqiqiy harakatlar kam.

Taniqli Gartner tadqiqot kompaniyasi 2015 yilda katta ma'lumotlar endi ortib borayotgan tendentsiya emasligini e'lon qilgan bo'lsa-da (aytmoqchi, sun'iy intellekt), ammo ilg'or texnologiyalarni tahlil qilish va rivojlantirish uchun mutlaqo mustaqil vositalar.

Rossiyada katta ma'lumotlardan foydalaniladigan eng faol bo'shliqlar bu banklar / sug'urta (maqolani Sberbank rahbari bilan boshlaganim sababsiz emas), telekommunikatsiya, chakana savdo, ko'chmas mulk va ... davlat sektori.

Misol uchun, men sizga katta ma'lumotlar algoritmlaridan foydalanadigan iqtisodiyotning bir nechta tarmoqlari haqida batafsil aytib beraman.

Banklar

Keling, banklar va ular biz va faoliyatimiz haqida to'playdigan ma'lumotlardan boshlaylik. Masalan, men katta ma'lumotlarga faol sarmoya kiritayotgan Rossiyaning TOP-5 bankini oldim:

1. Sberbank;
2. Gazprombank;
3. VTB 24;
4. Alfa Bank;
5. Tinkoff banki.

Rossiya rahbarlari orasida Alfa Bankni ko'rish ayniqsa yoqimli. Hech bo'lmaganda, bank, rasmiy hamkor siz kimsiz, kompaniyangizga yangi marketing vositalarini joriy etish zarurligini tushunadi.

Ammo men bankdagi katta ma'lumotlardan foydalanish va muvaffaqiyatli amalga oshirish misollarini ko'rsatmoqchiman, bu menga uning asoschisining nostandart ko'rinishi va harakatlari uchun yoqadi.

Men Tinkoff Bank haqida gapiryapman. Ularning asosiy vazifasi mijozlar bazasining ko'payishi tufayli real vaqt rejimida katta ma'lumotlarni tahlil qilish tizimini ishlab chiqish edi.

Natijalar: ichki jarayonlarning vaqti kamida 10 barobar, ba'zilarida esa 100 barobardan ko'proq qisqardi.

Xo'sh, biroz chalg'itish. Bilasizmi, nega men Oleg Tinkovning nostandart g'alayonlari va harakatlari haqida gapira boshladim?

Shunchaki, mening fikrimcha, unga Rossiyada minglab odamlar yashaydigan o'rta sinf biznesmenidan eng mashhur va taniqli tadbirkorlardan biriga aylanishiga yordam berganlar. Buni isbotlash uchun ushbu noodatiy va qiziqarli videoni tomosha qiling:

https://youtu.be/XHMaD5HAvfk

Ko `chmas mulk

Ko'chmas mulkda ishlar ancha murakkab. Va bu oddiy biznesdagi katta sanani tushunish uchun men sizga bermoqchi bo'lgan misoldir. Dastlabki ma'lumotlar:

1. Matnli hujjatlarning katta hajmi;
2. Ochiq manbalar (erning o'zgarishi ma'lumotlarini uzatuvchi xususiy sun'iy yo'ldoshlar);
3. Internetdagi nazoratsiz ma'lumotlarning katta miqdori;
4. Manbalar va ma'lumotlarning doimiy o'zgarishi.

Va bunga asoslanib, siz xarajatlarni tayyorlashingiz va baholashingiz kerak yer uchastkasi, masalan, Ural qishlog'i ostida. Professional uchun bir hafta kerak bo'ladi.

Haqiqatan ham dasturiy ta'minot yordamida katta ma'lumotlar tahlilini amalga oshirgan Rossiya baholovchilar va ROSEKO jamiyati 30 daqiqadan ko'proq vaqt talab qilmaydi. Taqqoslang, bir hafta va 30 daqiqa. Katta farq.

Xo'sh, gazak uchun

Albatta, oddiy qattiq disklarda katta hajmdagi ma'lumotlarni saqlash va qayta ishlash mumkin emas.

Va ma'lumotlarni tuzadigan va tahlil qiladigan dasturiy ta'minot odatda intellektual mulk bo'lib, har safar muallif tomonidan ishlab chiqilgan. Biroq, bu joziba yaratadigan vositalar mavjud:

• Hadoop va MapReduce;
• NoSQL ma'lumotlar bazalari;
• Data Discovery klassi vositalari.

Rostini aytsam, men sizga ularning bir-biridan qanday farq qilishini aniq tushuntira olmayman, chunki bu narsalar bilan tanishish va ishlash fizika-matematika institutlarida o'qitiladi.

Agar tushuntira olmasam, nega men bu haqda gapira boshladim? Esingizdami, barcha filmlarda qaroqchilar har qanday bankka kirib, simlarga ulangan juda ko'p turli xil temir bo'laklarini ko'rishadi?

Xuddi shu narsa katta ma'lumotlar uchun ham amal qiladi. Misol uchun, bu erda hozirda bozorda eng etakchilardan biri bo'lgan model.

Katta sana vositasi

Maksimal konfiguratsiyadagi narx har bir raf uchun 27 million rublga etadi. Bu, albatta, lyuks versiyasi. Aytmoqchimanki, siz o'z biznesingizda oldindan katta ma'lumotlarni yaratishga harakat qilasiz.

Asosiysi haqida qisqacha

Siz so'rashingiz mumkin, nima uchun siz, kichik va o'rta biznes, katta ma'lumotlar bilan ishlaysiz?

Bunga men sizga bir kishining iqtibos bilan javob beraman: "Yaqin kelajakda mijozlar o'zlarining xatti-harakatlarini, odatlarini yaxshiroq tushunadigan va iloji boricha ularga mos keladigan kompaniyalarga muhtoj bo'lishadi."

Ammo tan olaylik. Kichik biznesda katta ma'lumotlarni joriy qilish uchun nafaqat dasturiy ta'minotni ishlab chiqish va joriy etish uchun katta byudjetlarga ega bo'lish, balki hech bo'lmaganda katta ma'lumotlar tahlilchisi va tizim administratori kabi mutaxassislarga xizmat ko'rsatish uchun ham zarurdir.

Va endi men sizda qayta ishlash uchun bunday ma'lumotlarga ega bo'lishingiz kerakligi haqida jimman.

OK. Kichik biznes uchun mavzu deyarli qo'llanilmaydi. Ammo bu siz yuqorida o'qigan hamma narsani unutishingiz kerak degani emas.

Faqat o'zingizning ma'lumotlaringizni emas, balki taniqli xorijiy va Rossiya kompaniyalarining ma'lumotlar tahlili natijalarini o'rganing.

Misol uchun, Target chakana savdo tarmog'i katta ma'lumotlar tahlilidan foydalangan holda, homilador ayollar homiladorlikning ikkinchi trimestriga qadar (homiladorlikning 1-dan 12-haftasigacha) xushbo'y bo'lmagan mahsulotlarni faol ravishda sotib olishlarini aniqladi.

Ushbu ma'lumotlar bilan ular cheklangan yaroqlilik muddati bo'lgan hidsiz mahsulotlar uchun chegirma kuponlarini yuborishadi.

Va agar siz juda kichik kafe bo'lsangiz, masalan? Ha, juda oddiy. Sodiqlik ilovasidan foydalaning.

Va bir muncha vaqt o'tgach va to'plangan ma'lumotlar tufayli siz mijozlarga nafaqat ularning ehtiyojlariga mos keladigan taomlarni taklif qila olasiz, balki sichqonchani bir necha marta bosish bilan eng sotilmagan va eng marginal taomlarni ko'rishingiz mumkin.

Demak, xulosa. Kichik biznes uchun katta ma'lumotlarni joriy qilish qiyin, ammo boshqa kompaniyalarning natijalari va ishlanmalaridan foydalanish shart.

2011 yilda yaratilgan va takrorlangan ma'lumotlarning umumiy global hajmi taxminan 1,8 zettabayt (1,8 trillion gigabayt) bo'lishi mumkinligi bashorat qilingan edi - bu 2006 yilda yaratilganidan taxminan 9 baravar ko'p.

Keyinchalik murakkab ta'rif

Shunga qaramay` katta ma'lumotlar` katta hajmdagi ma'lumotlarni tahlil qilishdan ko'proq narsani o'z ichiga oladi. Muammo shundaki, tashkilotlar katta hajmdagi ma'lumotlarni yaratadilar, lekin ularning aksariyati an'anaviy tuzilgan ma'lumotlar bazasi formatiga mos kelmaydigan formatda taqdim etiladi - bu veb-jurnallar, videolar, matnli hujjatlar, mashina kodi yoki Masalan, geofazoviy ma'lumotlar. Bularning barchasi turli xil omborlarda, ba'zan hatto tashkilotdan tashqarida saqlanadi. Natijada, korporatsiyalar o'zlarining katta hajmdagi ma'lumotlariga kirishlari mumkin, ammo yo'q zarur vositalar ushbu ma'lumotlar o'rtasidagi munosabatlarni o'rnatish va ular asosida yaratish muhim topilmalar. Bunga ma'lumotlarning tez-tez yangilanishini qo'shing va siz axborotni tahlil qilishning an'anaviy usullari doimiy yangilanib turadigan katta hajmdagi ma'lumotlarga mos kela olmaydigan vaziyatga duch kelasiz, bu esa oxir-oqibat texnologiyaga yo'l ochadi. katta ma'lumotlar.

Eng yaxshi ta'rif

Umuman olganda, kontseptsiya katta ma'lumotlar ish samaradorligini oshirish, yangi mahsulotlarni yaratish va raqobatbardoshlikni oshirish uchun juda tez-tez yangilanadigan va turli manbalarda joylashgan katta hajmli va xilma-xil tarkibdagi ma'lumotlar bilan ishlashni o'z ichiga oladi. Forrester konsalting kompaniyasi buni qisqacha aytadi: ` katta ma'lumotlar amaliylikning o'ta chegarasida ma'lumotlardan ma'no chiqaradigan texnika va texnologiyalarni birlashtiradi.

Biznes razvedkasi va katta ma'lumotlar o'rtasidagi farq qanchalik katta?

Fujitsu Avstraliya kompaniyasining marketing bo'yicha bosh direktori va bosh texnologiya direktori Kreyg Bati biznes tahlili natijalarni tahlil qilishning tavsiflovchi jarayoni ekanligini ta'kidladi. biznes orqali erishiladi ma'lum bir vaqt ichida, ishlov berish tezligi esa katta ma'lumotlar tahlilni bashorat qilish imkonini beradi, kelajak uchun biznes tavsiyalarini taklif qila oladi. Katta ma'lumotlar texnologiyalari, shuningdek, biznes razvedkasi vositalariga qaraganda ko'proq turdagi ma'lumotlarni tahlil qilish imkonini beradi, bu nafaqat tuzilgan saqlashga e'tibor qaratish imkonini beradi.

O "Reilly Radar" dan Mett Slocum ishonadi, garchi katta ma'lumotlar va ishbilarmonlik razvedkasining maqsadi bir (savolga javob topish), ular bir-biridan uch jihati bilan farqlanadi.

• Katta ma'lumotlar biznes razvedkasiga qaraganda katta hajmdagi ma'lumotlarni qayta ishlash uchun mo'ljallangan va bu, albatta, katta ma'lumotlarning an'anaviy ta'rifiga mos keladi.
• Katta ma'lumotlar tezroq va tezroq o'zgaruvchan ma'lumotni qayta ishlash uchun mo'ljallangan, bu chuqur izlanish va interaktivlikni anglatadi. Ba'zi hollarda natijalar veb-sahifa yuklanishidan tezroq hosil bo'ladi.
• Katta ma'lumotlar tuzilmagan ma'lumotlarni qayta ishlash uchun mo'ljallangan bo'lib, biz uni to'plash va saqlash imkoniyatiga ega bo'lganimizdan keyin qanday foydalanishni endigina o'rganishni boshlayapmiz va bu massivlardagi tendentsiyalarni topishni osonlashtirish uchun bizga algoritmlar va dialoglar kerak.

Oracle tomonidan chop etilgan Oracle Information Architecture: An Architect's Guide to Big Data oq qog'oziga ko'ra, katta ma'lumotlar bilan ishlashda biz ma'lumotlarga biznes tahlilini o'tkazishdan farqli ravishda yondashamiz.

Katta ma'lumotlar bilan ishlash odatiy biznes razvedka jarayoniga o'xshamaydi, bu erda ma'lum qiymatlarni qo'shish natija beradi: masalan, birgalikda to'langan veksellarni qo'shish bir yil davomida savdoga aylanadi. Katta ma'lumotlar bilan ishlashda natija ularni ketma-ket modellashtirish orqali tozalash jarayonida olinadi: birinchi navbatda gipoteza ilgari suriladi, statistik, vizual yoki semantik model tuziladi, uning asosida ilgari surilgan gipotezaning to'g'riligi tekshiriladi. , keyin esa keyingisi ilgari suriladi. Bu jarayon tadqiqotchidan vizual ma'nolarni izohlashni yoki bilimga asoslangan interfaol so'rovlarni amalga oshirishni yoki istalgan natijani beradigan "mashinalarni o'rganish" algoritmlarini ishlab chiqishni talab qiladi. Bundan tashqari, bunday algoritmning ishlash muddati juda qisqa bo'lishi mumkin.

Katta ma'lumotlarni tahlil qilish usullari

Ma'lumotlar massivlarini tahlil qilishning turli usullari mavjud bo'lib, ular statistika va informatikadan olingan vositalarga asoslangan (masalan, mashinani o'rganish). Ro'yxat to'liq deb da'vo qilmaydi, lekin u turli sohalardagi eng mashhur yondashuvlarni aks ettiradi. Shu bilan birga, shuni tushunish kerakki, tadqiqotchilar yangi usullarni yaratish va mavjudlarini takomillashtirish ustida ishlashni davom ettirmoqdalar. Bundan tashqari, sanab o'tilgan usullarning ba'zilari faqat katta ma'lumotlar uchun qo'llanilishi shart emas va undan kichikroq massivlar uchun muvaffaqiyatli ishlatilishi mumkin (masalan, A / B testi, regressiya tahlili). Albatta, massiv qanchalik hajmli va diversifikatsiya qilinadigan tahlil qilinsa, chiqishda shunchalik aniq va tegishli ma'lumotlarni olish mumkin.

A/B testi. Nazorat namunasi o'z navbatida boshqalar bilan solishtiriladigan texnika. Shunday qilib, masalan, marketing taklifiga eng yaxshi iste'molchi javobiga erishish uchun ko'rsatkichlarning optimal kombinatsiyasini aniqlash mumkin. katta ma'lumotlar ruxsat berish katta soni takrorlash va shu tariqa statistik ahamiyatga ega natijani olish.

assotsiatsiya qoidalarini o'rganish. O'zaro munosabatlarni aniqlash uchun texnikalar to'plami, ya'ni. katta ma'lumotlar massivlaridagi o'zgaruvchilar orasidagi assotsiatsiya qoidalari. ichida ishlatilgan ma'lumotlarni qazib olish.

tasnifi. Muayyan bozor segmentida iste'molchilarning xatti-harakatlarini bashorat qilish imkonini beruvchi texnikalar to'plami (sotib olish qarorlari, ishdan chiqish, iste'mol hajmi va boshqalar). ichida ishlatilgan ma'lumotlarni qazib olish.

klaster tahlili. Oldindan ma'lum bo'lmagan umumiy xususiyatlarni aniqlash orqali ob'ektlarni guruhlarga ajratishning statistik usuli. ichida ishlatilgan ma'lumotlarni qazib olish.

Kraudsorsing. Ko'p sonli manbalardan ma'lumotlarni yig'ish texnikasi.

Ma'lumotlarni birlashtirish va ma'lumotlar integratsiyasi. Ijtimoiy tarmoq foydalanuvchilarining sharhlarini tahlil qilish va ularni real vaqt rejimidagi savdo natijalari bilan solishtirish imkonini beruvchi texnikalar majmuasi.

ma'lumotlarni qazib olish. Rag'batlanayotgan mahsulot yoki xizmat uchun iste'molchilarning eng sezgir toifalarini aniqlashga, eng muvaffaqiyatli xodimlarning xususiyatlarini aniqlashga va iste'molchilarning xatti-harakatlar modelini bashorat qilishga imkon beruvchi texnikalar to'plami.

Ansamblni o'rganish. Ushbu usulda ko'plab bashoratli modellar qo'llaniladi, bu esa qilingan bashoratlarning sifatini yaxshilaydi.

Genetik algoritmlar. Ushbu texnikada mumkin bo'lgan yechimlar birlasha oladigan va mutatsiyaga uchragan "xromosomalar" sifatida ifodalanadi. Tabiiy evolyutsiya jarayonida bo'lgani kabi, eng kuchli shaxs omon qoladi.

mashinani o'rganish. Tajribaviy ma'lumotlarni tahlil qilish asosida o'z-o'zini o'rganish algoritmlarini yaratishga qaratilgan informatika yo'nalishi (tarixiy jihatdan unga "sun'iy intellekt" nomi berilgan).

tabiiy tilni qayta ishlash (NLP). Informatika va tilshunoslikdan olingan tabiiy tilni aniqlash usullari to'plami.

tarmoq tahlili. Tarmoqlardagi tugunlar orasidagi bog'lanishlarni tahlil qilish usullari to'plami. Ijtimoiy tarmoqlarga kelsak, u alohida foydalanuvchilar, kompaniyalar, jamoalar va boshqalar o'rtasidagi munosabatlarni tahlil qilish imkonini beradi.

Optimallashtirish. Bir yoki bir nechta ko'rsatkichlarni yaxshilash uchun murakkab tizimlar va jarayonlarni qayta loyihalash uchun raqamli usullar to'plami. Strategik qarorlarni qabul qilishda yordam beradi, masalan, bozorga kiritilgan mahsulot tarkibi, investitsiya tahlilini o'tkazish va hokazo.

naqshni aniqlash. Iste'molchilarning xulq-atvor modelini bashorat qilish uchun o'z-o'zini o'rganish elementlari bo'lgan texnikalar to'plami.

bashoratli modellashtirish. Oldindan aniqlangan matematik modelni yaratishga imkon beradigan texnikalar to'plami ehtimoliy stsenariy hodisalarning rivojlanishi. Masalan, uchun CRM-tizim ma'lumotlar bazasini tahlil qilish mumkin bo'lgan sharoitlar bu obunachilarni provayderlarni o'zgartirishga undaydi.

regressiya. Bir yoki bir nechta mustaqil o'zgaruvchilar va qaram o'zgaruvchilar o'rtasidagi o'zgarishlarni aniqlash uchun statistik usullar to'plami. Ko'pincha prognozlash va bashorat qilish uchun ishlatiladi. Ma'lumotlarni qazib olishda qo'llaniladi.

hissiyotlarni tahlil qilish. Iste'molchilarning kayfiyatini baholash usullari insonning tabiiy tilini aniqlash texnologiyalariga asoslangan. Ular sizga qiziqish mavzusiga (masalan, iste'molchi mahsulotiga) tegishli xabarlarni umumiy ma'lumot oqimidan ajratishga imkon beradi. Keyinchalik, hukmning polaritesini (ijobiy yoki salbiy), hissiylik darajasini va hokazolarni baholang.

signalni qayta ishlash. Shovqin fonida signalni tanib olish va uni keyingi tahlil qilishga qaratilgan radiotexnikadan olingan texnikalar to'plami.

Fazoviy tahlil. Fazoviy ma'lumotlarni tahlil qilish uchun qisman statistikadan olingan texnikalar to'plami - er topologiyasi, geografik koordinatalar, ob'ektlarning geometriyasi. manba katta ma'lumotlar bu holda geografik axborot tizimlari (GIS) ko'pincha harakat qiladi.

Statistika. Ma'lumotlarni to'plash, tartibga solish va sharhlash, shu jumladan so'rovnomalarni ishlab chiqish va tajribalar o'tkazish haqidagi fan. Statistik usullar ko'pincha ma'lum hodisalar o'rtasidagi munosabatlar haqida baho berish uchun ishlatiladi.

Nazorat ostida o'rganish. Texnologiyaga asoslangan to'plam mashinani o'rganish tahlil qilinayotgan ma'lumotlar massivlarida funksional munosabatlarni aniqlash imkonini beruvchi texnikalar.

simulyatsiya. Murakkab tizimlarning xatti-harakatlarini modellashtirish ko'pincha rejalashtirishda turli stsenariylarni bashorat qilish, bashorat qilish va ishlab chiqish uchun ishlatiladi.

Vaqt seriyasini tahlil qilish. Vaqt o'tishi bilan takrorlanadigan ma'lumotlar ketma-ketligini tahlil qilish uchun statistika va raqamli signallarni qayta ishlashdan olingan usullar to'plami. Aniq foydalanishdan biri fond bozorini yoki bemorlarning kasallanishini kuzatishdir.

Nazoratsiz o'rganish. Tahlil qilinayotgan ma'lumotlar to'plamlarida yashirin funktsional munosabatlarni aniqlash imkonini beruvchi mashinani o'rganish texnologiyalariga asoslangan texnikalar to'plami. bilan umumiy xususiyatlarga ega klaster tahlili.

Vizualizatsiya. Izohni soddalashtirish va olingan natijalarni tushunishni osonlashtirish uchun katta ma'lumotlarni tahlil qilish natijalarini diagrammalar yoki jonlantirilgan tasvirlar ko'rinishida grafik taqdim etish usullari.

Katta ma'lumotlarni tahlil qilish natijalarining vizual taqdimoti ularni talqin qilish uchun muhim ahamiyatga ega. Hech kimga sir emaski, insonning idroki cheklangan va olimlar takomillashtirish sohasida tadqiqotlarni davom ettirmoqdalar. zamonaviy usullar ma'lumotlarni tasvirlar, diagrammalar yoki animatsiyalar ko'rinishida taqdim etish.

Analitik vositalar

2011 yil uchun oldingi kichik bo'limda sanab o'tilgan ba'zi yondashuvlar yoki ularning ma'lum kombinatsiyasi katta ma'lumotlar bilan ishlash uchun analitik dvigatellarni amaliyotga tatbiq etish imkonini beradi. Katta ma'lumotlarni tahlil qilish uchun bepul yoki nisbatan arzon ochiq tizimlardan biz quyidagilarni tavsiya qilishimiz mumkin:

• Revolution Analytics (matematik statistika uchun R tiliga asoslangan).

Ushbu ro'yxatda Apache Hadoop ochiq kodli dasturiy ta'minot alohida qiziqish uyg'otadi, u so'nggi besh yil ichida ko'pchilik birja trekerlari tomonidan ma'lumotlar analizatori sifatida sinovdan o'tgan. Yahoo ochiq manbalar hamjamiyatiga Hadoop kodini ochishi bilanoq, IT sanoatida Hadoop asosida mahsulotlar yaratish uchun tezda yangi tendentsiya paydo bo'ldi. Deyarli barcha zamonaviy tahlil vositalari katta ma'lumotlar Hadoop bilan integratsiyani ta'minlash. Ularning ishlab chiquvchilari ham startaplar, ham taniqli global kompaniyalardir.

Katta ma'lumotlarni boshqarish echimlari bozorlari

Big Data Platforms (BDP, Big Data Platform) raqamli hordingga qarshi kurash vositasi sifatida

Tahlil qilish qobiliyati katta ma'lumotlar, ommaviy tilda Big Data deb ataladi, ne'mat sifatida qabul qilinadi va bir ma'noda. Lekin haqiqatan ham shundaymi? Ma'lumotlarning cheksiz to'planishi nimaga olib kelishi mumkin? Ko'pincha mahalliy psixologlar odamga nisbatan patologik to'planish, sillogomaniya yoki majoziy ma'noda "Plyushkin sindromi" deb atashadi. Ingliz tilida hamma narsani yig'ish uchun shafqatsiz ishtiyoq hording deb ataladi (inglizcha hoard - "zahira"). Ruhiy kasalliklar tasnifiga ko'ra, hording ruhiy kasallik deb tasniflanadi. Raqamli asrda an'anaviy material akkordlashiga raqamli (Digital Hoarding) qo'shiladi, ham jismoniy shaxslar, ham butun korxona va tashkilotlar () bundan aziyat chekishi mumkin.

Jahon va Rossiya bozori

Katta ma'lumotlar manzarasi - Asosiy provayderlar

Yig'ish, qayta ishlash, boshqarish va tahlil qilish vositalariga qiziqish katta ma'lumotlar deyarli barcha yetakchi IT-kompaniyalarni ko'rsatdi, bu juda tabiiy. Birinchidan, ular bu hodisani bevosita o'z bizneslarida boshdan kechirishadi, ikkinchidan, katta ma'lumotlar yangi bozor bo'shliqlarini rivojlantirish va yangi mijozlarni jalb qilish uchun ajoyib imkoniyatlarni ochib beradi.

Bozorda katta hajmdagi ma'lumotlarni qayta ishlash bilan shug'ullanadigan ko'plab startaplar paydo bo'ldi. Ulardan ba'zilari tayyor foydalanishadi bulutli infratuzilma Amazon kabi yirik o'yinchilar tomonidan taqdim etilgan.

Sanoatda Big Data nazariyasi va amaliyoti

Rivojlanish tarixi

2017

TmaxSoft prognozi: Katta ma'lumotlarning navbatdagi "to'lqini" DBMS modernizatsiyasini talab qiladi

Korxonalar ular to'plagan katta hajmdagi ma'lumotlar o'z biznesi va mijozlari haqida muhim ma'lumotlarni o'z ichiga olishini bilishadi. Agar kompaniya ushbu ma'lumotni muvaffaqiyatli qo'llay olsa, u raqobatchilarga nisbatan sezilarli ustunlikka ega bo'ladi va u ularnikidan yaxshiroq mahsulot va xizmatlarni taklif qila oladi. Biroq, ko'pgina tashkilotlar hali ham samarali foydalana olmaydi katta ma'lumotlar TmaxSoft kompaniyasining ta'kidlashicha, ularning eski AT infratuzilmasi kerakli saqlash hajmini, ma'lumotlar almashinuvi jarayonlarini, tizimlashtirilmagan ma'lumotlarning katta massivlarini qayta ishlash va tahlil qilish uchun zarur bo'lgan yordamchi dasturlar va ilovalarni ta'minlay olmasligi sababli.

Bundan tashqari, doimiy o'sib borayotgan ma'lumotlar hajmini tahlil qilish uchun zarur bo'lgan ishlov berish quvvatini oshirish tashkilotning eski AT infratuzilmasiga katta sarmoya kiritishni, shuningdek, yangi ilovalar va xizmatlarni ishlab chiqish uchun ishlatilishi mumkin bo'lgan qo'shimcha texnik resurslarni talab qilishi mumkin.

2015-yil 5-fevralda Oq uy kompaniyalar "qanday foydalanayotgani" haqida hisobot e'lon qildi. katta ma'lumotlar turli xaridorlar uchun har xil narxlarni belgilash - bu "narxlarni kamsitish" yoki "differensial narxlash" (shaxsiylashtirilgan narxlash) deb nomlanuvchi amaliyot. Hisobot katta ma'lumotlarning sotuvchilar va xaridorlar uchun afzalliklarini tavsiflaydi va katta ma'lumotlarning paydo bo'lishi va differentsial narxlarning paydo bo'lishi bilan bog'liq ko'plab muammolarni kamsitishga qarshi mavjud qonunlar va qoidalar doirasida hal qilish mumkin, degan xulosaga keladi, iste'molchilar huquqlarini himoya qilish.

Hisobotda ta'kidlanishicha, hozirgi vaqtda kompaniyalar individuallashtirilgan marketing va tabaqalashtirilgan narxlar kontekstida katta ma'lumotlardan qanday foydalanayotgani haqida faqat anekdot dalillar mavjud. Ushbu ma'lumotlar shuni ko'rsatadiki, sotuvchilar uchta toifaga bo'linadigan narxlash usullaridan foydalanadilar:

• talab egri chizig'ini o'rganish;
• Demografik ma'lumotlarga asoslangan holda boshqarish va tabaqalashtirilgan narxlarni belgilash; va
• maqsadli xulq-atvor marketingi (behavior targeting - xatti-harakatni yo'naltirish) va individuallashtirilgan narxlash.

Talab egri chizig'ini o'rganish: Talabni tushunish va iste'molchilarning xatti-harakatlarini o'rganish uchun marketologlar ko'pincha ushbu sohada tajribalar o'tkazadilar, ular davomida mijozlar tasodifiy ikki mumkin bo'lgan narx toifalaridan biri tayinlanadi. "Texnik jihatdan, bu tajribalar farqli narxlarning bir shaklidir, chunki ular mijozlar uchun turli narxlarga olib keladi, garchi ular barcha mijozlar ko'proq "urishi" mumkinligi ma'nosida "kamsituvchi" bo'lsa ham. yuqori narx xuddi shunday."

Rulda boshqarish: Bu iste'molchilarga ma'lum bir demografik guruhga tegishli bo'lgan mahsulotlarni taqdim etish amaliyotidir. Masalan, kompyuter kompaniyasining veb-sayti bir xil noutbukni har xil turdagi mijozlarga o'zlari haqida taqdim etgan ma'lumotlarga qarab har xil narxlarda taklif qilishi mumkin (masalan, foydalanuvchi davlat idoralari, ilmiy yoki tijorat muassasalarining vakili ekanligiga qarab yoki jismoniy shaxs) yoki ularning geografik joylashuvi (masalan, kompyuterning IP manzili bilan belgilanadi).

Maqsadli xatti-harakatlar marketingi va moslashtirilgan narxlash: Bunday hollarda xaridorlarning shaxsiy ma'lumotlari maqsadli reklama va ayrim mahsulotlarning individual narxlarini belgilash uchun ishlatiladi. Masalan, onlayn reklama beruvchilar reklama tarmoqlari va uchinchi tomon cookie-fayllari orqali to'plangan ma'lumotlardan foydalanuvchilarning onlayn faoliyati haqidagi reklama materiallarini maqsad qilib olish uchun foydalanadilar. Ushbu yondashuv, bir tomondan, iste'molchilarga o'zlarini qiziqtirgan tovarlar va xizmatlarning reklamalarini olish imkonini beradi, ammo bu o'zlarining shaxsiy ma'lumotlarining ayrim turlarini (masalan, bog'langan veb-saytlarga tashriflar haqidagi ma'lumotlar) istamaydigan iste'molchilarni tashvishga solishi mumkin. tibbiy va moliyaviy masalalar bo'yicha) ularning roziligisiz uchrashgan.

Maqsadli xulq-atvor marketingi keng tarqalgan bo'lsa-da, onlayn muhitda individuallashtirilgan narxlashning nisbatan kam dalillari mavjud. Hisobotda taxmin qilinishicha, bu usullar hali ham ishlab chiqilayotgani yoki kompaniyalarning individual narxlarni qo‘llashni istamasligi (yoki bu haqda sukut saqlashni afzal ko‘rishi) – ehtimol, iste’molchilarning noroziligidan qo‘rqib, bo‘lishi mumkin.

Hisobot mualliflarining fikricha, “individual iste’molchi uchun katta ma’lumotlardan foydalanish, shubhasiz, ham potentsial daromadlar, ham xavflar bilan bog‘liq”. Hisobotda katta ma'lumotlardan foydalanish bilan bog'liq shaffoflik va kamsitish muammolari mavjudligini e'tirof etgan holda, kamsitishlarga qarshi va iste'molchilar huquqlarini himoya qilish bo'yicha mavjud qonunlar ularni hal qilish uchun etarli ekanligini ta'kidlaydi. Biroq, hisobot, shuningdek, kompaniyalar maxfiy ma'lumotlardan noshaffof tarzda yoki mavjud me'yoriy-huquqiy baza bilan qamrab olinmagan usullardan foydalanganda "doimiy tekshirish" zarurligini ta'kidlaydi.

Ushbu hisobot Oq uyning "katta ma'lumotlar" dan foydalanish va Internetdagi kamsituvchi narxlarni va buning amerikalik iste'molchilar uchun oqibatlarini o'rganishga qaratilgan sa'y-harakatlarining davomidir. Oq uyning katta maʼlumotlar boʻyicha ishchi guruhi ushbu masala boʻyicha oʻz hisobotini 2014-yilning may oyida eʼlon qilgani avvalroq xabar qilingan edi. Federal Savdo Komissiyasi (FTC) 2014 yil sentyabr oyida katta ma'lumotlardan foydalanish bilan bog'liq diskriminatsiyaga bag'ishlangan seminarda ham ushbu muammolarni ko'rib chiqdi.

2014

Gartner Big Data sirlarini yo'q qiladi

Gartner tomonidan 2014-yilning kuzgi siyosati boʻyicha hisobotda CIOlar orasida Big Data haqidagi bir qancha keng tarqalgan afsonalar roʻyxati keltirilgan va rad etilgan.

• Har bir inson Big Data qayta ishlash tizimlarini bizdan tezroq amalga oshiradi

Katta ma'lumotlar texnologiyalariga qiziqish eng yuqori darajada bo'lib, bu yil Gartner tahlilchilari tomonidan so'ralgan tashkilotlarning 73 foizi allaqachon sarmoya kiritgan yoki buni rejalashtirmoqda. Ammo bu tashabbuslarning aksariyati hali o'zining dastlabki bosqichida va so'rovda qatnashganlarning atigi 13 foizi allaqachon bunday echimlarni amalga oshirgan. Eng qiyin qismi - Big Datadan qanday qilib monetizatsiya qilishni aniqlash, qaerdan boshlashni hal qilish. Ko'pgina tashkilotlar bog'lay olmagani uchun sinov bosqichida qolib ketishadi yangi texnologiya muayyan biznes jarayonlariga.

• Bizda shunchalik ko'p ma'lumotlar borki, undagi kichik xatolar haqida tashvishlanishga hojat yo'q.

Ba'zi CIO'lar ma'lumotlardagi kichik kamchiliklar ta'sir qilmaydi, deb hisoblashadi umumiy natijalar katta hajmlarni tahlil qilish. Ma'lumotlar ko'p bo'lsa, har bir xato alohida natijaga kamroq ta'sir qiladi, deydi tahlilchilar, ammo xatolarning o'zi kattaroq bo'ladi. Bundan tashqari, tahlil qilingan ma'lumotlarning aksariyati tashqi, noma'lum struktura yoki kelib chiqishi, shuning uchun xatolar ehtimoli ortadi. Shunday qilib, Big Data dunyosida sifat aslida muhimroqdir.

• Big Data texnologiyalari ma'lumotlar integratsiyasiga bo'lgan ehtiyojni yo'q qiladi

Big Data ma'lumotlarni o'qish paytida avtomatik sxema yaratish bilan asl formatida qayta ishlash qobiliyatini va'da qiladi. Bu bir nechta ma'lumotlar modellari yordamida bir xil manbalardan olingan ma'lumotlarni tahlil qilish imkonini beradi, deb ishoniladi. Ko'pchilik bu oxirgi foydalanuvchilarga har qanday ma'lumotlar to'plamini o'zlaricha sharhlash imkonini beradi, deb hisoblaydi. Aslida, ko'pchilik foydalanuvchilar ko'pincha ma'lumotlar to'g'ri formatlangan va ma'lumotlarning yaxlitligi darajasi va uning foydalanish holatiga qanday bog'liqligi haqida kelishuv mavjud bo'lgan an'anaviy qutidan tashqari sxemani xohlaydi.

• Ma'lumotlar omborlaridan murakkab tahlillar uchun foydalanish mantiqiy emas

Axborotni boshqarish tizimining ko'pgina ma'murlari murakkab tahliliy tizimlar yangi turdagi ma'lumotlardan foydalanishini hisobga olsak, ma'lumotlar omborini yaratishga vaqt sarflashni ma'nosiz deb hisoblaydilar. Aslida, ko'plab murakkab tahlil tizimlari ma'lumotlar omboridagi ma'lumotlardan foydalanadi. Boshqa hollarda, katta ma'lumotlarni qayta ishlash tizimlarida tahlil qilish uchun yangi ma'lumotlar turlarini qo'shimcha ravishda tayyorlash kerak; ma'lumotlarning mosligi, yig'ish tamoyillari va sifatning zarur darajasi to'g'risida qaror qabul qilish kerak - bunday tayyorgarlik ombordan tashqarida amalga oshirilishi mumkin.

• Ma'lumotlar omborlari ma'lumotlar ko'llari bilan almashtiriladi

Aslida, sotuvchilar ma'lumotlar ko'llarini saqlash o'rnini bosuvchi yoki tahliliy infratuzilmaning muhim elementlari sifatida joylashtirish orqali mijozlarni chalg'itadi. Ma'lumotlar ko'llarining asosiy texnologiyalari ma'lumotlar omborlarida mavjud bo'lgan funksionallikning etukligi va kengligidan mahrum. Shu sababli, ma'lumotlarni boshqarish uchun mas'ul bo'lgan rahbarlar, Gartnerga ko'ra, ko'llar bir xil rivojlanish darajasiga yetguncha kutishlari kerak.

Accenture: Katta ma'lumotlar tizimlarini joriy qilganlarning 92% natijadan qoniqish hosil qiladi

Respondentlar katta ma'lumotlarning asosiy afzalliklari orasida:

• "yangi daromad manbalarini qidirish" (56%),
• "mijozlarning tajribasini yaxshilash" (51%),
• "yangi mahsulotlar va xizmatlar" (50%) va
• "yangi mijozlar oqimi va eski mijozlarning sodiqligini saqlab qolish" (47%).

Yangi texnologiyalarni joriy qilishda ko'plab kompaniyalar an'anaviy muammolarga duch kelishdi. 51% uchun toʻsiq xavfsizlik, 47% uchun byudjet, 41% uchun zarur kadrlar yoʻqligi, 35% uchun esa mavjud tizim bilan integratsiyalashuvdagi qiyinchiliklar toʻsiq boʻldi. So‘rovda qatnashgan deyarli barcha kompaniyalar (taxminan 91%) xodimlar yetishmasligi bilan bog‘liq muammoni tez orada hal qilishni va katta ma’lumotlar bo‘yicha mutaxassislarni yollashni rejalashtirmoqda.

Kompaniyalar katta ma'lumotlar texnologiyalarining kelajagiga optimistik qarashadi. 89% biznesni internet kabi o'zgartirishiga ishonadi. Respondentlarning 79 foizi katta ma'lumotlar bilan shug'ullanmaydigan kompaniyalar raqobatdosh ustunliklarini yo'qotishini ta'kidladilar.

Biroq, respondentlar katta ma'lumotlar deb hisoblanishi kerak bo'lgan narsaga rozi bo'lishmadi. Respondentlarning 65 foizi bu "katta ma'lumotlar fayllari", 60 foizi bu "ilg'or tahlil va tahlil", 50 foizi esa "ma'lumotlarni vizualizatsiya qilish vositalari" ekanligiga ishonishadi.

Madrid katta ma'lumotlarni boshqarish uchun 14,7 million yevro sarflaydi

2014-yil iyul oyida Madrid shahar infratuzilmasini boshqarish uchun katta maʼlumotlar texnologiyalaridan foydalanishi maʼlum boʻldi. Loyiha qiymati 14,7 million yevro bo‘lib, amalga oshiriladigan yechimlar katta ma’lumotlarni tahlil qilish va boshqarish texnologiyalariga asoslanadi. Ularning yordami bilan shahar ma’muriyati har bir xizmat ko‘rsatuvchi provayder bilan ishni boshqarib boradi va xizmat ko‘rsatish darajasiga qarab tegishli ravishda haq to‘laydi.

Gap ko‘chalar, yoritish, sug‘orish, ko‘kalamzorlashtirish, hududni tozalash va olib chiqish, shuningdek, chiqindini qayta ishlash holatini nazorat qiluvchi ma’muriyat pudratchilari haqida bormoqda. Loyihani amalga oshirish jarayonida maxsus ajratilgan inspektorlar uchun shahar xizmatlari faoliyatining 300 ta asosiy ko‘rsatkichlari ishlab chiqilgan bo‘lib, ular asosida har kuni 1,5 mingta turli tekshirish va o‘lchovlar o‘tkaziladi. Bundan tashqari, shahar Madrid iNTeligente (MiNT) - Smarter Madrid deb nomlangan innovatsion texnologik platformadan foydalanishni boshlaydi.

2013

Mutaxassislar: Big Data uchun moda cho'qqisi

Istisnosiz, ma'lumotlarni boshqarish bozoridagi barcha sotuvchilar hozirda Big Data boshqaruvi uchun texnologiyalarni ishlab chiqishmoqda. Ushbu yangi texnologik tendentsiya ham professional hamjamiyat, ham ishlab chiquvchilar, ham sanoat tahlilchilari va bunday echimlarning potentsial iste'molchilari tomonidan faol muhokama qilinmoqda.

Datashift ma'lumotlariga ko'ra, 2013 yil yanvar oyi holatiga ko'ra, "atrofdagi munozaralar to'lqini" katta ma'lumotlar"barcha taxmin qilinadigan o'lchamlardan oshib ketdi. Ijtimoiy tarmoqlarda Big Data haqida eslatmalar sonini tahlil qilgach, Datashift 2012 yilda bu atama butun dunyo boʻylab 1 millionga yaqin turli mualliflar tomonidan yaratilgan postlarda taxminan 2 milliard marta ishlatilganligini hisoblab chiqdi. Bu soatiga 260 ta postga teng, eng yuqori ko'rsatkich esa soatiga 3070 ta eslatmani tashkil qiladi.

Gartner: Har ikkinchi CIO Katta ma'lumotlarga pul sarflashga tayyor

Katta ma'lumotlar texnologiyalari bilan bir necha yillik tajribalar va 2013-yilda birinchi tatbiqlardan so'ng, bunday yechimlarning moslashuvi sezilarli darajada oshadi, deb bashorat qilmoqda Gartner. Tadqiqotchilar butun dunyo bo‘ylab IT yetakchilari orasida so‘rov o‘tkazdi va so‘rovda qatnashganlarning 42 foizi allaqachon Big Data texnologiyalariga sarmoya kiritgan yoki kelgusi yil davomida bunday investitsiyalarni amalga oshirishni rejalashtirayotganini aniqladi (2013 yil mart oyidagi ma’lumotlar).

Kompaniyalar qayta ishlash texnologiyalariga pul sarflashga majbur katta ma'lumotlar Axborot landshafti tez o'zgarib borayotganligi sababli, men axborotni qayta ishlashga yangi yondashuvlarni talab qilaman. Ko'pgina kompaniyalar buni allaqachon tushunishgan katta massivlar ma'lumotlar juda muhim va ular bilan ishlash an'anaviy axborot manbalari va ularni qayta ishlash usullaridan foydalangan holda mavjud bo'lmagan imtiyozlarga erishish imkonini beradi. Bundan tashqari, ommaviy axborot vositalarida "katta ma'lumotlar" mavzusining doimiy ravishda bo'rttirilishi tegishli texnologiyalarga qiziqishni kuchaytiradi.

Gartner vitse-prezidenti Frank Buytendijk hatto kompaniyalarni ohangni pasaytirishga chaqirdi, chunki ba'zilar katta ma'lumotlarni o'zlashtirishda raqobatchilardan ortda qolayotganidan xavotirda.

"Xavotirlanishga hojat yo'q, katta ma'lumotlar texnologiyalari asosida g'oyalarni amalga oshirish imkoniyatlari deyarli cheksizdir", dedi u.

Gartner 2015 yilga borib, Global 1000 kompaniyalarining 20 foizi “axborot infratuzilmasi”ga strategik e’tibor qaratishini taxmin qilmoqda.

Katta ma'lumotlarni qayta ishlash texnologiyalari keltiradigan yangi imkoniyatlarni kutib, ko'plab tashkilotlar allaqachon yig'ish va saqlash jarayonini tashkil qilmoqdalar. har xil turlari ma `lumot.

Ta'lim va davlat tashkilotlari, shuningdek, sanoat kompaniyalari uchun biznesni o'zgartirish uchun eng katta salohiyat to'plangan ma'lumotlarning qorong'u ma'lumotlar (so'zma-so'z - "qorong'i ma'lumotlar") bilan kombinatsiyasida, ikkinchisiga elektron pochta xabarlari, multimediya kiradi. va boshqa shunga o'xshash tarkib. Gartnerga ko'ra, turli xil axborot manbalari bilan qanday ishlashni o'rganganlar ma'lumotlar poygasida g'olib chiqadilar.

Poll Cisco: Big Data IT byudjetlarini oshirishga yordam beradi

InsightExpress mustaqil tahlilchi firmasi tomonidan 18 mamlakatda o'tkazilgan Cisco Connected World Technology Report (2013 yil bahori) 1800 nafar kollej talabalari va 18 yoshdan 30 yoshgacha bo'lgan teng miqdordagi yosh mutaxassislarni o'rgandi. So‘rov IT bo‘limlarining loyihalarni amalga oshirishga tayyorlik darajasini aniqlash maqsadida o‘tkazildi katta ma'lumotlar va ular bilan bog'liq muammolar, texnologik kamchiliklar va bunday loyihalarning strategik ahamiyati haqida tushunchaga ega bo'ling.

Aksariyat kompaniyalar ma'lumotlarni to'playdi, yozib oladi va tahlil qiladi. Biroq, hisobotga ko'ra, ko'plab kompaniyalar Big Data bilan bog'liq bir qator murakkab biznes va axborot texnologiyalari muammolariga duch kelishadi. Masalan, so‘rovda qatnashganlarning 60 foizi Big Data yechimlari qarorlar qabul qilish jarayonlarini yaxshilashi va raqobatbardoshlikni oshirishi mumkinligini tan oladi, biroq atigi 28 foizi to‘plangan ma’lumotlardan allaqachon real strategik foyda ko‘rayotganini aytishgan.

So'rovda qatnashgan CIO'larning yarmidan ko'pi Big Data loyihalari o'z tashkilotlarida IT byudjetlarini ko'paytirishga yordam beradi, chunki texnologiya, xodimlar va kasbiy ko'nikmalarga talablar kuchayadi. Shu bilan birga, respondentlarning yarmidan ko'pi 2012 yilda bunday loyihalar o'z kompaniyalarida IT byudjetini oshirishini kutishmoqda. 57 foizi Big Data kelasi uch yil ichida o‘z byudjetlarini oshirishiga ishonchi komil.

Respondentlarning 81 foizi barcha (yoki hech bo'lmaganda ba'zi) Big Data loyihalaridan foydalanishni talab qilishini aytdi bulutli hisoblash. Shunday qilib, bulutli texnologiyalarning tarqalishi Big Data echimlarini tarqatish tezligiga va biznes uchun ushbu echimlarning qiymatiga ta'sir qilishi mumkin.

Kompaniyalar tuzilgan va tuzilmagan har xil turdagi ma'lumotlarni to'playdi va ishlatadi. So‘rov ishtirokchilari ma’lumotlarni oladigan manbalar (Cisco Connected World Technology Report):

CIO'larning deyarli yarmi (48 foizi) keyingi ikki yil ichida ularning tarmoqlaridagi yuk ikki baravar oshishini taxmin qilmoqda. (Bu, ayniqsa, so'rovda qatnashganlarning 68 foizi, Germaniyada esa 60 foizi Xitoyda to'g'ri keladi). Respondentlarning 23 foizi keyingi ikki yil ichida tarmoq trafigining uch barobar oshishini kutmoqda. Shu bilan birga, respondentlarning atigi 40 foizi tarmoq trafigining keskin o'sishiga tayyorligini e'lon qildi.

So‘rovda qatnashganlarning 27 foizi IT siyosati va axborot xavfsizligini yaxshilash choralariga muhtoj ekanini tan oldi.

21 foizi ko'proq o'tkazish qobiliyatiga muhtoj.

Big Data IT bo'limlari uchun daromadlarni oshirish va kompaniyaning moliyaviy holatini mustahkamlash uchun qiymat qo'shish va biznes bo'linmalari bilan yaqin aloqalarni o'rnatish uchun yangi imkoniyatlar ochadi. Big Data loyihalari IT bo'limlarini biznes bo'limlarining strategik hamkoriga aylantiradi.

Respondentlarning 73 foiziga ko'ra, aynan IT bo'limi Big Data strategiyasini amalga oshirishda asosiy vositaga aylanadi. Shu bilan birga, respondentlarning fikricha, ushbu strategiyani amalga oshirishda boshqa idoralar ham ishtirok etadi. Bu, birinchi navbatda, moliya (respondentlarning 24 foizi nomini olgan), tadqiqot va ishlanmalar (20 foiz), operatsiyalar (20 foiz), injiniring (19 foiz), shuningdek marketing (15 foiz) va savdo (15 foiz) bo'limlariga tegishli. 14 foiz).

Gartner: Katta ma'lumotlarni boshqarish uchun millionlab yangi ish o'rinlari kerak edi

Global IT xarajatlari 2013 yilga kelib 3,7 milliard dollarni tashkil etadi, bu 2012 yildagi IT xarajatlaridan 3,8 foizga oshadi (yil yakuni prognozi 3,6 milliard dollar). Segment katta ma'lumotlar Gartner hisobotiga ko'ra (katta ma'lumotlar) ancha tez sur'atlar bilan rivojlanadi.

2015 yilga kelib katta maʼlumotlarga xizmat koʻrsatish uchun 4,4 million IT ish oʻrni yaratiladi, shundan 1.9 millioni . Bundan tashqari, har bir bunday ish joyi natijada uchta qo'shimcha IT bo'lmagan ish o'rinlari yaratiladi, shuning uchun faqat AQShda keyingi to'rt yil ichida 6 million kishi axborot iqtisodiyotini qo'llab-quvvatlash uchun ishlaydi.

Gartner ekspertlarining fikricha, asosiy muammo Buning uchun sohada iqtidor yetarli emasligidir: xususiy ham, davlat ham ta’lim tizimlari, masalan, AQShda sohani yetarli miqdorda malakali kadrlar bilan ta’minlay olmaydi. Shunday qilib, IT sohasida qayd etilgan yangi ish o'rinlaridan faqat uchtadan bittasi kadrlar bilan ta'minlanadi.

Tahlilchilarning fikricha, malakali IT-kadrlarni yetishtirish rolini bevosita ularga juda muhtoj bo'lgan kompaniyalar o'z zimmalariga olishlari kerak, chunki bunday xodimlar ular uchun kelajakning yangi axborot iqtisodiyotiga o'tish yo'li bo'ladi.

2012

Katta ma'lumotlarga nisbatan birinchi shubha

Ovum va Gartner tahlilchilari buni 2012-yilda moda mavzusiga taklif qilishdi katta ma'lumotlar illuziyalardan voz kechish vaqti kelgan bo'lishi mumkin.

Hozirgi vaqtda "Katta ma'lumotlar" atamasi odatda ijtimoiy tarmoqlardan, sensorlar tarmoqlari va boshqa manbalardan onlayn ravishda o'sib borayotgan ma'lumotlar miqdorini, shuningdek, ma'lumotlarni qayta ishlash va muhim biznesni aniqlash uchun foydalaniladigan vositalarning o'sib borayotganini anglatadi. bu - tendentsiyalar.

"Katta ma'lumotlar g'oyasi atrofidagi shov-shuv tufayli (yoki shunga qaramay) 2012 yilda ishlab chiqaruvchilar ushbu tendentsiyaga katta umid bilan qarashdi", dedi Ovum tahlilchisi Toni Bayer.

Bayerning ta'kidlashicha, DataSift yirik ma'lumotlarga havolalarni retrospektiv tahlil qilgan