Ma'lumotlar o'sishining doimiy tezlashishi bugungi voqelikning ajralmas qismidir. Ijtimoiy tarmoqlar, mobil qurilmalar, o'lchash qurilmalari ma'lumotlari, biznes ma'lumotlari katta hajmdagi ma'lumotlarni yaratishi mumkin bo'lgan manbalarning bir nechtasi.

Hozirda muddat katta ma'lumotlar(Katta ma'lumotlar) juda keng tarqalgan. Katta hajmdagi ma'lumotlarni qayta ishlash texnologiyalari jamiyat hayotining eng xilma-xil tomonlarini qanchalik tez va chuqur o'zgartirayotgani hali ham hammaga ma'lum emas. Turli sohalarda sodir bo‘layotgan o‘zgarishlar yangi muammo va muammolarni, jumladan, maxfiylik, yaxlitlik, mavjudlik va boshqalar kabi muhim jihatlar birinchi o‘rinda turishi kerak bo‘lgan axborot xavfsizligi sohasida ham ro‘y bermoqda.

Afsuski, ko'plab zamonaviy kompaniyalar Big Data texnologiyasiga tegishli infratuzilmani yaratmasdan murojaat qilishadi, bu esa ular to'playdigan va saqlaydigan katta hajmdagi ma'lumotlarni ishonchli saqlashni ta'minlaydi. Boshqa tomondan, blokcheyn texnologiyasi hozirda jadal rivojlanmoqda, bu ushbu va boshqa ko'plab muammolarni hal qilish uchun mo'ljallangan.

Big Data nima?

Aslida, atamaning ta'rifi sirtda yotadi: "katta ma'lumotlar" juda katta hajmdagi ma'lumotlarni boshqarish, shuningdek ularni tahlil qilish. Agar siz kengroq qarasangiz, bu ma'lumot tufayli klassik usullar bilan qayta ishlanmaydi katta hajmlar.

Katta ma'lumotlar (katta ma'lumotlar) atamasi nisbatan yaqinda paydo bo'ldi. Google Trends xizmati ma'lumotlariga ko'ra, atama mashhurligining faol o'sishi 2011 yil oxiriga to'g'ri keladi:

2010 yilda katta ma'lumotlarni qayta ishlash bilan bevosita bog'liq bo'lgan birinchi mahsulotlar va echimlar paydo bo'la boshladi. 2011 yilga kelib, IBM, Oracle, Microsoft va Hewlett-Packard kabi yirik IT-kompaniyalarning aksariyati o'zlarining biznes strategiyalarida Big Data atamasidan faol foydalanmoqdalar. Asta-sekin bozor tahlilchilari axborot texnologiyalari ushbu kontseptsiya bo'yicha faol tadqiqotlarni boshlash.

Hozirgi vaqtda ushbu atama juda mashhur bo'lib, turli sohalarda faol qo'llaniladi. Biroq, Big Data bu qandaydir yangi hodisa ekanligini aniq aytish mumkin emas - aksincha, katta ma'lumotlar manbalari ko'p yillar davomida mavjud. Marketingda ular mijozlarning xaridlari, kredit tarixi, turmush tarzi va boshqalarning maʼlumotlar bazasi boʻlishi mumkin.Koʻp yillar davomida tahlilchilar ushbu maʼlumotlardan kompaniyalarga mijozlarning kelajakdagi ehtiyojlarini bashorat qilish, xavfni baholash, isteʼmolchilarning xohish-istaklarini shakllantirish va boshqalarga yordam berish uchun foydalangan.

Hozirgi vaqtda vaziyat ikki jihatdan o'zgardi:

- ko'proq paydo bo'ldi murakkab vositalar va turli ma'lumotlar to'plamini tahlil qilish va taqqoslash usullari;
— tahlil vositalari koʻplab yangi maʼlumotlar manbalari bilan toʻldirildi, bu esa maʼlumotlarga keng oʻtish bilan bogʻliq. raqamli texnologiyalar, shuningdek, ma'lumotlarni yig'ish va o'lchashning yangi usullari.

Tadqiqotchilar Big Data texnologiyalari ishlab chiqarish, sog'liqni saqlash, savdo, davlat boshqaruvi va boshqa juda xilma-xil soha va tarmoqlarda eng faol qo'llanilishini taxmin qilmoqdalar.

Katta ma'lumotlar ma'lum bir ma'lumotlar majmuasi emas, balki ularni qayta ishlash usullari to'plamidir. Katta ma'lumotlar uchun belgilovchi xususiyat nafaqat ularning hajmi, balki ma'lumotlarni qayta ishlash va tahlil qilishning ko'p mehnat talab qiladigan jarayonlarini tavsiflovchi boshqa toifalardir.

Qayta ishlash uchun dastlabki ma'lumotlar bo'lishi mumkin, masalan:

— Internet foydalanuvchilari xatti-harakatlari jurnallari;
- narsalarning interneti;
- ijtimoiy tarmoqlar;
- meteorologik ma'lumotlar;
— eng yirik kutubxonalarning raqamlashtirilgan kitoblari;
– transport vositalaridan GPS signallari;
— bank mijozlarining operatsiyalari to'g'risidagi ma'lumotlar;
- abonentning joylashuvi haqidagi ma'lumotlar mobil tarmoqlar;
— yirik chakana savdo tarmoqlarida xaridlar haqida ma’lumot va h.k.

Vaqt o'tishi bilan ma'lumotlar hajmi va ularning manbalari soni doimiy ravishda o'sib bormoqda va bu fonda axborotni qayta ishlashning yangi usullari paydo bo'ladi va axborotni qayta ishlashning mavjud usullari takomillashtiriladi.

Katta ma'lumotlarning asosiy tamoyillari:

- Gorizontal miqyoslilik - ma'lumotlar massivlari juda katta bo'lishi mumkin va bu katta ma'lumotlarni qayta ishlash tizimi ularning hajmlari ortishi bilan dinamik ravishda kengayishini anglatadi.
- Nosozlikka chidamlilik - ba'zi jihozlar ishlamay qolsa ham, butun tizim ishlayotgan bo'lishi kerak.
- Ma'lumotlar joylashuvi. Katta taqsimlangan tizimlarda ma'lumotlar odatda sezilarli miqdordagi mashinalar bo'ylab taqsimlanadi. Biroq, iloji bo'lsa va resurslarni tejash uchun ma'lumotlar ko'pincha saqlanadigan serverda qayta ishlanadi.

Barcha uchta printsipning barqaror ishlashi va shunga mos ravishda katta ma'lumotlarni saqlash va qayta ishlashning yuqori samaradorligi uchun yangi ilg'or texnologiyalar blokcheyn kabi.

Katta ma'lumotlar nima uchun?

Katta ma'lumotlar doirasi doimiy ravishda kengayib bormoqda:

— Katta maʼlumotlardan tibbiyotda foydalanish mumkin. Shunday qilib, bemorga tashxis qo'yish nafaqat kasallik tarixini tahlil qilish ma'lumotlariga, balki boshqa shifokorlarning tajribasini, bemorning yashash joyining ekologik holati to'g'risidagi ma'lumotlarni ham hisobga olishi mumkin. , va boshqa ko'plab omillar.
— Big Data texnologiyalaridan uchuvchisiz transport vositalari harakatini tashkil qilish uchun foydalanish mumkin.
— Katta hajmdagi maʼlumotlarni qayta ishlash orqali foto va video materiallardagi yuzlarni tanib olish mumkin.
- Big Data texnologiyalaridan chakana sotuvchilar foydalanishlari mumkin - savdo kompaniyalari ma'lumotlar massivlaridan faol foydalanishlari mumkin ijtimoiy tarmoqlar ma'lum bir iste'mol segmentiga maksimal darajada yo'naltirilishi mumkin bo'lgan reklama kampaniyalarini samarali tarzda sozlash.
— Mazkur texnologiya saylov kampaniyalarini tashkil etishda, jumladan, jamiyatdagi siyosiy imtiyozlarni tahlil qilishda faol foydalanilmoqda.
— Katta maʼlumotlar texnologiyalaridan foydalanish moliyaviy natijalarning pasayishiga olib kelishi mumkin boʻlgan yoʻqotishlar yoki maʼlumotlarning buzilishlarini oʻz vaqtida aniqlash imkonini beruvchi nomuvofiqliklarni aniqlash vositalari va maʼlumotlarni chuqur tahlil qilish vositalarini oʻz ichiga olgan daromad kafolati (RA) sinfi yechimlari uchun dolzarbdir. .
— Telekommunikatsiya provayderlari katta maʼlumotlarni, jumladan, geolokatsiya maʼlumotlarini jamlashi mumkin; o'z navbatida, bu ma'lumot bo'lishi mumkin tijorat manfaati maqsadli va mahalliy reklamani ko'rsatish uchun foydalanishi mumkin bo'lgan reklama agentliklari, shuningdek, chakana sotuvchilar va banklar uchun.
— Katta maʼlumotlar chakana savdo doʻkonini ochish toʻgʻrisida qaror qabul qilishda muhim rol oʻynashi mumkin muayyan joylashuv odamlarning kuchli maqsadli oqimi mavjudligi haqidagi ma'lumotlarga asoslanadi.

Shunday qilib, Big Data texnologiyasining eng aniq amaliy qo'llanilishi marketing sohasida yotadi. Internetning rivojlanishi va barcha turdagi aloqa vositalarining ko'payishi tufayli xatti-harakatlar ma'lumotlari (masalan, qo'ng'iroqlar soni, xarid qilish odatlari va xaridlar) real vaqtda mavjud bo'ladi.

Katta ma'lumotlar texnologiyalaridan moliya, sotsiologik tadqiqotlar va boshqa ko'plab sohalarda ham samarali foydalanish mumkin. Mutaxassislarning ta'kidlashicha, katta ma'lumotlardan foydalanishning barcha imkoniyatlari aysbergning faqat ko'rinadigan qismidir, chunki bu texnologiyalar razvedka va kontrrazvedkada, harbiy ishlarda, shuningdek, axborot urushlari deb ataladigan barcha narsalarda juda katta hajmda qo'llaniladi.

Umuman olganda, Big Data bilan ishlash ketma-ketligi ma'lumotlarni to'plash, hisobotlar va asboblar paneli yordamida olingan ma'lumotlarni tizimlashtirish va keyin harakatlar bo'yicha tavsiyalarni shakllantirishdan iborat.

Keling, marketingda Big Data texnologiyalaridan foydalanish imkoniyatlarini qisqacha ko'rib chiqaylik. Ma’lumki, marketolog uchun ma’lumot bashorat qilish va strategiklashtirishning asosiy vositasi hisoblanadi. Aniqlash uchun katta ma'lumotlarni tahlil qilish uzoq vaqtdan beri muvaffaqiyatli ishlatilgan maqsadli auditoriya, iste'molchilarning qiziqishlari, talabi va faolligi. Katta ma'lumotlarni tahlil qilish, xususan, reklamani (RTB auktsion modeli asosida - Real Time Bidding) faqat mahsulot yoki xizmatga qiziqqan iste'molchilarga ko'rsatishga imkon beradi.

Marketingda katta ma'lumotlardan foydalanish tadbirkorlarga quyidagilarga imkon beradi:

- iste'molchilaringizni yaxshiroq tan oling, Internetda shunga o'xshash auditoriyani jalb qiling;
- mijozlarning qoniqish darajasini baholash;
— taklif etilayotgan xizmat kutilgan va ehtiyojlarga javob berishini tushunish;
- mijozlar ishonchini oshirishning yangi usullarini topish va amalga oshirish;
— talabga ega bo‘lgan loyihalarni yaratish va h.k.

Masalan, Google.trends xizmati sotuvchiga ma'lum bir mahsulotga mavsumiy talab faolligi, tebranishlar va bosish geografiyasi haqida ma'lumot berishi mumkin. Agar siz ushbu ma'lumotni o'zingizning saytingizdagi tegishli plagin tomonidan to'plangan statistik ma'lumotlar bilan taqqoslasangiz, oy, mintaqa va boshqa parametrlarni ko'rsatgan holda reklama byudjetini taqsimlash rejasini tuzishingiz mumkin.

Ko'pgina tadqiqotchilarning fikriga ko'ra, Trump kampaniyasining muvaffaqiyati katta ma'lumotlarni segmentatsiyalash va undan foydalanishda yotadi. AQShning bo'lajak prezidentining jamoasi tomoshabinlarni to'g'ri taqsimlay oldi, uning istaklarini tushundi va saylovchilar ko'rishni va eshitishni istagan xabarni aniq ko'rsata oldi. Shunday qilib, Data-Centric Alliance vakili Irina Belyshevaning so‘zlariga ko‘ra, Trampning g‘alabasiga katta ma’lumotlar, psixologik-xulq-atvor tahlili va shaxsiy reklama asosidagi internet-marketingga nostandart yondashuv sabab bo‘lgan.

Trampning siyosiy texnologlari va marketologlari maxsus ishlab chiqilgan matematik modeldan foydalanganlar, bu ularga barcha AQSh saylovchilarining ma'lumotlarini chuqur tahlil qilish va ularni tizimlashtirish imkonini berdi, bu nafaqat geografik xususiyatlar, balki saylovchilarning niyatlari, manfaatlari, ularning manfaatlarini hisobga olgan holda o'ta aniq nishonga olish imkonini berdi. psixotip, xulq-atvor xususiyatlari va boshqalar. Marketologlar fuqarolarning har bir guruhi bilan ularning ehtiyojlari, kayfiyatlari, siyosiy qarashlari, psixologik xususiyatlar va hatto terining rangi, deyarli har bir saylovchi uchun o'z xabaridan foydalanadi.

Hillari Klintonga kelsak, u o'z kampaniyasida sotsiologik ma'lumotlar va standart marketingga asoslangan "vaqt sinovidan o'tgan" usullardan foydalangan, saylovchilarni faqat rasmiy ravishda bir xil guruhlarga (erkaklar, ayollar, afro-amerikaliklar, ispanlar, kambag'allar, boylar va boshqalar) ajratgan.

Natijada yangi texnologiyalar va tahlil usullari imkoniyatlarini yuqori baholagan kishi g‘olib deb topildi. Shunisi e'tiborga loyiqki, Hillari Klintonning saylovoldi xarajati raqibinikidan ikki baravar ko'p edi:

Ma'lumotlar: Pew Research

Katta ma'lumotlardan foydalanishning asosiy muammolari

Yuqori narxdan tashqari, turli sohalarda Big Datani joriy etishga to'sqinlik qiluvchi asosiy omillardan biri bu qayta ishlanadigan ma'lumotlarni tanlash muammosi: ya'ni qaysi ma'lumotlarni ajratib olish, saqlash va tahlil qilish kerakligini va qaysilarini aniqlash. hisobga olinmasligi kerak.

Katta ma'lumotlarning yana bir muammosi axloqiydir. Boshqacha qilib aytganda, tabiiy savol tug'iladi: bunday ma'lumotlarni yig'ish (ayniqsa, foydalanuvchining xabarisiz) maxfiylik chegaralarini buzish deb hisoblanishi mumkinmi?

Hech kimga sir emaski, ma'lumotlar qidiruv tizimlarida saqlanadi Google tizimlari va Yandex, IT gigantlariga doimiy ravishda o'z xizmatlarini yaxshilash, ularni foydalanuvchilarga qulay qilish va yangi interaktiv ilovalar yaratish imkonini beradi. Buning uchun qidiruv tizimlari foydalanuvchining Internetdagi faoliyati, IP manzillari, geolokatsiya maʼlumotlari, qiziqishlar va onlayn xaridlar, shaxsiy maʼlumotlar, elektron pochta xabarlari va boshqalar haqidagi foydalanuvchi maʼlumotlarini toʻplaydi. Bularning barchasi sizga koʻrsatish imkonini beradi. kontekstli reklama Internetdagi foydalanuvchi xatti-harakatlariga muvofiq. Shu bilan birga, buning uchun odatda foydalanuvchilarning roziligi so'ralmaydi va o'zlari haqida qanday ma'lumotlarni taqdim etishni tanlash imkoniyati berilmaydi. Ya'ni, sukut bo'yicha, hamma narsa Big Data'da to'planadi, keyinchalik u saytlarning ma'lumotlar serverlarida saqlanadi.

Bundan ma'lumotlarni saqlash va ulardan foydalanish xavfsizligiga oid navbatdagi muhim masala kelib chiqadi. Misol uchun, iste'molchilar uchun maxsus tahlil platformasi avtomatik rejim ularning ma'lumotlarini uzatish? Bundan tashqari, ko'plab biznes vakillari katta hajmdagi ma'lumotlarni samarali boshqarishga va ularning yordami bilan muayyan biznes muammolarini hal qilishga qodir bo'lgan yuqori malakali tahlilchilar va marketologlarning etishmasligini qayd etishadi.

Big Datani joriy qilish bilan bog‘liq barcha qiyinchiliklarga qaramay, biznes ushbu sohaga investitsiyalarni ko‘paytirish niyatida. Gartner tadqiqotiga ko'ra, Big Dataga sarmoya kirituvchi sohalarning yetakchilari ommaviy axborot vositalari, chakana savdo, telekommunikatsiya, bank va xizmat ko'rsatish kompaniyalari hisoblanadi.

Blokcheyn texnologiyalari va Big Data o'rtasidagi o'zaro ta'sir istiqbollari

Katta ma'lumotlar bilan integratsiya sinergik ta'sirga ega va biznes uchun keng ko'lamli yangi imkoniyatlarni ochadi, jumladan:

— iste'molchilarning xohish-istaklari to'g'risida batafsil ma'lumotlarga ega bo'lish, ular asosida aniq etkazib beruvchilar, mahsulotlar va mahsulot komponentlari uchun batafsil tahliliy profillarni yaratishingiz mumkin;
- turli toifadagi foydalanuvchilar tomonidan tovarlarning ayrim guruhlarini iste'mol qilish bo'yicha operatsiyalar va statistik ma'lumotlarning batafsil ma'lumotlarini birlashtirish;
- etkazib berish va iste'mol zanjirlari bo'yicha batafsil tahliliy ma'lumotlarni olish, tashish paytida mahsulot yo'qotishlarini nazorat qilish (masalan, ayrim turdagi tovarlarning qisqarishi va bug'lanishi natijasida vazn yo'qotish);
– kontrafakt mahsulotlarga qarshi kurashish, jinoiy daromadlarni legallashtirish va firibgarlikka qarshi kurash samaradorligini oshirish va h.k.

Tovarlardan foydalanish va iste'mol qilish bo'yicha batafsil ma'lumotlarga kirish asosiy biznes jarayonlarini optimallashtirish uchun Big Data texnologiyasining imkoniyatlarini ochib beradi, tartibga solish xatarlarini kamaytiradi va monetizatsiya va hozirgi iste'molchilarning xohishlariga eng mos keladigan mahsulotlarni yaratish uchun yangi imkoniyatlar ochadi.

Ma’lumki, eng yirik moliya institutlari vakillari allaqachon blokcheyn texnologiyasiga, jumladan, va hokazolarga katta qiziqish bildirmoqda.Shveytsariyaning UBS moliyaviy xoldingining IT-menejeri Oliver Bussmanning so‘zlariga ko‘ra, blokcheyn texnologiyasi “tranzaksiyalarni qayta ishlash vaqtini bir necha kundan bir necha kungacha qisqartirishi mumkin. daqiqalar".

Big Data texnologiyasidan foydalangan holda blokcheyndan tahlil qilish salohiyati juda katta. Texnologiya taqsimlangan daftar ma'lumotlarning yaxlitligini, shuningdek, barcha operatsiyalar tarixining ishonchli va shaffof saqlanishini ta'minlaydi. Katta ma'lumotlar, o'z navbatida, samarali tahlil qilish, prognozlash, iqtisodiy modellashtirish uchun yangi vositalarni taqdim etadi va shunga mos ravishda boshqaruv qarorlarini yanada oqilona qabul qilish uchun yangi imkoniyatlar ochadi.

Blockchain va Big Data tandemi sog'liqni saqlashda muvaffaqiyatli qo'llanilishi mumkin. Ma'lumki, bemorning sog'lig'i to'g'risidagi nomukammal va to'liq bo'lmagan ma'lumotlar ba'zida noto'g'ri tashxis qo'yish va noto'g'ri tayinlangan davolanish xavfini oshiradi. Tibbiy muassasalar mijozlarining sog'lig'i to'g'risidagi muhim ma'lumotlar imkon qadar xavfsiz bo'lishi, o'zgarmaslik xususiyatlariga ega bo'lishi, tekshirilishi va hech qanday manipulyatsiyaga duchor bo'lmasligi kerak.

Blokcheyndagi ma'lumotlar yuqoridagi barcha talablarga javob beradi va yangi Big Data texnologiyalaridan foydalangan holda chuqur tahlil qilish uchun yuqori sifatli va ishonchli manba ma'lumotlari bo'lib xizmat qilishi mumkin. Bundan tashqari, blokcheyn yordamida tibbiyot muassasalari sug‘urta kompaniyalari, adliya organlari, ish beruvchilar, ilmiy muassasalar va tibbiy ma’lumotlarga muhtoj bo‘lgan boshqa tashkilotlar bilan ishonchli ma’lumotlar almashishi mumkin edi.

Katta ma'lumotlar va axborot xavfsizligi

Keng ma'noda axborot xavfsizligi - bu axborot va yordamchi infratuzilmani tabiiy yoki sun'iy xarakterdagi tasodifiy yoki qasddan salbiy ta'sirlardan himoya qilishdir.

Axborot xavfsizligi sohasida Big Data quyidagi muammolarga duch keladi:

— maʼlumotlarni himoya qilish va ularning yaxlitligini taʼminlash muammolari;
— maxfiy ma'lumotlarning tashqaridan aralashuvi va sizib chiqishi xavfi;
— maxfiy maʼlumotlarni notoʻgʻri saqlash;
- axborotni yo'qotish xavfi, masalan, kimningdir zararli harakatlari tufayli;
- uchinchi shaxslar tomonidan shaxsiy ma'lumotlardan noto'g'ri foydalanish xavfi va boshqalar.

Blockchain hal qilish uchun mo'ljallangan katta ma'lumotlarning asosiy muammolaridan biri axborot xavfsizligi sohasida yotadi. Uning barcha asosiy tamoyillariga muvofiqligini ta'minlash, taqsimlangan daftar texnologiyasi ma'lumotlarning yaxlitligi va ishonchliligini kafolatlashi mumkin va bitta nosozlik nuqtasi yo'qligi sababli blokcheyn axborot tizimlarini barqaror qiladi. Tarqatilgan ro'yxatga olish texnologiyasi ma'lumotlarga ishonch muammosini hal qilishga yordam beradi, shuningdek, imkon beradi universal almashinuv ular.

Axborot qimmatli boylikdir, demak, axborot xavfsizligining asosiy jihatlari birinchi o'rinda turishi kerak. Raqobatda omon qolish uchun kompaniyalar zamon bilan hamnafas bo'lishlari kerak, ya'ni ular blokcheyn texnologiyasi va Big Data vositalarining potentsial imkoniyatlari va afzalliklarini e'tiborsiz qoldira olmaydi.

Bir vaqtlar men "Katta ma'lumotlar" atamasini German Grefdan (Sberbank rahbari) eshitganman. Masalan, ular hozir faol ravishda amalga oshirish ustida ishlamoqda, chunki bu ularga har bir mijoz bilan ishlash vaqtini qisqartirishga yordam beradi.

Ikkinchi marta men ushbu kontseptsiyani mijozning onlayn-do'konida uchratdim, u erda biz ishladik va assortimentni bir necha mingdan bir necha o'n minglab tovarlargacha oshirdik.

Uchinchi marta men Yandex katta ma'lumotlar tahlilchisi kerakligini ko'rdim. Keyin men ushbu mavzuni chuqurroq o'rganishga qaror qildim va shu bilan birga TOP-menejerlar va Internet makonini hayajonlantiradigan qanday atama ekanligini aytib beradigan maqola yozishga qaror qildim.

VVV yoki VVVVV

Men odatda maqolalarimni qanday atama ekanligini tushuntirish bilan boshlayman. Ushbu maqola bundan mustasno bo'lmaydi.

Biroq, bu, birinchi navbatda, qanchalik aqlli ekanligimni ko'rsatish istagi bilan bog'liq emas, balki mavzu haqiqatan ham murakkab va diqqat bilan tushuntirishni talab qiladi.

Misol uchun, siz Vikipediyada katta ma'lumotlar nima ekanligini o'qishingiz mumkin, hech narsani tushunmayapsiz, keyin ta'rifi va biznes uchun qo'llanilishini tushunish uchun ushbu maqolaga qaytishingiz mumkin. Shunday qilib, keling, tavsifdan boshlaylik, keyin esa biznes misollariga.

Katta ma'lumotlar - bu katta ma'lumotlar. Ajoyib, to'g'rimi? Aslida, ingliz tilidan "katta ma'lumotlar" deb tarjima qilingan. Ammo bu ta'rif, deyish mumkinki, qo'g'irchoqlar uchun.

Muhim. Katta ma'lumotlar texnologiyasi - bu an'anaviy usullar bilan ishlov berish qiyin bo'lgan yangi ma'lumotlarni olish uchun ko'proq ma'lumotlarni qayta ishlashning yondashuvi/usuli.

Ma'lumotlar qayta ishlangan (tuzilgan) va qismlarga bo'lingan (ya'ni tuzilmagan) bo'lishi mumkin.

Bu atamaning o'zi nisbatan yaqinda paydo bo'lgan. 2008 yilda ilmiy jurnal bu yondashuvni eksponent ravishda o'sib borayotgan katta hajmdagi ma'lumotlar bilan kurashish uchun zarur bo'lgan narsa deb taxmin qildi.

Misol uchun, har yili Internetda saqlanishi kerak bo'lgan va, albatta, qayta ishlanishi kerak bo'lgan ma'lumotlar 40% ga oshadi. Yana bir marta. +40% har yili Internetda yangi ma'lumotlar paydo bo'ladi.

Agar chop etilgan hujjatlar tushunarli bo'lsa va ularni qayta ishlash usullari ham tushunarli bo'lsa (elektron shaklga o'tkazish, bitta papkaga yopishtirish, raqamlangan), unda butunlay boshqa "tashuvchilar" va boshqa hajmlarda taqdim etilgan ma'lumotlar bilan nima qilish kerak:

• Internet hujjatlari;
• bloglar va ijtimoiy tarmoqlar;
• audio/video manbalari;
• o'lchash asboblari;

Axborot va ma'lumotlarni katta ma'lumotlar sifatida tasniflash imkonini beradigan xususiyatlar mavjud.

Ya'ni, barcha ma'lumotlar tahlil qilish uchun mos kelmasligi mumkin. Aynan shu xususiyatlarda asosiy tushuncha katta sana. Ularning barchasi uchta V ga to'g'ri keladi.

1. Hajmi (ingliz tilidan). Ma'lumotlar tahlil qilinadigan "hujjat" ning jismoniy hajmi bo'yicha o'lchanadi;
2. Tezlik (inglizcha tezlikdan). Ma'lumotlar uning rivojlanishida turmaydi, lekin doimiy ravishda o'sib boradi, shuning uchun natijalarga erishish uchun ularni tezda qayta ishlash kerak;
3. Varete (inglizcha xilma-xillikdan). Ma'lumotlar bir xil bo'lmasligi mumkin. Ya'ni, ular parchalangan, tuzilgan yoki qisman tuzilgan bo'lishi mumkin.

Biroq, vaqti-vaqti bilan VVV ga to'rtinchi V (haqiqiylik - ma'lumotlarning ishonchliligi / ishonchliligi) va hatto beshinchi V qo'shiladi (ba'zi hollarda bu hayotiylik - yashovchanlik, boshqalarida bu qiymat).

Biror joyda men hatto katta ma'lumotlar bilan bog'liq ma'lumotlarni tavsiflovchi 7V ni ko'rdim. Lekin mening fikrimcha, bu ketma-ketlikdan (bu erda Plar vaqti-vaqti bilan qo'shiladi, garchi tushunish uchun boshlang'ich 4 etarli bo'lsa ham).

Kimga kerak?

Mantiqiy savol tug'iladi, axborotdan qanday foydalanish mumkin (agar biror narsa bo'lsa, katta ma'lumotlar yuzlab va minglab terabaytlarni tashkil qiladi)? Hatto bunday emas.

Mana ma'lumot. Xo'sh, nega ular katta ma'lumotlarni o'ylab topishdi? Marketing va biznesda katta ma'lumotlardan qanday foydalanish kerak?

1. An'anaviy ma'lumotlar bazalari juda katta hajmdagi ma'lumotlarni saqlay olmaydi va qayta ishlay olmaydi (men hozir tahlillar haqida gapirmayapman, shunchaki saqlash va qayta ishlash).

   Katta ma'lumotlar ushbu asosiy muammoni hal qiladi. Katta hajmdagi ma'lumotlarni muvaffaqiyatli saqlaydi va boshqaradi;

2. Turli manbalardan (video, tasvirlar, audio va matnli hujjatlar) keladigan ma'lumotlarni yagona, tushunarli va hazm bo'ladigan shaklda tuzadi;
3. Strukturaviy va qayta ishlangan ma'lumotlar asosida tahlilni shakllantirish va aniq prognozlarni yaratish.

Bu qiyin. Oddiy qilib aytganda, agar siz katta hajmdagi ma'lumotlarni (siz, kompaniyangiz, raqobatchilaringiz, sohangiz) o'rgansangiz, juda yaxshi natijalarga erishishingiz mumkinligini tushunadigan har qanday marketolog:

• Raqamlar nuqtai nazaridan kompaniyangiz va biznesingizni to'liq tushunish;
• Raqobatchilaringizni o'rganing. Bu esa, o'z navbatida, ularga hukmronlik qilib, oldinga borishga imkon beradi;
• Bilmoq yangi ma'lumotlar mijozlaringiz haqida.

Va aniq katta ma'lumotlar texnologiyasi quyidagi natijalarni bergani uchun hamma unga shoshiladi.

Ular sotishni ko'paytirish va xarajatlarni kamaytirish uchun ushbu biznesni o'z kompaniyalariga aylantirishga harakat qilmoqdalar. Va aniqroq bo'lish uchun:

1. Mijozlarning xohish-istaklarini yaxshiroq bilish orqali o'zaro savdo va yuqori sotuvlarni oshirish;
2. Qidirmoq mashhur mahsulotlar va ularni sotib olish sabablari (va aksincha);
3. Mahsulot yoki xizmatni yaxshilash;
4. Xizmat ko'rsatish darajasini oshirish;
5. Mijozlarga sodiqlik va e'tiborni oshirish;
6. Firibgarlikning oldini olish (bank sektori uchun ko'proq tegishli);
7. Ortiqcha xarajatlarni kamaytirish.

Barcha manbalarda keltirilgan eng keng tarqalgan misol, albatta, o'z foydalanuvchilari (telefon, soat, kompyuter) haqidagi ma'lumotlarni to'playdigan Apple kompaniyasidir.

Ekotizim mavjudligi tufayli korporatsiya o'z foydalanuvchilari haqida juda ko'p narsani biladi va kelajakda undan foyda olish uchun foydalanadi.

Ushbu va boshqa foydalanish misollarini ushbu maqoladan tashqari har qanday boshqa maqolada o'qishingiz mumkin.

Keling, kelajakka boraylik

Men sizga boshqa loyiha haqida aytib beraman. Toʻgʻrirogʻi, katta maʼlumotlar yechimlari yordamida kelajakni quruvchi shaxs haqida.

Bu Ilon Mask va uning kompaniyasi Tesla. Uning asosiy orzusi mashinalarni avtonom qilish, ya'ni siz rulga o'tirasiz, Moskvadan Vladivostokgacha avtopilotni yoqasiz va ... uxlab qolasiz, chunki siz umuman mashina haydashingiz shart emas, chunki u qiladi. hamma narsaning o'zi.

Bu fantastik tuyuladimi? Lekin yoq! Shunchaki, Ilon o‘nlab sun’iy yo‘ldoshlar yordamida mashinalarni boshqaradigan Google’dan ancha donoroq harakat qilgan. Va boshqa tomonga ketdi:

1. Har bir sotilgan mashina barcha ma'lumotlarni to'playdigan kompyuter bilan jihozlangan.

   Hamma hamma narsani anglatadi. Haydovchi, uning haydash uslubi, atrofdagi yo'llar, boshqa mashinalarning harakati haqida. Bunday ma'lumotlarning hajmi soatiga 20-30 GB ga etadi;

2. Bundan tashqari, ushbu ma'lumot sun'iy yo'ldosh orqali ushbu ma'lumotlarni qayta ishlaydigan markaziy kompyuterga uzatiladi;
3. Ushbu kompyuter ishlov beradigan katta ma'lumotlarga asoslanib, uchuvchisiz transport vositasining modeli yaratilgan.

Aytgancha, agar Google juda yomon ishlayotgan bo'lsa va ularning mashinalari doimo avariyalarga uchrasa, Mask katta ma'lumotlar bilan ishlayotgani tufayli ancha yaxshi ishlaydi, chunki test modellari juda yaxshi natijalarni ko'rsatadi.

https://youtu.be/lc2ZVUZ6kno

Lekin... Hamma gap iqtisod bilan bog‘liq. Hammamiz foyda haqida nima deymiz, ha foyda haqida? Katta ma'lumotlar hal qila oladigan ko'p narsa daromad va pul bilan bog'liq emas.

Katta ma'lumotlarga asoslangan Google statistikasi qiziqarli narsani ko'rsatadi.

Shifokorlar mintaqada kasallikning epidemiyasi boshlanishini e'lon qilishdan oldin, soni qidiruv so'rovlari Ushbu kasallikni davolash haqida.

Shunday qilib, ma'lumotlarni to'g'ri o'rganish va ularni tahlil qilish prognozlarni shakllantirishi va epidemiyaning boshlanishini (va shunga mos ravishda uning oldini olish) hokimiyatning fikri va ularning harakatlaridan ko'ra tezroq bashorat qilishi mumkin.

Rossiyada ariza

Biroq, Rossiya, har doimgidek, biroz sekinlashadi. Shunday qilib, Rossiyada katta ma'lumotlarning ta'rifi 5 yil oldin paydo bo'lgan (men hozir oddiy kompaniyalar haqida gapiryapman).

Va bu dunyodagi eng tez rivojlanayotgan bozorlardan biri bo'lishiga qaramay (giyohvand moddalar va qurollar asabiy ravishda chekishadi), chunki har yili katta ma'lumotlarni to'plash va tahlil qilish uchun dasturiy ta'minot bozori 32% ga o'sadi.

Rossiyadagi katta ma'lumotlar bozorini tavsiflash uchun men eski hazilni eslayman. Katta uchrashuv 18 yoshdan oldin jinsiy aloqaga o'xshaydi.

Hamma bu haqda gapiradi, uning atrofida shov-shuv ko'p va ozgina haqiqiy harakat, va hamma o'zlari buni qilmasliklarini tan olishdan uyaladilar. Darhaqiqat, bu borada juda ko'p shov-shuvlar bor, lekin haqiqiy harakatlar kam.

Taniqli Gartner tadqiqot kompaniyasi 2015 yilda katta ma'lumotlar endi ortib borayotgan tendentsiya (masalan, sun'iy intellekt) emas, balki ilg'or texnologiyalarni tahlil qilish va rivojlantirish uchun mutlaqo mustaqil vosita ekanligini e'lon qilgan bo'lsa-da.

Rossiyada katta ma'lumotlardan foydalaniladigan eng faol bo'shliqlar bu banklar / sug'urta (maqolani Sberbank rahbari bilan boshlaganim sababsiz emas), telekommunikatsiya, chakana savdo, ko'chmas mulk va ... davlat sektori.

Misol uchun, men sizga katta ma'lumotlar algoritmlaridan foydalanadigan iqtisodiyotning bir nechta tarmoqlari haqida batafsil aytib beraman.

Banklar

Keling, banklar va ular biz va faoliyatimiz haqida to'playdigan ma'lumotlardan boshlaylik. Masalan, men katta ma'lumotlarga faol sarmoya kiritayotgan Rossiyaning TOP-5 bankini oldim:

1. Sberbank;
2. Gazprombank;
3. VTB 24;
4. Alfa Bank;
5. Tinkoff banki.

Rossiya rahbarlari orasida Alfa Bankni ko'rish ayniqsa yoqimli. Hech bo'lmaganda, bank, rasmiy hamkor siz kimsiz, kompaniyangizga yangi marketing vositalarini joriy etish zarurligini tushunadi.

Ammo men bankdagi katta ma'lumotlardan foydalanish va muvaffaqiyatli amalga oshirish misollarini ko'rsatmoqchiman, bu menga uning asoschisining nostandart ko'rinishi va harakatlari uchun yoqadi.

Men Tinkoff Bank haqida gapiryapman. Ular asosiy vazifa mijozlar bazasining ko'payishi tufayli real vaqt rejimida katta ma'lumotlarni tahlil qilish tizimi ishlab chiqildi.

Natijalar: vaqt ichki jarayonlar kamida 10 marta, ba'zilarida esa 100 martadan ko'proq kamaydi.

Xo'sh, biroz chalg'itish. Bilasizmi, nega men Oleg Tinkovning nostandart g'alayonlari va harakatlari haqida gapira boshladim?

Shunchaki, mening fikrimcha, unga Rossiyada minglab odamlar yashaydigan o'rta sinf biznesmenidan eng mashhur va taniqli tadbirkorlardan biriga aylanishiga yordam berganlar. Buni isbotlash uchun ushbu noodatiy va qiziqarli videoni tomosha qiling:

https://youtu.be/XHMaD5HAvfk

Ko'chmas mulk

Ko'chmas mulkda ishlar ancha murakkab. Va bu oddiy biznesdagi katta sanani tushunish uchun men sizga bermoqchi bo'lgan misoldir. Dastlabki ma'lumotlar:

1. Matnli hujjatlarning katta hajmi;
2. Ochiq manbalar (erning o'zgarishi ma'lumotlarini uzatuvchi xususiy sun'iy yo'ldoshlar);
3. Internetdagi nazoratsiz ma'lumotlarning katta miqdori;
4. Manbalar va ma'lumotlarning doimiy o'zgarishi.

Va buning asosida, masalan, Ural qishlog'i ostidagi er uchastkasining narxini tayyorlash va baholash kerak. Professional uchun bir hafta kerak bo'ladi.

Da Rossiya jamiyati Haqiqatan ham dasturiy ta'minot yordamida katta ma'lumotlar tahlilini amalga oshirgan Appraisers & ROSEKO 30 daqiqadan ko'proq vaqtni bo'sh ishlamaydi. Taqqoslang, bir hafta va 30 daqiqa. Katta farq.

Xo'sh, gazak uchun

Albatta, oddiy qattiq disklarda katta hajmdagi ma'lumotlarni saqlash va qayta ishlash mumkin emas.

Va ma'lumotlarni tuzadigan va tahlil qiladigan dasturiy ta'minot odatda intellektual mulk bo'lib, har safar muallif tomonidan ishlab chiqilgan. Biroq, bu joziba yaratadigan vositalar mavjud:

• Hadoop va MapReduce;
• NoSQL ma'lumotlar bazalari;
• Data Discovery klassi vositalari.

Rostini aytsam, men sizga ularning bir-biridan qanday farq qilishini aniq tushuntira olmayman, chunki bu narsalar bilan tanishish va ishlash fizika-matematika institutlarida o'qitiladi.

Agar tushuntira olmasam, nega men bu haqda gapira boshladim? Esingizdami, barcha filmlarda qaroqchilar har qanday bankka kirib, simlarga ulangan juda ko'p turli xil temir bo'laklarini ko'rishadi?

Xuddi shu narsa katta ma'lumotlar uchun ham amal qiladi. Misol uchun, bu erda hozirda bozorda eng etakchilardan biri bo'lgan model.

Katta sana vositasi

Maksimal konfiguratsiyadagi narx har bir raf uchun 27 million rublga etadi. Bu, albatta, lyuks versiyasi. Aytmoqchimanki, siz o'z biznesingizda oldindan katta ma'lumotlarni yaratishga harakat qilasiz.

Asosiysi haqida qisqacha

Siz so'rashingiz mumkin, nima uchun siz, kichik va o'rta biznes, katta ma'lumotlar bilan ishlaysiz?

Bunga men sizga bir kishining iqtibos bilan javob beraman: "Yaqin kelajakda mijozlar o'zlarining xatti-harakatlarini, odatlarini yaxshiroq tushunadigan va iloji boricha ularga mos keladigan kompaniyalarga muhtoj bo'lishadi."

Ammo tan olaylik. Kichik biznesda katta ma'lumotlarni joriy qilish uchun nafaqat dasturiy ta'minotni ishlab chiqish va joriy etish uchun katta byudjetlarga ega bo'lish, balki hech bo'lmaganda katta ma'lumotlar tahlilchisi va tizim administratori kabi mutaxassislarga xizmat ko'rsatish uchun ham zarurdir.

Va endi men sizda qayta ishlash uchun bunday ma'lumotlarga ega bo'lishingiz kerakligi haqida jimman.

OK. Kichik biznes uchun mavzu deyarli qo'llanilmaydi. Ammo bu siz yuqorida o'qigan hamma narsani unutishingiz kerak degani emas.

Faqat o'zingizning ma'lumotlaringizni emas, balki taniqli xorijiy va Rossiya kompaniyalarining ma'lumotlar tahlili natijalarini o'rganing.

Masalan, chakana savdo tarmog'i Maqsad, katta ma'lumotlar tahlilidan foydalangan holda, homilador ayollar homiladorlikning ikkinchi trimestriga qadar (homiladorlikning 1-dan 12-haftasigacha) xushbo'y bo'lmagan mahsulotlarni faol ravishda sotib olishlarini aniqladilar.

Ushbu ma'lumotlar bilan ular cheklangan yaroqlilik muddati bo'lgan hidsiz mahsulotlar uchun chegirma kuponlarini yuborishadi.

Va agar siz juda kichik kafe bo'lsangiz, masalan? Ha, juda oddiy. Sodiqlik ilovasidan foydalaning.

Va bir muncha vaqt o'tgach va to'plangan ma'lumotlar tufayli siz mijozlarga nafaqat ularning ehtiyojlariga mos keladigan taomlarni taklif qila olasiz, balki sichqonchani bir necha marta bosish bilan eng sotilmagan va eng marginal taomlarni ko'rishingiz mumkin.

Demak, xulosa. Kichik biznes uchun katta ma'lumotlarni joriy qilish qiyin, ammo boshqa kompaniyalarning natijalari va ishlanmalaridan foydalanish shart.

2011 yilda yaratilgan va takrorlangan ma'lumotlarning umumiy global hajmi taxminan 1,8 zettabayt (1,8 trillion gigabayt) bo'lishi mumkinligi bashorat qilingan edi - bu 2006 yilda yaratilganidan taxminan 9 baravar ko'p.

Keyinchalik murakkab ta'rif

Shunga qaramay` katta ma'lumotlar` katta hajmdagi ma'lumotlarni tahlil qilishdan ko'proq narsani o'z ichiga oladi. Muammo shundaki, tashkilotlar katta hajmdagi ma'lumotlarni yaratadilar, lekin ularning aksariyati an'anaviy tuzilgan ma'lumotlar bazasi formatiga mos kelmaydigan formatda taqdim etiladi - bular veb-jurnallar, videolar, matnli hujjatlar, mashina kodi yoki, masalan, geofazoviy ma'lumotlar. Bularning barchasi turli xil omborlarda, ba'zan hatto tashkilotdan tashqarida saqlanadi. Natijada, korporatsiyalar o'zlarining katta miqdordagi ma'lumotlariga kirishlari mumkin va bu ma'lumotlar o'rtasida aloqalarni o'rnatish va ulardan mazmunli xulosalar chiqarish uchun zarur vositalarga ega bo'lmaydi. Bunga ma'lumotlarning tez-tez yangilanishini qo'shing va siz axborotni tahlil qilishning an'anaviy usullari doimiy yangilanib turadigan katta hajmdagi ma'lumotlarga mos kela olmaydigan vaziyatga duch kelasiz, bu esa oxir-oqibat texnologiyaga yo'l ochadi. katta ma'lumotlar.

Eng yaxshi ta'rif

Umuman olganda, kontseptsiya katta ma'lumotlar ish samaradorligini oshirish, yangi mahsulotlarni yaratish va raqobatbardoshlikni oshirish uchun juda tez-tez yangilanadigan va turli manbalarda joylashgan katta hajmli va xilma-xil tarkibdagi ma'lumotlar bilan ishlashni o'z ichiga oladi. Forrester konsalting kompaniyasi buni qisqacha aytadi: ` katta ma'lumotlar amaliylikning o'ta chegarasida ma'lumotlardan ma'no chiqaradigan texnika va texnologiyalarni birlashtiradi.

Biznes razvedkasi va katta ma'lumotlar o'rtasidagi farq qanchalik katta?

Fujitsu Avstraliyaning marketing bo'yicha ijrochi direktori va texnologiya bo'yicha bosh direktori Kreyg Bati ta'kidlaganidek, biznesni tahlil qilish bu biznes tomonidan erishilgan natijalarni tahlil qilishning tavsiflovchi jarayonidir. ma'lum davr vaqt, ishlov berish tezligi esa katta ma'lumotlar tahlilni bashorat qilish imkonini beradi, kelajak uchun biznes tavsiyalarini taklif qila oladi. Katta ma'lumotlar texnologiyalari, shuningdek, biznes razvedkasi vositalariga qaraganda ko'proq turdagi ma'lumotlarni tahlil qilish imkonini beradi, bu nafaqat tuzilgan saqlashga e'tibor qaratish imkonini beradi.

O "Reilly Radar" dan Mett Slocum ishonadi, garchi katta ma'lumotlar va ishbilarmonlik razvedkasining maqsadi bir (savolga javob topish), ular bir-biridan uch jihati bilan farqlanadi.

• Katta ma'lumotlar biznes razvedkasiga qaraganda katta hajmdagi ma'lumotlarni qayta ishlash uchun mo'ljallangan va bu, albatta, katta ma'lumotlarning an'anaviy ta'rifiga mos keladi.
• Katta ma'lumotlar tezroq va tezroq o'zgaruvchan ma'lumotni qayta ishlash uchun mo'ljallangan, bu chuqur izlanish va interaktivlikni anglatadi. Ba'zi hollarda natijalar veb-sahifa yuklanishidan tezroq hosil bo'ladi.
• Katta ma'lumotlar tuzilmagan ma'lumotlarni qayta ishlash uchun mo'ljallangan bo'lib, biz uni to'plash va saqlash imkoniyatiga ega bo'lganimizdan keyin qanday foydalanishni endigina o'rganishni boshlayapmiz va bu massivlardagi tendentsiyalarni topishni osonlashtirish uchun bizga algoritmlar va dialoglar kerak.

Oracle tomonidan chop etilgan Oracle Information Architecture: An Architect's Guide to Big Data oq qog'oziga ko'ra, katta ma'lumotlar bilan ishlashda biz ma'lumotlarga biznes tahlilini o'tkazishdan farqli ravishda yondashamiz.

Katta ma'lumotlar bilan ishlash odatiy biznes razvedka jarayoniga o'xshamaydi, bu erda ma'lum qiymatlarni qo'shish natija beradi: masalan, birgalikda to'langan veksellarni qo'shish bir yil davomida savdoga aylanadi. Katta ma'lumotlar bilan ishlashda natija ularni ketma-ket modellashtirish orqali tozalash jarayonida olinadi: birinchi navbatda gipoteza ilgari suriladi, statistik, vizual yoki semantik model tuziladi, uning asosida ilgari surilgan gipotezaning to'g'riligi tekshiriladi. , keyin esa keyingisi ilgari suriladi. Bu jarayon tadqiqotchidan vizual ma'nolarni izohlashni yoki bilimga asoslangan interfaol so'rovlarni amalga oshirishni yoki istalgan natijani beradigan "mashinalarni o'rganish" algoritmlarini ishlab chiqishni talab qiladi. Bundan tashqari, bunday algoritmning ishlash muddati juda qisqa bo'lishi mumkin.

Katta ma'lumotlarni tahlil qilish usullari

Ma'lumotlar massivlarini tahlil qilishning turli usullari mavjud bo'lib, ular statistika va informatikadan olingan vositalarga asoslangan (masalan, mashinani o'rganish). Ro'yxat to'liq deb da'vo qilmaydi, lekin u turli sohalardagi eng mashhur yondashuvlarni aks ettiradi. Shu bilan birga, shuni tushunish kerakki, tadqiqotchilar yangi usullarni yaratish va mavjudlarini takomillashtirish ustida ishlashni davom ettirmoqdalar. Bundan tashqari, sanab o'tilgan usullarning ba'zilari faqat katta ma'lumotlar uchun qo'llanilishi shart emas va kichikroq massivlar uchun muvaffaqiyatli ishlatilishi mumkin (masalan, A / B testi, regressiya tahlili). Albatta, massiv qanchalik hajmli va diversifikatsiya qilinadigan tahlil qilinsa, chiqishda shunchalik aniq va tegishli ma'lumotlarni olish mumkin.

A/B testi. Nazorat namunasi o'z navbatida boshqalar bilan solishtiriladigan texnika. Shunday qilib, masalan, marketing taklifiga eng yaxshi iste'molchi javobiga erishish uchun ko'rsatkichlarning optimal kombinatsiyasini aniqlash mumkin. katta ma'lumotlar ruxsat berish katta soni takrorlash va shu tariqa statistik ahamiyatga ega natijani olish.

assotsiatsiya qoidalarini o'rganish. O'zaro munosabatlarni aniqlash uchun texnikalar to'plami, ya'ni. katta ma'lumotlar massivlaridagi o'zgaruvchilar orasidagi assotsiatsiya qoidalari. ichida ishlatilgan ma'lumotlarni qazib olish.

tasnifi. Muayyan bozor segmentida iste'molchilarning xatti-harakatlarini bashorat qilish imkonini beruvchi texnikalar to'plami (sotib olish qarorlari, ishdan chiqish, iste'mol hajmi va boshqalar). ichida ishlatilgan ma'lumotlarni qazib olish.

klaster tahlili. Oldindan ma'lum bo'lmagan umumiy xususiyatlarni aniqlash orqali ob'ektlarni guruhlarga ajratishning statistik usuli. ichida ishlatilgan ma'lumotlarni qazib olish.

Kraudsorsing. Ko'p sonli manbalardan ma'lumotlarni yig'ish texnikasi.

Ma'lumotlarni birlashtirish va ma'lumotlar integratsiyasi. Ijtimoiy tarmoq foydalanuvchilarining sharhlarini tahlil qilish va ularni real vaqt rejimidagi savdo natijalari bilan solishtirish imkonini beruvchi texnikalar majmuasi.

ma'lumotlarni qazib olish. Rag'batlanayotgan mahsulot yoki xizmat uchun iste'molchilarning eng sezgir toifalarini aniqlashga, eng muvaffaqiyatli xodimlarning xususiyatlarini aniqlashga va iste'molchilarning xatti-harakatlar modelini bashorat qilishga imkon beruvchi texnikalar to'plami.

Ansamblni o'rganish. Ushbu usulda ko'plab bashoratli modellar qo'llaniladi, bu esa qilingan bashoratlarning sifatini yaxshilaydi.

Genetik algoritmlar. Ushbu texnikada mumkin bo'lgan echimlar birlasha oladigan va mutatsiyaga uchragan “xromosomalar” sifatida ifodalanadi. Tabiiy evolyutsiya jarayonida bo'lgani kabi, eng kuchli shaxs omon qoladi.

mashinani o'rganish. Tajribaviy ma'lumotlarni tahlil qilish asosida o'z-o'zini o'rganish algoritmlarini yaratishga qaratilgan informatika yo'nalishi (tarixiy jihatdan unga "sun'iy intellekt" nomi berilgan).

tabiiy tilni qayta ishlash (NLP). Informatika va tilshunoslikdan olingan tabiiy tilni aniqlash usullari to'plami.

tarmoq tahlili. Tarmoqlardagi tugunlar orasidagi bog'lanishlarni tahlil qilish usullari to'plami. Ijtimoiy tarmoqlarga kelsak, u alohida foydalanuvchilar, kompaniyalar, jamoalar va boshqalar o'rtasidagi munosabatlarni tahlil qilish imkonini beradi.

Optimallashtirish. Bir yoki bir nechta ko'rsatkichlarni yaxshilash uchun murakkab tizimlar va jarayonlarni qayta loyihalash uchun raqamli usullar to'plami. Strategik qarorlarni qabul qilishda yordam beradi, masalan, bozorga kiritilgan mahsulot tarkibi, investitsiya tahlilini o'tkazish va hokazo.

naqshni aniqlash. Iste'molchilarning xulq-atvor modelini bashorat qilish uchun o'z-o'zini o'rganish elementlari bo'lgan texnikalar to'plami.

bashoratli modellashtirish. Oldindan aniqlangan matematik modelni yaratishga imkon beradigan texnikalar to'plami ehtimoliy stsenariy hodisalarning rivojlanishi. Masalan, uchun CRM-tizim ma'lumotlar bazasini tahlil qilish mumkin bo'lgan sharoitlar bu obunachilarni provayderlarni o'zgartirishga undaydi.

regressiya. Bir yoki bir nechta mustaqil o'zgaruvchilar va qaram o'zgaruvchilar o'rtasidagi o'zgarishlarni aniqlash uchun statistik usullar to'plami. Ko'pincha prognozlash va bashorat qilish uchun ishlatiladi. Ma'lumotlarni qazib olishda qo'llaniladi.

hissiyotlarni tahlil qilish. Iste'molchilarning kayfiyatini baholash usullari insonning tabiiy tilini aniqlash texnologiyalariga asoslangan. Ular sizga qiziqish mavzusiga (masalan, iste'molchi mahsulotiga) tegishli xabarlarni umumiy ma'lumot oqimidan ajratishga imkon beradi. Keyinchalik, hukmning polaritesini (ijobiy yoki salbiy), hissiylik darajasini va hokazolarni baholang.

signalni qayta ishlash. Shovqin fonida signalni tanib olish va uni keyingi tahlil qilishga qaratilgan radiotexnikadan olingan texnikalar to'plami.

Fazoviy tahlil. Fazoviy ma'lumotlarni tahlil qilish uchun qisman statistikadan olingan texnikalar to'plami - er topologiyasi, geografik koordinatalar, ob'ektlarning geometriyasi. manba katta ma'lumotlar bu holda geografik axborot tizimlari (GIS) ko'pincha harakat qiladi.

Statistika. Ma'lumotlarni to'plash, tartibga solish va sharhlash, shu jumladan so'rovnomalarni ishlab chiqish va tajribalar o'tkazish haqidagi fan. Statistik usullar ko'pincha ma'lum hodisalar o'rtasidagi munosabatlar haqida baho berish uchun ishlatiladi.

Nazorat ostida o'rganish. Texnologiyaga asoslangan to'plam mashinani o'rganish tahlil qilinayotgan ma'lumotlar massivlarida funksional munosabatlarni aniqlash imkonini beruvchi texnikalar.

simulyatsiya. Murakkab tizimlarning xatti-harakatlarini modellashtirish ko'pincha rejalashtirishda turli stsenariylarni bashorat qilish, bashorat qilish va ishlab chiqish uchun ishlatiladi.

Vaqt seriyasini tahlil qilish. Vaqt o'tishi bilan takrorlanadigan ma'lumotlar ketma-ketligini tahlil qilish uchun statistika va raqamli signallarni qayta ishlashdan olingan usullar to'plami. Aniq foydalanishdan biri fond bozorini yoki bemorlarning kasallanishini kuzatishdir.

Nazoratsiz o'rganish. Tahlil qilinayotgan ma'lumotlar to'plamlarida yashirin funktsional munosabatlarni aniqlash imkonini beruvchi mashinani o'rganish texnologiyalariga asoslangan texnikalar to'plami. bilan umumiy xususiyatlarga ega klaster tahlili.

Vizualizatsiya. Izohni soddalashtirish va olingan natijalarni tushunishni osonlashtirish uchun katta ma'lumotlarni tahlil qilish natijalarini diagrammalar yoki jonlantirilgan tasvirlar ko'rinishida grafik taqdim etish usullari.

Katta ma'lumotlarni tahlil qilish natijalarining vizual taqdimoti ularni talqin qilish uchun muhim ahamiyatga ega. Hech kimga sir emaski, insonning idroki cheklangan va olimlar takomillashtirish sohasida tadqiqotlarni davom ettirmoqdalar. zamonaviy usullar ma'lumotlarni tasvirlar, diagrammalar yoki animatsiyalar ko'rinishida taqdim etish.

Analitik vositalar

2011 yil uchun oldingi kichik bo'limda sanab o'tilgan ba'zi yondashuvlar yoki ularning ma'lum kombinatsiyasi katta ma'lumotlar bilan ishlash uchun analitik dvigatellarni amaliyotga tatbiq etish imkonini beradi. Bepul yoki nisbatan arzon ochiq tizimlar Katta ma'lumotlarni tahlil qilish tavsiya etilishi mumkin:

• Revolution Analytics (matematik statistika uchun R tiliga asoslangan).

Ushbu ro'yxatda Apache Hadoop ochiq kodli dasturiy ta'minot alohida qiziqish uyg'otadi, u so'nggi besh yil ichida ko'pchilik birja trekerlari tomonidan ma'lumotlar analizatori sifatida sinovdan o'tgan. Yahoo ochiq manbalar hamjamiyatiga Hadoop kodini ochishi bilanoq, IT sanoatida Hadoop asosida mahsulotlar yaratish uchun tezda yangi tendentsiya paydo bo'ldi. Deyarli barcha zamonaviy tahlil vositalari katta ma'lumotlar Hadoop bilan integratsiyani ta'minlash. Ularning ishlab chiquvchilari ham startaplar, ham taniqli global kompaniyalardir.

Katta ma'lumotlarni boshqarish echimlari bozorlari

Big Data Platforms (BDP, Big Data Platform) raqamli hordingga qarshi kurash vositasi sifatida

Tahlil qilish qobiliyati katta ma'lumotlar, ommaviy tilda Big Data deb ataladi, ne'mat sifatida qabul qilinadi va bir ma'noda. Lekin haqiqatan ham shundaymi? Ma'lumotlarning cheksiz to'planishi nimaga olib kelishi mumkin? Ko'pincha mahalliy psixologlar odamga nisbatan patologik to'planish, sillogomaniya yoki majoziy ma'noda "Plyushkin sindromi" deb atashadi. Ingliz tilida hamma narsani yig'ish uchun shafqatsiz ishtiyoq hording deb ataladi (inglizcha hoard - "zahira"). Ruhiy kasalliklar tasnifiga ko'ra, hording ruhiy kasallik deb tasniflanadi. Raqamli asrda an'anaviy material akkordlariga raqamli (Digital Hoarding) qo'shiladi, ham jismoniy shaxslar, ham butun korxona va tashkilotlar () bundan aziyat chekishi mumkin.

Jahon va Rossiya bozori

Katta ma'lumotlar manzarasi - Asosiy provayderlar

Yig'ish, qayta ishlash, boshqarish va tahlil qilish vositalariga qiziqish katta ma'lumotlar deyarli barcha yetakchi IT-kompaniyalarni ko'rsatdi, bu juda tabiiy. Birinchidan, ular bu hodisani bevosita o'z bizneslarida boshdan kechirishadi, ikkinchidan, katta ma'lumotlar yangi bozor bo'shliqlarini rivojlantirish va yangi mijozlarni jalb qilish uchun ajoyib imkoniyatlarni ochib beradi.

Bozorda katta hajmdagi ma'lumotlarni qayta ishlash bilan shug'ullanadigan ko'plab startaplar paydo bo'ldi. Ulardan ba'zilari Amazon kabi yirik o'yinchilar tomonidan taqdim etilgan tayyor bulut infratuzilmasidan foydalanadi.

Sanoatda Big Data nazariyasi va amaliyoti

Rivojlanish tarixi

2017

TmaxSoft prognozi: Katta ma'lumotlarning navbatdagi "to'lqini" DBMS modernizatsiyasini talab qiladi

Korxonalar ular to'plagan katta hajmdagi ma'lumotlar o'z biznesi va mijozlari haqida muhim ma'lumotlarni o'z ichiga olishini bilishadi. Agar kompaniya ushbu ma'lumotni muvaffaqiyatli qo'llay olsa, u raqobatchilarga nisbatan sezilarli ustunlikka ega bo'ladi va u ularnikidan yaxshiroq mahsulot va xizmatlarni taklif qila oladi. Biroq, ko'pgina tashkilotlar hali ham samarali foydalana olmaydi katta ma'lumotlar TmaxSoft kompaniyasining ta'kidlashicha, ularning eski AT infratuzilmasi kerakli saqlash hajmini, ma'lumotlar almashinuvi jarayonlarini, tizimlashtirilmagan ma'lumotlarning katta massivlarini qayta ishlash va tahlil qilish uchun zarur bo'lgan yordamchi dasturlar va ilovalarni ta'minlay olmasligi sababli.

Bundan tashqari, doimiy o'sib borayotgan ma'lumotlar hajmini tahlil qilish uchun zarur bo'lgan ishlov berish quvvatini oshirish tashkilotning eski AT infratuzilmasiga katta sarmoya kiritishni, shuningdek, yangi ilovalar va xizmatlarni ishlab chiqish uchun ishlatilishi mumkin bo'lgan qo'shimcha texnik resurslarni talab qilishi mumkin.

2015-yil 5-fevralda Oq uy kompaniyalar "qanday foydalanayotgani" haqida hisobot e'lon qildi. katta ma'lumotlar» tashkil etish har xil narxlar turli xaridorlar uchun - "narxlarni kamsitish" yoki "differensial narxlash" (shaxsiylashtirilgan narxlash) deb nomlanuvchi amaliyot. Hisobot katta ma'lumotlarning sotuvchilar va xaridorlar uchun afzalliklarini tavsiflaydi va katta ma'lumotlarning paydo bo'lishi va differentsial narxlarning paydo bo'lishi bilan bog'liq ko'plab muammolarni kamsitishga qarshi mavjud qonunlar va qoidalar doirasida hal qilish mumkin, degan xulosaga keladi, iste'molchilar huquqlarini himoya qilish.

Hisobotda ta'kidlanishicha, hozirgi vaqtda kompaniyalar individuallashtirilgan marketing va tabaqalashtirilgan narxlar kontekstida katta ma'lumotlardan qanday foydalanayotgani haqida faqat anekdot dalillar mavjud. Ushbu ma'lumotlar shuni ko'rsatadiki, sotuvchilar uchta toifaga bo'linadigan narxlash usullaridan foydalanadilar:

• talab egri chizig'ini o'rganish;
• Demografik ma'lumotlarga asoslangan holda boshqarish va tabaqalashtirilgan narxlarni belgilash; va
• maqsadli xulq-atvor marketingi (behavior targeting - xatti-harakatni yo'naltirish) va individuallashtirilgan narxlash.

Talab egri chizig'ini o'rganish: Talabni tushunish va iste'molchilarning xulq-atvorini tushunish uchun sotuvchilar ko'pincha ushbu sohada tajribalar o'tkazadilar, ular davomida mijozlar tasodifiy ikkita mumkin bo'lganidan biri tayinlanadi. narx toifalari. "Texnik jihatdan, bu tajribalar differentsial narxlarning bir ko'rinishidir, chunki ular mijozlar uchun turli narxlarga olib keladi, garchi ular barcha mijozlar yuqori narxni "urish" uchun bir xil imkoniyatga ega bo'lsa ham, ular "kamsitishsiz".

Rulda boshqarish: Bu iste'molchilarga ma'lum bir demografik guruhga tegishli bo'lgan mahsulotlarni taqdim etish amaliyotidir. Ha, veb-sayt kompyuter kompaniyasi bir xil noutbukni har xil turdagi mijozlarga ular o‘zlari haqida taqdim etgan ma’lumotlarga (masalan, foydalanuvchi davlat organlari, ilmiy yoki tijorat muassasalari vakili yoki jismoniy shaxs ekanligiga qarab) yoki ularning geografik joylashuvidan kelib chiqqan holda turli narxlarda taklif qilishi mumkin. joylashuvi (masalan, kompyuterning IP manzili bilan aniqlanadi).

Maqsadli xatti-harakatlar marketingi va moslashtirilgan narxlash: Bunday hollarda xaridorlarning shaxsiy ma'lumotlari maqsadli reklama va ayrim mahsulotlarning individual narxlarini belgilash uchun ishlatiladi. Masalan, onlayn reklama beruvchilar reklama tarmoqlari va uchinchi tomonlardan cookie-fayllar orqali Internetdagi foydalanuvchi faoliyati toʻgʻrisidagi maʼlumotlardan oʻz maqsadlariga erishish uchun foydalanadilar. reklama materiallari. Ushbu yondashuv, bir tomondan, iste'molchilarga o'zlarini qiziqtirgan tovarlar va xizmatlarning reklamalarini olish imkonini beradi, ammo bu o'zlarining shaxsiy ma'lumotlarining ayrim turlarini (masalan, bog'langan veb-saytlarga tashriflar haqidagi ma'lumotlar) istamaydigan iste'molchilarni tashvishga solishi mumkin. tibbiy va moliyaviy masalalar bo'yicha) ularning roziligisiz uchrashgan.

Maqsadli xulq-atvor marketingi keng tarqalgan bo'lsa-da, onlayn muhitda individuallashtirilgan narxlashning nisbatan kam dalillari mavjud. Hisobotda taxmin qilinishicha, bu usullar hali ham ishlab chiqilayotgani yoki kompaniyalarning individual narxlarni qo‘llashni istamasligi (yoki bu haqda sukut saqlashni afzal ko‘rishi) – ehtimol, iste’molchilarning noroziligidan qo‘rqib, bo‘lishi mumkin.

Hisobot mualliflarining fikricha, “individual iste’molchi uchun katta ma’lumotlardan foydalanish, shubhasiz, ham potentsial daromadlar, ham xavflar bilan bog‘liq”. Hisobotda katta ma'lumotlardan foydalanish bilan bog'liq shaffoflik va kamsitish muammolari mavjudligini e'tirof etgan holda, kamsitishlarga qarshi va iste'molchilar huquqlarini himoya qilish bo'yicha mavjud qonunlar ularni hal qilish uchun etarli ekanligini ta'kidlaydi. Biroq, hisobot, shuningdek, kompaniyalar maxfiy ma'lumotlardan noshaffof tarzda yoki mavjud me'yoriy-huquqiy baza bilan qamrab olinmagan usullardan foydalanganda "doimiy tekshirish" zarurligini ta'kidlaydi.

Ushbu hisobot Oq uyning "katta ma'lumotlar" dan foydalanish va Internetdagi kamsituvchi narxlarni va buning amerikalik iste'molchilar uchun oqibatlarini o'rganishga qaratilgan sa'y-harakatlarining davomidir. Oq uyning katta maʼlumotlar boʻyicha ishchi guruhi ushbu masala boʻyicha oʻz hisobotini 2014-yilning may oyida eʼlon qilgani avvalroq xabar qilingan edi. Federal Savdo Komissiyasi (FTC) 2014 yil sentyabr oyida katta ma'lumotlardan foydalanish bilan bog'liq diskriminatsiyaga bag'ishlangan seminarda ham ushbu muammolarni ko'rib chiqdi.

2014

Gartner Big Data sirlarini yo'q qiladi

Gartner tomonidan 2014-yilning kuzgi siyosati boʻyicha hisobotda CIOlar orasida Big Data haqidagi bir qancha keng tarqalgan afsonalar roʻyxati keltirilgan va rad etilgan.

• Har bir inson Big Data qayta ishlash tizimlarini bizdan tezroq amalga oshiradi

Katta ma'lumotlar texnologiyalariga qiziqish eng yuqori darajada bo'lib, bu yil Gartner tahlilchilari tomonidan so'ralgan tashkilotlarning 73 foizi allaqachon sarmoya kiritgan yoki buni rejalashtirmoqda. Ammo bu tashabbuslarning aksariyati hali o'zining dastlabki bosqichida va so'rovda qatnashganlarning atigi 13 foizi allaqachon bunday echimlarni amalga oshirgan. Eng qiyin qismi - Big Datadan qanday qilib monetizatsiya qilishni aniqlash, qaerdan boshlashni hal qilish. Ko'pgina tashkilotlar yangi texnologiyani muayyan biznes jarayonlariga bog'lay olmagani uchun tajriba bosqichida qolib ketishadi.

• Bizda shunchalik ko'p ma'lumotlar borki, undagi kichik xatolar haqida tashvishlanishga hojat yo'q.

Ba'zi CIO'lar ma'lumotlardagi kichik kamchiliklar katta hajmlarni tahlil qilishning umumiy natijalariga ta'sir qilmaydi, deb hisoblashadi. Ma'lumotlar ko'p bo'lsa, har bir xato alohida natijaga kamroq ta'sir qiladi, deydi tahlilchilar, ammo xatolarning o'zi kattaroq bo'ladi. Bundan tashqari, tahlil qilingan ma'lumotlarning aksariyati tashqi, noma'lum struktura yoki kelib chiqishi, shuning uchun xatolar ehtimoli ortadi. Shunday qilib, Big Data dunyosida sifat aslida muhimroqdir.

• Big Data texnologiyalari ma'lumotlar integratsiyasiga bo'lgan ehtiyojni yo'q qiladi

Big Data ma'lumotlarni o'qish paytida avtomatik sxema yaratish bilan asl formatida qayta ishlash qobiliyatini va'da qiladi. Bu bir nechta ma'lumotlar modellari yordamida bir xil manbalardan olingan ma'lumotlarni tahlil qilish imkonini beradi, deb ishoniladi. Ko'pchilik bu oxirgi foydalanuvchilarga har qanday ma'lumotlar to'plamini o'zlaricha sharhlash imkonini beradi, deb hisoblaydi. Aslida, ko'pchilik foydalanuvchilar odatda an'anaviy usulga muhtoj tugagan sxema ma'lumotlar to'g'ri formatlanganda va ma'lumotlarning yaxlitligi darajasi va ulardan foydalanish holatiga qanday bog'liqligi haqida kelishuvlar mavjud bo'lganda.

• Ma'lumotlar omborlaridan murakkab tahlillar uchun foydalanish mantiqiy emas

Axborotni boshqarish tizimining ko'pgina ma'murlari murakkab tahliliy tizimlar yangi turdagi ma'lumotlardan foydalanishini hisobga olsak, ma'lumotlar omborini yaratishga vaqt sarflashni ma'nosiz deb hisoblaydilar. Aslida, ko'plab murakkab tahlil tizimlari ma'lumotlar omboridagi ma'lumotlardan foydalanadi. Boshqa hollarda, katta ma'lumotlarni qayta ishlash tizimlarida tahlil qilish uchun yangi ma'lumotlar turlarini qo'shimcha ravishda tayyorlash kerak; ma'lumotlarning mosligi, yig'ish tamoyillari va sifatning zarur darajasi to'g'risida qaror qabul qilish kerak - bunday tayyorgarlik ombordan tashqarida amalga oshirilishi mumkin.

• Ma'lumotlar omborlari ma'lumotlar ko'llari bilan almashtiriladi

Aslida, sotuvchilar ma'lumotlar ko'llarini saqlash o'rnini bosuvchi yoki muhim vosita sifatida joylashtirish orqali mijozlarni chalg'itadi. muhim elementlar tahliliy infratuzilma. Ma'lumotlar ko'llarining asosiy texnologiyalari ma'lumotlar omborlarida mavjud bo'lgan funksionallikning etukligi va kengligidan mahrum. Shu sababli, ma'lumotlarni boshqarish uchun mas'ul bo'lgan rahbarlar, Gartnerga ko'ra, ko'llar bir xil rivojlanish darajasiga yetguncha kutishlari kerak.

Accenture: Katta ma'lumotlar tizimlarini joriy qilganlarning 92% natijadan qoniqish hosil qiladi

Respondentlar katta ma'lumotlarning asosiy afzalliklari orasida:

• "yangi daromad manbalarini qidirish" (56%),
• "mijozlarning tajribasini yaxshilash" (51%),
• "yangi mahsulotlar va xizmatlar" (50%) va
• "yangi mijozlar oqimi va eski mijozlarning sodiqligini saqlab qolish" (47%).

Yangi texnologiyalarni joriy qilishda ko'plab kompaniyalar an'anaviy muammolarga duch kelishdi. 51% uchun to'siq xavfsizlik, 47% uchun - byudjet, 41% uchun - zarur kadrlarning etishmasligi va 35% uchun - integratsiyalashuvdagi qiyinchiliklar edi. mavjud tizim. So‘rovda qatnashgan deyarli barcha kompaniyalar (taxminan 91%) xodimlar yetishmasligi bilan bog‘liq muammoni tez orada hal qilishni va katta ma’lumotlar bo‘yicha mutaxassislarni yollashni rejalashtirmoqda.

Kompaniyalar katta ma'lumotlar texnologiyalarining kelajagiga optimistik qarashadi. 89% biznesni internet kabi o'zgartirishiga ishonadi. Respondentlarning 79 foizi katta ma'lumotlar bilan shug'ullanmaydigan kompaniyalar raqobatdosh ustunliklarini yo'qotishini ta'kidladilar.

Biroq, respondentlar katta ma'lumotlar deb hisoblanishi kerak bo'lgan narsaga rozi bo'lishmadi. Respondentlarning 65 foizi bu "katta ma'lumotlar fayllari", 60 foizi bu "ilg'or tahlil va tahlil", 50 foizi esa "ma'lumotlarni vizualizatsiya qilish vositalari" ekanligiga ishonishadi.

Madrid katta ma'lumotlarni boshqarish uchun 14,7 million yevro sarflaydi

2014-yil iyul oyida Madrid shahar infratuzilmasini boshqarish uchun katta maʼlumotlar texnologiyalaridan foydalanishi maʼlum boʻldi. Loyiha qiymati 14,7 million yevro bo‘lib, amalga oshiriladigan yechimlar katta ma’lumotlarni tahlil qilish va boshqarish texnologiyalariga asoslanadi. Ularning yordami bilan shahar ma’muriyati har bir xizmat ko‘rsatuvchi provayder bilan ishni boshqarib boradi va xizmat ko‘rsatish darajasiga qarab tegishli ravishda haq to‘laydi.

Gap ko‘chalar, yoritish, sug‘orish, ko‘kalamzorlashtirish, hududni tozalash va olib chiqish, shuningdek, chiqindini qayta ishlash holatini nazorat qiluvchi ma’muriyat pudratchilari haqida bormoqda. Loyihani amalga oshirish jarayonida maxsus ajratilgan inspektorlar uchun shahar xizmatlari faoliyatining 300 ta asosiy ko‘rsatkichlari ishlab chiqilgan bo‘lib, ular asosida har kuni 1,5 mingta turli tekshirish va o‘lchovlar o‘tkaziladi. Bundan tashqari, shahar Madrid iNTeligente (MiNT) - Smarter Madrid deb nomlangan innovatsion texnologik platformadan foydalanishni boshlaydi.

2013

Mutaxassislar: Big Data uchun moda cho'qqisi

Istisnosiz, ma'lumotlarni boshqarish bozoridagi barcha sotuvchilar hozirda Big Data boshqaruvi uchun texnologiyalarni ishlab chiqishmoqda. Ushbu yangi texnologik tendentsiya ham professional hamjamiyat, ham ishlab chiquvchilar, ham sanoat tahlilchilari va bunday echimlarning potentsial iste'molchilari tomonidan faol muhokama qilinmoqda.

Datashift ma'lumotlariga ko'ra, 2013 yil yanvar oyi holatiga ko'ra, "atrofdagi munozaralar to'lqini" katta ma'lumotlar"barcha taxmin qilinadigan o'lchamlardan oshib ketdi. Ijtimoiy tarmoqlarda Big Data haqida eslatmalar sonini tahlil qilgach, Datashift 2012 yilda bu atama butun dunyo boʻylab 1 millionga yaqin turli mualliflar tomonidan yaratilgan postlarda taxminan 2 milliard marta ishlatilganligini hisoblab chiqdi. Bu soatiga 260 ta postga teng, eng yuqori ko'rsatkich esa soatiga 3070 ta eslatmani tashkil qiladi.

Gartner: Har ikkinchi CIO Katta ma'lumotlarga pul sarflashga tayyor

Katta ma'lumotlar texnologiyalari bilan bir necha yillik tajribalar va 2013-yilda birinchi tatbiqlardan so'ng, bunday yechimlarning moslashuvi sezilarli darajada oshadi, deb bashorat qilmoqda Gartner. Tadqiqotchilar butun dunyo bo‘ylab IT yetakchilari orasida so‘rov o‘tkazdi va so‘rovda qatnashganlarning 42 foizi allaqachon Big Data texnologiyalariga sarmoya kiritgan yoki kelgusi yil davomida bunday investitsiyalarni amalga oshirishni rejalashtirayotganini aniqladi (2013 yil mart oyidagi ma’lumotlar).

Kompaniyalar qayta ishlash texnologiyalariga pul sarflashga majbur katta ma'lumotlar Axborot landshafti tez o'zgarib borayotganligi sababli, men axborotni qayta ishlashga yangi yondashuvlarni talab qilaman. Ko'pgina kompaniyalar katta ma'lumotlarning juda muhim ekanligini allaqachon anglab etishgan va ular bilan ishlash an'anaviy ma'lumot manbalari va uni qayta ishlash usullaridan foydalangan holda mavjud bo'lmagan imtiyozlarga erishish imkonini beradi. Bundan tashqari, ommaviy axborot vositalarida "katta ma'lumotlar" mavzusining doimiy ravishda bo'rttirilishi tegishli texnologiyalarga qiziqishni kuchaytiradi.

Gartner vitse-prezidenti Frank Buytendijk hatto kompaniyalarni ohangni pasaytirishga chaqirdi, chunki ba'zilar katta ma'lumotlarni o'zlashtirishda raqobatchilardan ortda qolayotganidan xavotirda.

"Xavotirlanishga hojat yo'q, katta ma'lumotlar texnologiyalari asosida g'oyalarni amalga oshirish imkoniyatlari deyarli cheksizdir", dedi u.

Gartner 2015 yilga borib, Global 1000 kompaniyalarining 20 foizi “axborot infratuzilmasi”ga strategik e’tibor qaratishini taxmin qilmoqda.

Katta ma'lumotlarni qayta ishlash texnologiyalari keltiradigan yangi imkoniyatlarni kutib, ko'plab tashkilotlar allaqachon yig'ish va saqlash jarayonini tashkil qilmoqdalar. har xil turlari ma `lumot.

Ta'lim va davlat tashkilotlari, shuningdek, sanoat kompaniyalari uchun biznesni o'zgartirish uchun eng katta salohiyat to'plangan ma'lumotlarning qorong'u ma'lumotlar (so'zma-so'z - "qorong'i ma'lumotlar") bilan kombinatsiyasida, ikkinchisi xabarlarni o'z ichiga oladi. Elektron pochta, multimedia va shunga o'xshash boshqa kontent. Gartnerga ko'ra, turli xil axborot manbalari bilan qanday ishlashni o'rganganlar ma'lumotlar poygasida g'olib chiqadilar.

Poll Cisco: Big Data IT byudjetlarini oshirishga yordam beradi

InsightExpress mustaqil tahlilchi firmasi tomonidan 18 mamlakatda o'tkazilgan Cisco Connected World Technology Report (2013 yil bahori) 1800 nafar kollej talabalari va 18 yoshdan 30 yoshgacha bo'lgan teng miqdordagi yosh mutaxassislarni o'rgandi. So‘rov IT bo‘limlarining loyihalarni amalga oshirishga tayyorlik darajasini aniqlash maqsadida o‘tkazildi katta ma'lumotlar va ular bilan bog'liq muammolar, texnologik kamchiliklar va bunday loyihalarning strategik ahamiyati haqida tushunchaga ega bo'ling.

Aksariyat kompaniyalar ma'lumotlarni to'playdi, yozib oladi va tahlil qiladi. Biroq, hisobotga ko'ra, ko'plab kompaniyalar Big Data bilan bog'liq bir qator murakkab biznes va axborot texnologiyalari muammolariga duch kelishadi. Masalan, so‘rovda qatnashganlarning 60 foizi Big Data yechimlari qarorlar qabul qilish jarayonlarini yaxshilashi va raqobatbardoshlikni oshirishi mumkinligini tan oladi, biroq atigi 28 foizi to‘plangan ma’lumotlardan allaqachon real strategik foyda ko‘rayotganini aytishgan.

So'rovda qatnashgan CIO'larning yarmidan ko'pi Big Data loyihalari o'z tashkilotlarida IT byudjetlarini ko'paytirishga yordam beradi, chunki texnologiya, xodimlar va kasbiy ko'nikmalarga talablar kuchayadi. Shu bilan birga, respondentlarning yarmidan ko'pi 2012 yilda bunday loyihalar o'z kompaniyalarida IT byudjetini oshirishini kutishmoqda. 57 foizi Big Data kelasi uch yil ichida o‘z byudjetlarini oshirishiga ishonchi komil.

Respondentlarning 81 foizi barcha (yoki kamida bir nechta) Big Data loyihalari bulutli hisoblashlardan foydalanishni talab qilishini aytdi. Shunday qilib, bulutli texnologiyalarning tarqalishi Big Data echimlarini tarqatish tezligiga va biznes uchun ushbu echimlarning qiymatiga ta'sir qilishi mumkin.

Kompaniyalar tuzilgan va tuzilmagan har xil turdagi ma'lumotlarni to'playdi va ishlatadi. So‘rov ishtirokchilari ma’lumotlarni oladigan manbalar (Cisco Connected World Technology Report):

CIO'larning deyarli yarmi (48 foizi) keyingi ikki yil ichida ularning tarmoqlaridagi yuk ikki baravar oshishini taxmin qilmoqda. (Bu, ayniqsa, so'rovda qatnashganlarning 68 foizi, Germaniyada esa 60 foizi Xitoyda to'g'ri keladi). Respondentlarning 23 foizi keyingi ikki yil ichida tarmoq trafigining uch barobar oshishini kutmoqda. Shu bilan birga, respondentlarning atigi 40 foizi tarmoq trafigining keskin o'sishiga tayyorligini e'lon qildi.

So‘rovda qatnashganlarning 27 foizi IT siyosati va axborot xavfsizligini yaxshilash choralariga muhtoj ekanini tan oldi.

21 foizi ko'proq o'tkazish qobiliyatiga muhtoj.

Big Data IT bo'limlari uchun daromadlarni oshirish va kompaniyaning moliyaviy holatini mustahkamlash uchun qiymat qo'shish va biznes bo'linmalari bilan yaqin aloqalarni o'rnatish uchun yangi imkoniyatlar ochadi. Big Data loyihalari IT bo'limlarini biznes bo'limlarining strategik hamkoriga aylantiradi.

Respondentlarning 73 foiziga ko'ra, aynan IT bo'limi Big Data strategiyasini amalga oshirishda asosiy vositaga aylanadi. Shu bilan birga, respondentlarning fikricha, ushbu strategiyani amalga oshirishda boshqa idoralar ham ishtirok etadi. Bu, birinchi navbatda, moliya (respondentlarning 24 foizi nomini olgan), tadqiqot va ishlanmalar (20 foiz), operatsiyalar (20 foiz), injiniring (19 foiz), shuningdek marketing (15 foiz) va savdo (15 foiz) bo'limlariga tegishli. 14 foiz).

Gartner: Katta ma'lumotlarni boshqarish uchun millionlab yangi ish o'rinlari kerak edi

Global IT xarajatlari 2013 yilga kelib 3,7 milliard dollarni tashkil etadi, bu 2012 yildagi IT xarajatlaridan 3,8 foizga oshadi (yil yakuni prognozi 3,6 milliard dollar). Segment katta ma'lumotlar Gartner hisobotiga ko'ra (katta ma'lumotlar) ancha tez sur'atlar bilan rivojlanadi.

2015 yilga kelib katta maʼlumotlarga xizmat koʻrsatish uchun 4,4 million IT ish oʻrni yaratiladi, shundan 1.9 millioni . Bundan tashqari, har bir bunday ish uchta qo'shimcha IT bo'lmagan ish o'rinlarini yaratadi, shuning uchun birgina Qo'shma Shtatlarda keyingi to'rt yil ichida 6 million kishi axborot iqtisodiyotini qo'llab-quvvatlash uchun ishlaydi.

Gartner ekspertlarining fikricha, asosiy muammo shundaki, buning uchun sohada iqtidorlar yetarli emas: ham xususiy, ham davlat ta’lim tizimlari, masalan, AQShda sohani yetarli miqdorda malakali kadrlar bilan ta’minlay olmayapti. . Shunday qilib, IT sohasida qayd etilgan yangi ish o'rinlaridan faqat uchtadan bittasi kadrlar bilan ta'minlanadi.

Tahlilchilarning fikricha, malakali IT-kadrlarni yetishtirish rolini bevosita ularga juda muhtoj bo'lgan kompaniyalar o'z zimmalariga olishlari kerak, chunki bunday xodimlar ular uchun kelajakning yangi axborot iqtisodiyotiga o'tish yo'li bo'ladi.

2012

Katta ma'lumotlarga nisbatan birinchi shubha

Ovum va Gartner tahlilchilari buni 2012-yilda moda mavzusiga taklif qilishdi katta ma'lumotlar illuziyalardan voz kechish vaqti kelgan bo'lishi mumkin.

Hozirgi vaqtda "Katta ma'lumotlar" atamasi, qoida tariqasida, doimiy ravishda o'sib borayotgan ma'lumotlar hajmini anglatadi. operatsion rejimi ijtimoiy media, sensor tarmoqlari va boshqa manbalardan, shuningdek, ma'lumotlarni qayta ishlash va undan muhim biznes tendentsiyalarini ochish uchun foydalaniladigan vositalar to'plami.

"Katta ma'lumotlar g'oyasi atrofidagi shov-shuv tufayli (yoki shunga qaramay) 2012 yilda ishlab chiqaruvchilar ushbu tendentsiyaga katta umid bilan qarashdi", dedi Ovum tahlilchisi Toni Bayer.

Bayerning ta'kidlashicha, DataSift yirik ma'lumotlarga havolalarni retrospektiv tahlil qilgan

Tadqiqotlar va tendentsiyalarga ko'ra

Katta ma'lumotlar, "Katta ma'lumotlar" bir necha yillardan beri IT va marketing matbuotida shaharning nutqiga aylandi. Va bu aniq: raqamli texnologiyalar hayotga kirib bordi zamonaviy odam, "hamma narsa yozilgan." Hayotning turli jabhalari bo'yicha ma'lumotlar hajmi o'sib bormoqda va shu bilan birga, axborotni saqlash imkoniyatlari ham o'sib bormoqda.

Axborotni saqlash uchun global texnologiyalar

Manba: Hilbert va Lopez, “Axborotni saqlash, muloqot qilish va hisoblash uchun dunyoning texnologik imkoniyatlari”, Science, 2011 Global.

Aksariyat ekspertlar ma'lumotlar o'sishini tezlashtirish ob'ektiv haqiqat ekanligiga qo'shiladilar. Ijtimoiy tarmoqlar, mobil qurilmalar, o'lchash asboblaridan olingan ma'lumotlar, biznes ma'lumotlari juda katta hajmdagi ma'lumotlarni yaratishi mumkin bo'lgan manbalarning bir nechta turlari. Tadqiqotga ko'ra IDCRaqamli olam, 2012-yilda nashr etilgan, keyingi 8 yil ichida dunyoda ma'lumotlar hajmi 40 Zb (zettabayt) ga etadi, bu sayyoramiz aholisi uchun 5200 Gb ga to'g'ri keladi.

AQShda to'plangan raqamli ma'lumotlarning o'sishi

Manba: IDC

Axborotning muhim qismi odamlar tomonidan emas, balki robotlar tomonidan ham bir-biri bilan, ham boshqa ma'lumotlar tarmoqlari bilan, masalan, sensorlar va aqlli qurilmalar. Ushbu o'sish sur'atida dunyodagi ma'lumotlar miqdori, tadqiqotchilarning fikriga ko'ra, har yili ikki barobar ortadi. Yangi ma'lumotlar markazlarini kengaytirish va yaratish hisobiga dunyoda virtual va jismoniy serverlar soni o'n barobar ortadi. Natijada, ehtiyoj ortib bormoqda samarali foydalanish va ushbu ma'lumotlarni monetizatsiya qilish. Katta ma'lumotlardan biznesda foydalanish katta investitsiyalarni talab qilganligi sababli, vaziyatni aniq tushunish kerak. Va bu, aslida, oddiy: siz xarajatlarni kamaytirish va/yoki sotish hajmini oshirish orqali biznes samaradorligini oshirishingiz mumkin.

Big Data nima uchun?

Katta ma'lumotlar paradigmasi uchta asosiy turdagi vazifalarni belgilaydi.

• An'anaviy relyatsion ma'lumotlar bazalari samarali foydalana olmaydigan yuzlab terabayt yoki petabayt ma'lumotlarni saqlash va boshqarish.
• Matnlar, rasmlar, videolar va boshqa turdagi ma'lumotlardan iborat tuzilmagan ma'lumotlarni tashkil qilish.
• Katta ma'lumotlarni tahlil qilish, bu tizimlashtirilmagan ma'lumotlar bilan qanday ishlash, analitik hisobotlarni yaratish va bashoratli modellarni amalga oshirish masalasini ko'taradi.

Katta ma'lumotlar loyihalari bozori biznes razvedkasi (BA) bozori bilan kesishadi, dunyodagi hajmi, ekspertlarning fikriga ko'ra, 2012 yilda taxminan 100 milliard dollarni tashkil etdi. Tarmoq texnologiyasi, serverlar, dasturiy ta'minot va texnik xizmatlarning tarkibiy qismlarini o'z ichiga oladi.

Bundan tashqari, Big Data texnologiyalaridan foydalanish kompaniyalar faoliyatini avtomatlashtirish uchun mo'ljallangan daromad kafolati (RA) sinfi yechimlari uchun dolzarbdir. Zamonaviy daromadlarni kafolatlash tizimlari nomuvofiqliklarni aniqlash va ma'lumotlarni chuqur tahlil qilish vositalarini o'z ichiga oladi, bu esa moliyaviy natijalarning pasayishiga olib kelishi mumkin bo'lgan yo'qotishlarni yoki ma'lumotlarning buzilishini o'z vaqtida aniqlash imkonini beradi. Shu fonda, Rossiya kompaniyalari ichki bozorda Big Data texnologiyalariga bo'lgan talabni tasdiqlab, Rossiyada Big Data rivojlanishini rag'batlantiradigan omillar ma'lumotlarning o'sishi, boshqaruv qarorlarini qabul qilishning tezlashishi va ularni takomillashtirish ekanligini ta'kidlaydilar. sifat.

Katta ma'lumotlar bilan ishlashga nima xalaqit beradi

Bugungi kunda to'plangan raqamli ma'lumotlarning atigi 0,5 foizi tahlil qilinmoqda, garchi ob'ektiv ravishda hal qilinishi mumkin bo'lgan soha miqyosidagi vazifalar mavjud. analitik yechimlar Katta ma'lumotlar sinfi. Rivojlangan IT bozorlarida katta ma'lumotlarni to'plash va qayta ishlash bilan bog'liq taxminlarni baholash uchun foydalanish mumkin bo'lgan natijalar allaqachon mavjud.

Katta ma'lumotlar loyihalarini amalga oshirishni sekinlashtiradigan asosiy omillardan biri yuqori narxdan tashqari qayta ishlanadigan ma'lumotlarni tanlash muammosi: ya'ni qanday ma'lumotlarni ajratib olish, saqlash va tahlil qilish va qaysi biriga e'tibor bermaslik kerakligini aniqlash.

Ko'pgina biznes vakillarining ta'kidlashicha, Big Data loyihalarini amalga oshirishdagi qiyinchiliklar mutaxassislar - marketologlar va tahlilchilarning etishmasligi bilan bog'liq. Katta ma'lumotlarga investitsiyalarning daromadlilik darajasi bevosita chuqur va bashoratli tahlil bilan shug'ullanadigan xodimlarning ish sifatiga bog'liq. Tashkilotda mavjud bo'lgan katta ma'lumotlar potentsiali ko'pincha eskirgan biznes jarayonlari yoki ichki qoidalar tufayli marketologlar tomonidan samarali foydalana olmaydi. Shu sababli, Big Data loyihalari ko'pincha korxonalar tomonidan nafaqat amalga oshirishda, balki natijalarni baholashda ham qiyin deb qabul qilinadi: to'plangan ma'lumotlarning qiymati. Ma'lumotlar bilan ishlashning o'ziga xos xususiyatlari marketologlar va tahlilchilar e'tiborini texnologiya va hisobot berishdan biznesning muayyan muammolarini hal qilishga o'tkazishni talab qiladi.

Katta hajm tufayli va yuqori tezlik ma'lumotlar oqimi, ularni to'plash jarayoni real vaqt rejimida ETL protseduralarini o'z ichiga oladi. Malumot uchun:ETL -danInglizEkstrakt, O'zgartirish, yuk- tom ma'noda "chiqarish, o'zgartirish, yuklash") - boshqaruvdagi asosiy jarayonlardan biri ma'lumotlar ombori, bu quyidagilarni o'z ichiga oladi: tashqi manbalardan ma'lumotlarni olish, ularni o'zgartirish va ehtiyojlarini qondirish uchun tozalash ETLni nafaqat ma'lumotlarni bir dasturdan ikkinchisiga o'tkazish jarayoni sifatida, balki tahlil qilish uchun ma'lumotlarni tayyorlash vositasi sifatida ham ko'rish kerak.

Va keyin tashqi manbalardan keladigan ma'lumotlar xavfsizligini ta'minlash masalalari to'plangan ma'lumotlar hajmiga mos keladigan echimlarga ega bo'lishi kerak. Katta ma'lumotlarni tahlil qilish usullari hozirgacha faqat ma'lumotlar hajmi o'sishi bilan rivojlanayotganligi sababli, analitik platformalarning ma'lumotlarni tayyorlash va yig'ishning yangi usullaridan foydalanish qobiliyati muhim rol o'ynaydi. Bu shuni anglatadiki, masalan, ma'lumotlar potentsial xaridorlar yoki onlayn-do'kon saytlarida bosish tarixi bo'lgan katta ma'lumotlar ombori turli muammolarni hal qilish uchun qiziqarli bo'lishi mumkin.

Qiyinchiliklar to'xtamaydi

Big Datani joriy qilish bilan bog‘liq barcha qiyinchiliklarga qaramay, biznes ushbu sohaga investitsiyalarni ko‘paytirish niyatida. Gartner ma'lumotlariga ko'ra, 2013 yilda dunyodagi eng yirik kompaniyalarning 64 foizi o'z bizneslari uchun Big Data texnologiyalarini joriy etishga sarmoya kiritgan yoki investitsiya qilishni rejalashtirgan bo'lsa, 2012 yilda bunday kompaniyalar 58 foizni tashkil etgan. Gartner tadqiqotiga ko‘ra, Big Dataga sarmoya kirituvchi sohalarning yetakchilari media-kompaniyalar, telekommunikatsiyalar, bank sektori va xizmat ko‘rsatuvchi kompaniyalardir. RFID vositalari, logistika va ko'chirish tizimlari (ingliz tilidan. to'ldirish- to'plash, to'ldirish - R&T), shuningdek, sodiqlik dasturlaridan. Muvaffaqiyatli chakana savdo tajribasi bozorning boshqa tarmoqlarini tahlillarini biznesni rivojlantirish uchun ishlaydigan manbaga aylantirish uchun katta ma'lumotlarni monetizatsiya qilishning yangi samarali usullarini topishga undaydi. Buning sharofati bilan, ekspertlarning fikriga ko'ra, 2020 yilgacha bo'lgan davrda boshqaruv va saqlashga investitsiyalar har bir gigabayt ma'lumot uchun 2 dollardan 0,2 dollargacha kamayadi, biroq Big Dataning texnologik xususiyatlarini o'rganish va tahlil qilish uchun atigi 40 ga oshadi. %.

Katta ma'lumotlar sohasidagi turli investitsiya loyihalarida taqdim etilgan xarajatlar boshqacha xarakterga ega. Xarajat moddalari ma'lum qarorlar asosida tanlangan mahsulot turlariga bog'liq. Mutaxassislarning fikriga ko'ra, investitsiya loyihalarida xarajatlarning katta qismi ma'lumotlarni yig'ish, tizimlashtirish, tozalash va axborotni boshqarish bilan bog'liq mahsulotlarga to'g'ri keladi.

Bu qanday amalga oshirilgan

Dasturiy ta'minotning ko'plab kombinatsiyalari mavjud va apparat, bu sizga turli biznes intizomlari uchun samarali Big Data yechimlarini yaratishga imkon beradi: ijtimoiy media va mobil ilovalardan intellektual tahlil va tijorat ma'lumotlarini vizualizatsiya qilishgacha. Big Dataning muhim afzalligi - biznesda keng qo'llaniladigan ma'lumotlar bazalari bilan yangi vositalarning muvofiqligi, bu ko'p kanalli savdo va mijozlarni qo'llab-quvvatlash kabi tarmoqlararo loyihalar bilan ishlashda ayniqsa muhimdir.

Katta ma'lumotlar bilan ishlash ketma-ketligi ma'lumotlarni to'plash, hisobotlar va asboblar paneli (boshqaruv paneli) yordamida olingan ma'lumotlarni tizimlashtirish, tushunchalar va kontekstlarni yaratish va harakatlar bo'yicha tavsiyalarni shakllantirishdan iborat. Katta ma'lumotlar bilan ishlash ma'lumotlarni to'plash uchun yuqori xarajatlarni nazarda tutganligi sababli, qayta ishlash natijasi oldindan ma'lum emas, asosiy vazifa ma'lumotlarning qanchalik mavjudligini emas, balki nima uchun ekanligini aniq tushunishdir. Bunday holda, ma'lumotlarni yig'ish muayyan muammolarni hal qilish uchun juda zarur bo'lgan ma'lumotlarni olish jarayoniga aylanadi.

Masalan, telekommunikatsiya provayderlari doimiy ravishda yangilanib turadigan geolokatsiyani o'z ichiga olgan katta hajmdagi ma'lumotlarni jamlaydi. Ushbu ma'lumotlar reklama agentliklari uchun tijorat manfaatdor bo'lishi mumkin, ular undan maqsadli va mahalliylashtirilgan reklama uchun foydalanishi mumkin, shuningdek, chakana sotuvchilar va banklar uchun. Bunday ma'lumotlar odamlarning kuchli maqsadli oqimi mavjudligi haqidagi ma'lumotlarga asoslanib, ma'lum bir joyda chakana savdo nuqtasini ochish yoki ochish to'g'risida qaror qabul qilishda muhim rol o'ynashi mumkin. Londondagi tashqi bilbordlarda reklama samaradorligini o'lchash misoli mavjud. Endilikda bunday reklamaning qamrovini faqat o‘tkinchilarni hisoblaydigan maxsus qurilma bilan reklama tuzilmalari yaqiniga joylashtirish orqali o‘lchash mumkin. Reklama samaradorligini o'lchashning ushbu turi bilan solishtirganda, uyali aloqa operatori ko'proq imkoniyatlar - u o'z obunachilarining joylashuvini aniq biladi, ularning demografik xususiyatlarini, jinsini, yoshini, Oilaviy ahvol, va hokazo.

Bunday ma'lumotlarga asoslanib, kelajakda e'lonlar taxtasi yonidan o'tayotgan ma'lum bir shaxsning afzalliklaridan foydalanib, reklama xabarining mazmunini o'zgartirish istiqbollari ochiladi. Agar ma'lumotlar yonidan o'tayotgan odamning ko'p sayohat qilishini ko'rsatsa, u holda ularga kurort uchun reklama ko'rsatilishi mumkin. Tashkilotchilar futbol o'yini muxlislar sonini faqat o'yinga kelganda taxmin qila oladi. Lekin ular operatordan so'rash imkoniga ega bo'lsa uyali aloqa O'yindan bir soat, bir kun yoki bir oy oldin tashrif buyuruvchilar qayerda bo'lganligi haqidagi ma'lumotlar tashkilotchilarga keyingi o'yinlarni reklama qilish uchun joylarni rejalashtirish imkoniyatini beradi.

Yana bir misol, banklar firibgarlikning oldini olish uchun Big Datadan qanday foydalanishi mumkin. Agar mijoz karta yo‘qolganligi haqida xabar bersa va undan foydalangan holda xaridni amalga oshirayotganda bank real vaqt rejimida tranzaksiya amalga oshirilayotgan xarid hududida mijozning telefonining joylashgan joyini ko‘rsa, bank mijozning arizasidagi ma’lumotlarni tekshirishi mumkin. , uni aldamoqchi bo'lganmi. Yoki aksincha vaziyat, mijoz do'konda xarid qilganida, bank tranzaksiya amalga oshirilayotgan karta va mijozning telefoni bir joyda ekanligini ko'rsa, bank o'z egasi kartadan foydalanmoqda degan xulosaga kelishi mumkin. Katta ma'lumotlarning ushbu afzalliklari tufayli an'anaviy ma'lumotlar omborlari bilan ta'minlangan chegaralar kengayib bormoqda.

Katta ma'lumotlar echimlarini amalga oshirish bo'yicha muvaffaqiyatli qaror qabul qilish uchun kompaniya investitsiya ishini hisoblashi kerak va bu ko'plab noma'lum komponentlar tufayli katta qiyinchiliklarga olib keladi. Bunday hollarda analitikaning paradoksi o'tmish asosida kelajakni bashorat qilishdir, ular haqida ma'lumot ko'pincha etishmaydi. Bunday holda, muhim omil sizning dastlabki harakatlaringizni aniq rejalashtirishdir:

• Birinchidan, bitta aniq biznes muammosini aniqlash kerak, buning uchun Big Data texnologiyalari qo'llaniladi, bu vazifa tanlangan kontseptsiyaning to'g'riligini aniqlashning asosiga aylanadi. Siz ushbu aniq vazifa bilan bog'liq ma'lumotlarni to'plashga e'tibor qaratishingiz kerak va kontseptsiyani isbotlash paytida siz foydalana olasiz turli vositalar, kelajakda yaxshiroq qarorlar qabul qilish imkonini beradigan jarayonlar va boshqaruv amaliyotlari.
• Ikkinchidan, ma'lumotlar tahlili bo'yicha ko'nikma va tajribaga ega bo'lmagan kompaniya Big Data loyihasini muvaffaqiyatli amalga oshira olishi dargumon. Kerakli bilim har doim oldingi tahliliy tajribadan kelib chiqadi, bu ma'lumotlar bilan ishlash sifatiga ta'sir qiluvchi asosiy omil hisoblanadi. Ma'lumotlardan foydalanish madaniyati muhim rol o'ynaydi, chunki ko'pincha ma'lumotni tahlil qilish biznes haqidagi qattiq haqiqatni ochib beradi va bu haqiqatni qabul qilish va u bilan ishlash uchun ma'lumotlar bilan ishlashning ishlab chiqilgan usullari kerak bo'ladi.
• Uchinchidan, Big Data texnologiyalarining ahamiyati tushunchalarni taqdim etishdadir.Yaxshi tahlilchilar bozorda yetishmayapti. Ular ma'lumotlarning tijorat ma'nosini chuqur tushunadigan va ularni qanday qilib to'g'ri qo'llashni biladigan mutaxassislar deb ataladi. Ma'lumotlarni tahlil qilish biznes maqsadlariga erishish vositasidir va Big Data qiymatini tushunish uchun sizga tegishli xatti-harakatlar modeli va harakatlaringizni tushunish kerak. Bunday holda, katta ma'lumotlar iste'molchilar haqida juda ko'p foydali ma'lumotlarni taqdim etadi, ular asosida foydali biznes qarorlarini qabul qilishingiz mumkin.

Rossiyaning Big Data bozori endigina shakllana boshlaganiga qaramay, ushbu sohadagi ba'zi loyihalar allaqachon muvaffaqiyatli amalga oshirilmoqda. Ulardan ba'zilari Federal Soliq xizmati va Tinkoff Credit Systems loyihalari kabi ma'lumotlarni yig'ish sohasida muvaffaqiyatli, boshqalari ma'lumotlarni tahlil qilish va uning natijalarini amaliy qo'llash bo'yicha: bu Synqera loyihasi.

Tinkoff Credit Systems Bank massiv parallel hisoblash uchun vosita bo'lgan EMC2 Greenplum platformasini amalga oshirish loyihasini amalga oshirdi. Davomida so'nggi yillar bankning to‘plangan ma’lumotlarni qayta ishlash tezligi va ma’lumotlarni real vaqt rejimida tahlil qilish talablari kredit kartalaridan foydalanuvchilar sonining yuqori o‘sish sur’atlari tufayli ortdi. Bank Big Data texnologiyalaridan foydalanishni kengaytirish, xususan, tuzilmagan ma'lumotlarni qayta ishlash va turli manbalardan olingan korporativ ma'lumotlar bilan ishlashni kengaytirish rejalarini e'lon qildi.

Rossiya Federal Soliq xizmatida hozirda federal ma'lumotlar omborining analitik qatlami yaratilmoqda. Unga asoslanib, birlashtirilgan axborot maydoni va statistik ma'lumotlar uchun soliq ma'lumotlariga kirish texnologiyasi va analitik qayta ishlash. Loyihani amalga oshirish jarayonida Federal Soliq xizmatining mahalliy darajadagi 1200 dan ortiq manbalari bilan tahliliy ma'lumotlarni markazlashtirish bo'yicha ishlar olib borilmoqda.

Boshqa qiziqarli misol real vaqt rejimida katta ma'lumotlarni tahlil qilish - Simplate platformasini ishlab chiqqan Rossiyaning Synqera startapi. Yechim katta ma'lumotlar massivlarini qayta ishlashga asoslangan bo'lib, dastur mijozlar, ularning xarid qilish tarixi, yoshi, jinsi va hatto kayfiyati haqidagi ma'lumotlarni tahlil qiladi. Kosmetika do'konlari tarmog'idagi kassalarda xaridorlarning his-tuyg'ularini tan oladigan sensorli sensorli ekranlar o'rnatildi. Dastur odamning kayfiyatini aniqlaydi, u haqidagi ma'lumotlarni tahlil qiladi, kunning vaqtini aniqlaydi va do'konning chegirmalar bazasini skanerlaydi, shundan so'ng u xaridorga reklama aktsiyalari haqida maqsadli xabarlarni yuboradi va maxsus takliflar. Ushbu yechim mijozlarning sodiqligini yaxshilaydi va chakana savdoni oshiradi.

Agar xorijiy muvaffaqiyatli holatlar haqida gapiradigan bo‘lsak, bu borada Dunkin` Donuts’da mahsulotlarni sotish uchun real vaqt ma’lumotlaridan foydalanadigan Big Data texnologiyalaridan foydalanish tajribasi qiziq. Do'konlardagi raqamli displeylar kunning vaqti va mahsulot mavjudligiga qarab har daqiqada o'zgarib turadigan takliflarni ko'rsatadi. Naqd pul tushumlariga ko'ra, kompaniya qaysi takliflar xaridorlardan eng ko'p javob olganligi haqida ma'lumot oladi. Ma'lumotlarni qayta ishlashning bunday yondashuvi ombordagi foyda va tovar aylanmasini oshirish imkonini berdi.

Big Data loyihalarini amalga oshirish tajribasi shuni ko'rsatadiki, bu soha zamonaviy biznes muammolarini muvaffaqiyatli hal qilish uchun mo'ljallangan. Shu bilan birga, katta ma'lumotlar bilan ishlashda tijorat maqsadlariga erishishning muhim omili tanlovdir to'g'ri strategiya, bu iste'molchi so'rovlarini hamda foydalanishni aniqlaydigan tahlillarni o'z ichiga oladi innovatsion texnologiyalar Big Data sohasida.

Econsultancy va Adobe tomonidan 2012 yildan beri har yili kompaniyalarning marketologlari o'rtasida o'tkaziladigan global so'rovga ko'ra, Internetdagi odamlarning harakatlarini tavsiflovchi "katta ma'lumotlar" ko'p narsani qila oladi. Ular oflayn biznes jarayonlarini optimallashtirishga qodir, egalarining qandayligini tushunishga yordam beradi mobil qurilmalar ulardan ma'lumot qidirish yoki oddiygina "marketingni yaxshilash" uchun foydalaning, ya'ni. samaraliroq. Bundan tashqari, bizning diagrammamizdan ko'rinib turibdiki, oxirgi funktsiya yildan-yilga mashhur bo'lib bormoqda.

Mijozlar bilan aloqalar bo'yicha Internet-marketologlar ishining asosiy yo'nalishlari

Manba: Econsultancy va Adobe, nashr etilganemarketer.com

E'tibor bering, respondentlarning millati unchalik muhim emas. 2013 yilda KPMG tomonidan o'tkazilgan so'rovga ko'ra, "optimistlar" ulushi, ya'ni. Biznes strategiyasini ishlab chiqishda Big Datadan foydalanadiganlarning 56% ni tashkil qiladi va mintaqadan mintaqaga tebranishlar kichik: Shimoliy Amerika mamlakatlarida 63% dan EMEAda 50% gacha.

Dunyoning turli mintaqalarida Big Datadan foydalanish

Manba: KPMG, nashr etilganemarketer.com

Ayni paytda, sotuvchilarning bunday "moda tendentsiyalari" ga munosabati ma'lum bir latifani eslatadi:

Ayting-chi, Vano, sizga pomidor yoqadimi?
- Men ovqatlanishni yaxshi ko'raman, lekin yoqtirmayman.

Marketologlar Big Datani "sevishlarini" aytishlariga va hatto undan foydalanishga o'xshasalar ham, aslida "hamma narsa murakkab", chunki ular ijtimoiy tarmoqlarda o'zlarining samimiy qo'shilishlari haqida yozadilar.

Circle Research kompaniyasi tomonidan 2014 yil yanvar oyida evropalik marketologlar o'rtasida o'tkazilgan so'rovga ko'ra, 5 respondentdan 4 tasi Big Datadan foydalanmaydi (ular, albatta, uni "sevishlariga" qaramay). Sabablari boshqacha. Bir nechta inveterate skeptiklar bor - 17% va ularning antipodlari bilan bir xil raqam, ya'ni. Ishonch bilan "Ha" deb javob beradiganlar. Qolganlari ikkilanib, shubhalanishadi, "botqoqlik". Ular "hali emas, lekin tez orada" yoki "boshqalar boshlanishini kutamiz" kabi asosli bahonalar bilan to'g'ridan-to'g'ri javob berishdan qochishadi.

Marketologlar tomonidan katta ma'lumotlardan foydalanish, Evropa, 2014 yil yanvar

Manba:dnx, nashr etilgan -emarketer.com

Ularni nima chalkashtirib yuboradi? Aniq bema'nilik. Ba'zilar (aniq yarmi) bu ma'lumotlarga ishonmaydilar. Boshqalar (ularning juda ko'plari ham bor - 55%) "ma'lumotlar" va "foydalanuvchilar" to'plamini o'zaro bog'lash qiyin. Kimdir shunchaki (siyosiy jihatdan to'g'ri aytaylik) ichki korporativ tartibsizlikka ega: ma'lumotlar marketing bo'limlari va IT tuzilmalari o'rtasida egasisiz yuribdi. Boshqalar uchun dasturiy ta'minot ish oqimi bilan bardosh bera olmaydi. Va boshqalar. Umumiy ulushlar 100% dan ancha yuqori bo'lganligi sababli, "ko'p to'siqlar" holati kamdan-kam emasligi aniq.

Marketingda katta ma'lumotlardan foydalanishga to'sqinlik qiluvchi to'siqlar

Manba:dnx, nashr etilgan -emarketer.com

Shunday qilib, shuni ta'kidlashimiz kerakki, hozirgacha "Katta ma'lumotlar" hali foydalanish kerak bo'lgan katta salohiyatdir. Aytgancha, bu Big Data o'zining "moda trendi" halosini yo'qotayotganining sababi bo'lishi mumkin, buni biz yuqorida aytib o'tgan Econsultancy kompaniyasi tomonidan o'tkazilgan so'rov ma'lumotlari tasdiqlaydi.

2013-2014 yillardagi raqamli marketingning eng muhim tendentsiyalari

Manba: Konsalting va Adobe

Ularning o'rnini boshqa qirol - kontent marketingi egallaydi. Qancha vaqt?

Katta ma'lumotlar qandaydir tubdan yangi hodisa deb aytish mumkin emas. Katta ma'lumotlar manbalari yillar davomida mavjud: mijozlar xaridlari, kredit tarixi, turmush tarzi ma'lumotlar bazalari. Va yillar davomida olimlar ushbu ma'lumotlardan kompaniyalarga xavfni baholash va kelajakdagi mijozlar ehtiyojlarini bashorat qilishda yordam berish uchun foydalanganlar. Biroq, bugungi kunda vaziyat ikki jihatdan o'zgardi:

Turli ma'lumotlar to'plamlarini tahlil qilish va birlashtirish uchun yanada murakkab vositalar va usullar paydo bo'ldi;

Ushbu tahliliy vositalar deyarli barcha ma'lumotlarni yig'ish va o'lchash usullarini raqamlashtirish orqali yangi ma'lumotlar manbalarining ko'chkisi bilan to'ldiriladi.

Mavjud ma'lumotlar doirasi tuzilgan tadqiqot muhitida o'sgan tadqiqotchilar uchun ham ilhomlantiruvchi, ham qo'rqituvchidir. Iste'molchining hissiyotlari veb-saytlar va barcha turdagi ijtimoiy tarmoqlar tomonidan ushlanadi. Reklamalarni ko'rish fakti nafaqat pristavkalar, balki raqamli teglar va televizor bilan aloqa qiladigan mobil qurilmalar yordamida ham qayd etiladi.

Xulq-atvor ma'lumotlari (masalan, qo'ng'iroqlar soni, xarid qilish odatlari va xaridlar) endi real vaqtda mavjud. Shunday qilib, ilgari tadqiqot orqali o'rganilishi mumkin bo'lgan ko'p narsalarni endi katta ma'lumotlar manbalari orqali o'rganish mumkin. Va bu barcha axborot aktivlari har qanday tadqiqot jarayonlaridan qat'i nazar, doimiy ravishda yaratiladi. Ushbu o'zgarishlar bizni katta ma'lumotlar klassik bozor tadqiqotlari o'rnini bosa oladimi, degan savol tug'diradi.

Gap ma’lumotlarda emas, savol-javoblarda

Klassik tadqiqotlar uchun o'limga buyurtma berishdan oldin, biz o'zimizga eslatib o'tishimiz kerakki, u yoki bu ma'lumotlar aktivining mavjudligi emas, balki hal qiluvchi narsa boshqa narsadir. Aynan nima? Savollarga javob berish qobiliyatimiz shu. Katta ma'lumotlarning yangi dunyosining kulgili tomoni shundaki, yangi ma'lumotlar aktivlari natijalari yanada ko'proq savollarga olib keladi va bu savollarga an'anaviy tadqiqotlar orqali eng yaxshi javob beriladi. Shunday qilib, katta ma'lumotlarning o'sishi bilan biz katta ma'lumotlar olamidagi savollarga javob bera oladigan "kichik ma'lumotlar" ga bo'lgan talab va mavjudligi parallel ravishda o'sib borayotganini ko'ramiz.

Vaziyatni ko'rib chiqaylik: yirik reklama beruvchi doimiy ravishda real vaqt rejimida do'konlardagi trafikni va savdo hajmini kuzatib boradi. Mavjud tadqiqot metodologiyalari (biz tadqiqot panellari ishtirokchilaridan sotib olish motivlari va savdo nuqtasidagi xatti-harakatlari haqida so'raymiz) bizga aniq mijozlar segmentlarini yaxshiroq yo'naltirishga yordam beradi. Ushbu metodologiyalar katta ma'lumotlar aktivlarining kengroq doirasini qamrab oladigan darajada kengaytirilishi mumkin, bunda katta ma'lumotlar passiv kuzatish vositasiga aylanadi va o'rganish kerak bo'lgan o'zgarishlar yoki hodisalarni doimiy, tor yo'naltirilgan tekshirish usulini tadqiq qiladi. Shunday qilib, katta ma'lumotlar tadqiqotni keraksiz tartiblardan ozod qilishi mumkin. Birlamchi tadqiqotlar endi nima bo'layotganiga e'tibor qaratmasligi kerak (katta ma'lumotlar bo'ladi). Buning o'rniga, asosiy tadqiqotlar nima uchun biz ma'lum tendentsiyalarni yoki tendentsiyalardan chetga chiqishni ko'rishimizni tushuntirishga qaratilishi mumkin. Tadqiqotchi ma'lumot olish haqida kamroq o'ylay oladi va uni qanday tahlil qilish va ishlatish haqida ko'proq o'ylaydi.

Shu bilan birga, biz katta ma'lumotlar bizning eng katta muammolarimizdan biri, haddan tashqari uzoq tadqiqotlar muammosini hal qilayotganini ko'ramiz. Tadqiqotlarning o'zini o'rganish shuni ko'rsatdiki, haddan tashqari shishgan tadqiqot vositalari ma'lumotlar sifatiga salbiy ta'sir qiladi. Garchi ko'plab ekspertlar bu muammoni uzoq vaqt tan olishgan bo'lsa-da, ular har doim shunday ibora bilan javob berishdi: "Ammo menga bu ma'lumot yuqori boshqaruv uchun kerak" va uzoq suhbatlar davom etdi.

Miqdoriy ko'rsatkichlarni passiv kuzatish orqali olish mumkin bo'lgan katta ma'lumotlar dunyosida bu masala muhokama qilinmoqda. Yana, keling, iste'mol bo'yicha barcha tadqiqotlarni o'ylab ko'raylik. Agar katta ma'lumotlar bizga passiv kuzatish orqali iste'mol haqida tushuncha beradigan bo'lsa, unda so'rovlar ko'rinishidagi birlamchi tadqiqotlar endi bunday ma'lumotlarni yig'ishga hojat qolmaydi va biz nihoyat qisqa so'rovlar haqidagi tasavvurimizni nafaqat yaxshi tilaklar bilan, balki haqiqiy narsa.

Big Data sizning yordamingizga muhtoj

Va nihoyat, "katta" - bu katta ma'lumotlarning xususiyatlaridan biri. "Katta" xarakteristikasi ma'lumotlarning o'lchami va miqyosiga ishora qiladi. Albatta, bu asosiy xususiyatdir, chunki bu ma'lumotlarning hajmi biz ilgari ishlagan barcha narsalar doirasidan tashqarida. Ammo bu yangi ma'lumotlar oqimlarining boshqa xususiyatlari ham muhim: ular ko'pincha yomon formatlangan, tuzilmagan (yoki eng yaxshi holatda qisman tuzilgan) va noaniqlik bilan to'la. Ma'lumotlarni boshqarishning rivojlanayotgan sohasi "ob'ektlar tahlili" deb nomlanadi, bu katta ma'lumotlardagi shovqinni engish muammosini hal qilishga qaratilgan. Uning vazifasi ushbu ma'lumotlar to'plamini tahlil qilish va bir odam uchun qancha kuzatuv mavjudligini, qaysi kuzatishlar joriy va ulardan qaysi biri foydalanishga yaroqliligini aniqlashdir.

Ushbu turdagi ma'lumotlarni tozalash katta yoki kichik ma'lumotlar aktivlari bilan ishlashda shovqin yoki noto'g'ri ma'lumotlarni olib tashlash uchun zarur, ammo bu etarli emas. Biz, shuningdek, oldingi tajribamiz, tahliliy va toifadagi bilimlarimiz asosida katta maʼlumotlar aktivlari atrofida kontekst yaratishimiz kerak. Aslida, ko'plab tahlilchilar katta ma'lumotlarga xos bo'lgan noaniqlikni boshqarish qobiliyatini raqobatdosh ustunlik manbai sifatida ta'kidlaydilar, chunki bu yaxshiroq qaror qabul qilish imkonini beradi.

Va bu erda birlamchi tadqiqotlar nafaqat katta ma'lumotlar tufayli muntazamlikdan ozod bo'libgina qolmay, balki katta ma'lumotlar doirasida kontent yaratish va tahlil qilishga ham hissa qo'shadi.

Buning yorqin misoli bizning yangi brend kapital tizimini ijtimoiy tarmoqlarga qo'llashdir. (biz ishlab chiqilgani haqida gapiramizMillvord jigarrangbrend qiymatini o'lchashga yangi yondashuvThe Ma'noda Turli Ramka- "Muhim farqlar paradigmasi" -R & T ). Ushbu model muayyan bozorlarda xulq-atvor sinovidan o'tgan, standart asosda amalga oshiriladi va boshqa marketing yo'nalishlarida osonlik bilan qo'llanilishi mumkin. axborot tizimlari qarorlarni qo'llab-quvvatlash uchun. Boshqacha qilib aytadigan bo'lsak, bizning brend kapitali modelimiz (alohida bo'lmasa ham) so'rov tadqiqotiga asoslangan holda, katta ma'lumotlarning tuzilmagan, izchil va noaniq tabiatini engish uchun zarur bo'lgan barcha xususiyatlarga ega.

Ijtimoiy tarmoqlar tomonidan taqdim etilgan iste'molchilarning kayfiyati ma'lumotlarini ko'rib chiqing. O'zining xom ko'rinishida iste'molchi kayfiyatidagi cho'qqilar va vodiylar ko'pincha brend kapitali va xatti-harakatlarining oflayn o'lchovlari bilan minimal darajada bog'liqdir: ma'lumotlarda shunchaki juda ko'p shovqin bor. Ammo biz iste'molchi ma'nosi, brendni farqlash, dinamika va identifikatsiya modellarimizni iste'molchi hissiyotlari haqidagi ma'lumotlarga qo'llash orqali bu shovqinni kamaytirishimiz mumkin, bu esa ushbu o'lchovlar bo'yicha ijtimoiy media ma'lumotlarini qayta ishlash va yig'ish usuli hisoblanadi.

Ma'lumotlar bizning ramka modelimiz bo'yicha tashkil etilgandan so'ng, aniqlangan tendentsiyalar odatda oflayn rejimda olingan brend kapitali va xatti-harakatlar o'lchovlariga mos keladi. Aslida, ijtimoiy media ma'lumotlari o'zi uchun gapira olmaydi. Bu maqsadda ulardan foydalanish bizning tajribamiz va brendlar atrofida qurilgan modellarni talab qiladi. Ijtimoiy tarmoqlar bizga berganida noyob ma'lumotlar iste'molchilar brendlarni ta'riflashda foydalanadigan tilda ifodalangan bo'lsak, biz birlamchi tadqiqotlarni yanada samaraliroq qilish uchun tadqiqotimizni yaratishda ushbu tildan foydalanishimiz kerak.

Imtiyozli o'qishning afzalliklari

Bu bizni katta ma'lumotlar tadqiqot o'rnini bosmaydi, balki uni bo'shatadi, degan haqiqatga qaytaradi. Tadqiqotchilar har bir yangi holat uchun yangi tadqiqot yaratish zaruratidan xalos bo'lishadi. Katta ma'lumotlarning doimiy o'sib borayotgan aktivlari turli tadqiqot mavzulari uchun ishlatilishi mumkin, bu keyingi birlamchi tadqiqotlarga mavzuni chuqurroq o'rganish va bo'shliqlarni to'ldirish imkonini beradi. Tadqiqotchilar haddan tashqari oshirib yuborilgan so'rovlarga ishonishdan ozod bo'lishadi. Buning o'rniga ular qisqa so'rovlardan foydalanishlari va eng muhim parametrlarga e'tibor berishlari mumkin, bu esa ma'lumotlar sifatini yaxshilaydi.

Ushbu nashr bilan tadqiqotchilar o'zlarining o'rnatilgan tamoyillari va tushunchalaridan katta ma'lumotlar aktivlariga aniqlik va ma'no qo'shish uchun foydalanishlari mumkin, bu esa so'rov tadqiqotlari uchun yangi yo'nalishlarga olib keladi. Ushbu tsikl bir qator strategik masalalar bo'yicha ko'proq tushunishga va pirovardida har doim bizniki bo'lishi kerak bo'lgan narsaga o'tishga olib kelishi kerak. asosiy maqsad- brend va aloqa qarorlari sifatini xabardor qilish va yaxshilash.

katta ma'lumotlar- bu nafaqat ma'lumotlarning o'zi, balki ularni qayta ishlash va foydalanish texnologiyalari, katta massivlarda kerakli ma'lumotlarni topish usullari. Katta ma'lumotlar muammosi hali ham ochiq va o'nlab yillar davomida turli xil ma'lumotlarni to'plagan har qanday tizimlar uchun hayotiy ahamiyatga ega.

Bu atama ibora bilan bog'liq "Hajm, tezlik, xilma-xillik"- katta ma'lumotlar bilan ishlash tamoyillari. Bu to'g'ridan-to'g'ri ma'lumotlar miqdori, uni qayta ishlash tezligi va turli xil ma'lumotlar massivda saqlanadi. Yaqinda uchta asosiy tamoyilga yana biri qo'shildi - qiymat, bu degani ma'lumotlarning qiymati. Ya'ni, u nazariy yoki amaliy jihatdan foydali va zarur bo'lishi kerak, bu uni saqlash va qayta ishlash xarajatlarini oqlaydi.

Ijtimoiy tarmoqlar katta ma'lumotlarning odatiy manbasiga misol bo'ladi - har bir profil yoki ochiq sahifa tuzilmagan ma'lumotlar okeanidagi kichik bir tomchidir. Bundan tashqari, ma'lum bir profilda saqlangan ma'lumotlarning miqdoridan qat'i nazar, foydalanuvchilarning har biri bilan o'zaro aloqa imkon qadar tezroq bo'lishi kerak.

Katta ma'lumotlar inson hayotining deyarli barcha sohalarida doimiy ravishda to'planadi. Bunga odamlarning o'zaro ta'siri yoki hisoblash bilan bog'liq har qanday sanoat kiradi. Bular ijtimoiy tarmoqlar, tibbiyot va bank sektori, shuningdek, kundalik hisob-kitoblarning ko'plab natijalarini oladigan qurilma tizimlari. Masalan, astronomik kuzatuvlar, meteorologik ma'lumotlar va Yerni zondlash qurilmalaridan olingan ma'lumotlar.

Real vaqt rejimida turli kuzatuv tizimlaridan ma'lumotlar ham ma'lum bir kompaniyaning serverlariga yuboriladi. Televidenie va radioeshittirishlar, uyali aloqa operatorlarining qo'ng'iroqlar bazalari - har bir shaxsning ular bilan o'zaro aloqasi minimal, ammo jami bu ma'lumotlarning barchasi katta ma'lumotlarga aylanadi.

Katta ma'lumotlar texnologiyalari ilmiy-tadqiqot va savdoning ajralmas qismiga aylandi. Bundan tashqari, ular davlat boshqaruvi sohasini egallashni boshladilar - va hamma joyda tobora ko'proq joriy etilmoqda. samarali tizimlar axborotni saqlash va manipulyatsiya qilish.

"Katta ma'lumotlar" atamasi matbuotda birinchi marta 2008 yilda Nature muharriri Klifford Linch katta ma'lumotlar texnologiyalari yordamida ilm-fan kelajagini qanday rivojlantirish haqida maqola chop etganida paydo bo'ldi. 2009 yilgacha bu atama faqat ilmiy tahlil nuqtai nazaridan ko'rib chiqildi, ammo yana bir nechta maqolalar nashr etilgandan so'ng, matbuot Big Data tushunchasini keng qo'llashni boshladi - va hozirda uni qo'llashda davom etmoqda.

2010 yilda o'sib borayotgan katta ma'lumotlar muammosini hal qilish uchun birinchi urinishlar paydo bo'la boshladi. Dasturiy ta'minot mahsulotlari chiqarildi, ularning harakati katta axborot massivlaridan foydalanishda xavflarni minimallashtirishga qaratilgan edi.

2011 yilga kelib, katta ma'lumotlar qabul qilindi yirik kompaniyalar, Microsoft, Oracle, EMC va IBM kabi - ular o'zlarining rivojlanish strategiyalarida katta ma'lumotlardan birinchi bo'lib foydalanishdi va juda muvaffaqiyatli.

Universitetlar katta ma'lumotlarni alohida fan sifatida 2013 yilda o'rganishni boshladilar - endi nafaqat ma'lumotlar fanlari, balki muhandislik ham hisoblash fanlari bilan birgalikda ushbu sohadagi muammolar bilan shug'ullanadi.

Ma'lumotlarni tahlil qilish va qayta ishlashning asosiy usullari quyidagilardan iborat:

1. Sinf usullari yoki chuqur tahlil (Data Mining).

Bu usullar juda ko'p, lekin ularni bir narsa birlashtiradi: axborot texnologiyalari sohasidagi yutuqlar bilan birgalikda qo'llaniladigan matematik vositalar.

1. Kraudsorsing.

Ushbu texnika bir vaqtning o'zida bir nechta manbalardan ma'lumotlarni olish imkonini beradi va ularning soni deyarli cheksizdir.

1. A/B testi.

Ma'lumotlarning butun hajmidan elementlarning boshqaruv to'plami tanlanadi, ular navbat bilan elementlardan biri o'zgartirilgan boshqa shunga o'xshash to'plamlar bilan taqqoslanadi. Bunday testlarni o'tkazish qaysi parametr tebranishlari mavjudligini aniqlashga yordam beradi eng katta ta'sir nazorat qiluvchi aholiga. Katta ma'lumotlarning hajmlari tufayli juda ko'p takrorlashlarni amalga oshirish mumkin, ularning har biri eng ishonchli natijaga yaqinlashadi.

1. Bashoratli tahlil.

Ushbu sohadagi mutaxassislar ushbu vaziyatda eng foydali qarorni qabul qilish uchun boshqariladigan ob'ekt qanday harakat qilishini oldindan bashorat qilishga va rejalashtirishga harakat qilishadi.

1. Mashinani o'rganish (sun'iy intellekt).

U axborotning empirik tahliliga va keyinchalik tizimlar uchun o'z-o'zini o'rganish algoritmlarini qurishga asoslangan.

1. Tarmoq tahlili.

Ijtimoiy tarmoqlarni o'rganishning eng keng tarqalgan usuli - statistik ma'lumotlarni olgandan so'ng, gridda yaratilgan tugunlar, ya'ni alohida foydalanuvchilar va ularning jamoalari o'rtasidagi o'zaro aloqalar tahlil qilinadi.

2017 yilda, katta ma'lumotlar endi yangi va noma'lum narsa bo'lmaganida, uning ahamiyati nafaqat pasaygan, balki hatto ortgan. Endi ekspertlar katta hajmdagi ma'lumotlarni tahlil qilish nafaqat yirik tashkilotlar, balki kichik va o'rta biznes uchun ham mavjud bo'lishiga umid qilmoqda. Ushbu yondashuv quyidagi komponentlar yordamida amalga oshirilishi rejalashtirilgan:

• Bulutli saqlash.

Ma'lumotlarni saqlash va qayta ishlash o'z ma'lumotlar markazini saqlash xarajatlariga nisbatan tezroq va tejamkor bo'ladi. mumkin bo'lgan kengayish Bulutli ijara xodimlari ancha arzonroq muqobil ko'rinadi.

• Qorong'i ma'lumotlardan foydalanish.

"Qorong'u ma'lumotlar" deb atalmish kompaniya to'g'risidagi barcha raqamlashtirilmagan ma'lumotlar bo'lib, undan to'g'ridan-to'g'ri foydalanishda asosiy rol o'ynamaydi, lekin axborotni saqlashning yangi formatiga o'tish uchun sabab bo'lishi mumkin.

• Sun'iy intellekt va chuqur o'rganish.

Inson miyasining tuzilishi va ishini taqlid qiluvchi mashina razvedkasini o'rganish texnologiyasi doimiy o'zgaruvchan katta hajmdagi ma'lumotlarni qayta ishlash uchun eng mos keladi. Bunday holda, mashina odam qilishi kerak bo'lgan hamma narsani qiladi, ammo xatolik ehtimoli sezilarli darajada kamayadi.

• blokcheyn.

Ushbu texnologiya ko'plab Internet tranzaksiyalarini, shu jumladan xalqaro operatsiyalarni tezlashtirish va soddalashtirish imkonini beradi. Blockchain-ning yana bir afzalligi shundaki, u tranzaksiya xarajatlarini kamaytiradi.

• O'z-o'ziga xizmat ko'rsatish va narxlarni pasaytirish.

2017-yilda “o‘z-o‘ziga xizmat ko‘rsatish platformalari”ni joriy etish rejalashtirilmoqda – bular kichik va o‘rta biznes vakillari o‘zlari saqlayotgan ma’lumotlarni mustaqil baholash va tizimlashtirish imkoniyatiga ega bo‘lgan bepul platformalardir.

Barcha marketing strategiyalari qandaydir tarzda ma'lumotni manipulyatsiya qilish va mavjud ma'lumotlarni tahlil qilishga asoslangan. Shuning uchun katta ma'lumotlardan foydalanish oldindan bashorat qilishi va tuzatishga imkon beradi yanada rivojlantirish kompaniyalar.

Masalan, katta ma’lumotlar asosida yaratilgan RTB auksioni reklamadan samaraliroq foydalanish imkonini beradi – ma’lum bir mahsulot faqat uni sotib olishga qiziqqan foydalanuvchilar guruhiga ko‘rsatiladi.

Marketing va biznesda katta ma'lumotlar texnologiyalaridan foydalanishning foydasi nimada?

1. Ularning yordami bilan siz yangi loyihalarni tezroq yaratishingiz mumkin, ular xaridorlar orasida mashhur bo'lishi mumkin.
2. Ular mijozlar talablarini mavjud yoki rejalashtirilgan xizmat bilan bog'lashga yordam beradi va shu bilan ularni moslashtiradi.
3. Katta ma'lumotlar usullari barcha foydalanuvchilarning va har birining hozirgi qoniqish darajasini baholashga imkon beradi.
4. Mijozlarning sodiqligini oshirish katta ma'lumotlarni qayta ishlash usullari orqali ta'minlanadi.
5. Katta hajmdagi ma'lumotlarni nazorat qilish qobiliyati tufayli Internetda maqsadli auditoriyani jalb qilish osonroq bo'ladi.

Masalan, ma'lum bir mahsulotning mashhurligini bashorat qilish uchun eng mashhur xizmatlardan biri bu Google.trends. U marketologlar va tahlilchilar tomonidan keng qo'llaniladi, bu ularga foydalanish statistikasini olish imkonini beradi bu mahsulot o'tmishda va keyingi mavsum uchun prognoz. Bu kompaniya rahbarlariga reklama byudjetini samaraliroq taqsimlash, qaysi sohaga pul sarflash yaxshiroq ekanligini aniqlash imkonini beradi.

Katta ma'lumotlardan foydalanishga misollar

Katta ma'lumotlar texnologiyalarini bozorga va zamonaviy hayotga faol joriy etish ular dunyoning deyarli barcha burchaklarida mijozlarga ega bo'lgan dunyoga mashhur kompaniyalar tomonidan qo'llanila boshlanganidan so'ng boshlandi.

Bular Facebook va Google, IBM kabi ijtimoiy gigantlar, shuningdek Master Card, VISA va Bank of America kabi moliyaviy tuzilmalardir.

Misol uchun, IBM naqd pul operatsiyalari uchun katta ma'lumotlar texnikasini qo'llaydi. Ularning yordami bilan 15% ko'proq firibgarlik operatsiyalari aniqlandi, bu esa himoyalangan mablag'lar miqdorini 60% ga oshirdi. Bilan muammolar noto'g'ri pozitivlar tizimlar - ularning soni yarmidan ko'proq kamaydi.

VISA ham xuddi shunday operatsiyani bajarishga qaratilgan firibgarlik urinishlarini kuzatib, Big Datadan foydalangan. Buning evaziga ular har yili 2 milliard AQSh dollaridan ortiq mablag'ni oqib chiqishdan tejaydi.

Germaniya Mehnat vazirligi ishsizlik nafaqalarini berish ishida katta ma'lumotlar tizimini joriy etish orqali xarajatlarni 10 milliard yevroga qisqartirishga muvaffaq bo'ldi. Shu bilan birga, fuqarolarning beshdan bir qismi ushbu imtiyozlarni asossiz olayotgani aniqlandi.

Big Data o'yin sanoatini ham chetlab o'tmadi. Shunday qilib, World of Tanks ishlab chiquvchilari barcha o'yinchilar haqidagi ma'lumotlarni o'rganishdi va ularning faoliyatining mavjud ko'rsatkichlarini solishtirishdi. Bu o'yinchilarning kelajakda yuzaga kelishi mumkin bo'lgan ishdan chiqishini bashorat qilishga yordam berdi - qilingan taxminlarga asoslanib, tashkilot vakillari foydalanuvchilar bilan yanada samarali muloqot qilish imkoniyatiga ega bo'ldi.

Katta ma'lumotlardan foydalanadigan taniqli tashkilotlar qatoriga HSBC, Nasdaq, Coca-Cola, Starbucks va AT&T kiradi.

Katta ma'lumotlar bilan bog'liq eng katta muammo uni qayta ishlash narxidir. Bu qimmat uskunalar va xarajatlarni o'z ichiga olishi mumkin ish haqi katta hajmdagi ma'lumotlarga xizmat ko'rsatishga qodir malakali mutaxassislar. Shubhasiz, ma'lumotlar miqdori oshgani sayin, u minimal ishlashini yo'qotmasligi uchun uskunani muntazam yangilab turish kerak bo'ladi.

Ikkinchi muammo yana qayta ishlanishi kerak bo'lgan katta hajmdagi ma'lumotlar bilan bog'liq. Agar, masalan, tadqiqot 2-3 emas, balki ko'p sonli natijalarni bersa, ob'ektiv bo'lib qolish va umumiy ma'lumotlar oqimidan faqat hodisaning holatiga haqiqiy ta'sir ko'rsatadiganlarini tanlash juda qiyin.

Katta ma'lumotlarning maxfiyligi muammosi. Aksariyat mijozlarga xizmat koʻrsatish xizmatlari onlayn maʼlumotlardan foydalanishga oʻtayotganligi sababli, kiberjinoyatchilarning navbatdagi nishoniga aylanish juda oson. Hatto hech qanday onlayn tranzaktsiyalarsiz shaxsiy ma'lumotlarni saqlash ham bulutli saqlash mijozlari uchun istalmagan oqibatlarga olib kelishi mumkin.

Axborotni yo'qotish muammosi. Ehtiyot choralari ma'lumotlarning oddiy bir martalik zaxira nusxasi bilan cheklanib qolmaslikni, balki saqlashning kamida 2-3 zaxira nusxasini yaratishni talab qiladi. Biroq, hajm oshgani sayin, ortiqcha ishlarning murakkabligi oshadi - va IT mutaxassislari topishga harakat qilmoqdalar optimal yechim bu muammo.

Rossiyada va dunyoda katta ma'lumotlar texnologiyalari bozori

2014 yil holatiga ko'ra, katta ma'lumotlar bozorining 40 foizi xizmatlardan iborat. Bir oz past (38%) bu ko'rsatkich kompyuter uskunalarida katta ma'lumotlardan foydalanishdan olingan daromad. Qolgan 22% dasturiy ta'minotda.

Statistik ma'lumotlarga ko'ra, Big Data muammolarini hal qilish uchun global segmentdagi eng foydali mahsulotlar In-Memory va NoSQL analitik platformalardir. Bozorning mos ravishda 15 va 12 foizini Log-file analitik dasturiy ta'minot va Columnar platformalari egallaydi. Ammo Hadoop/MapReduce amalda katta ma'lumotlar muammolarini engish unchalik samarali emas.

Katta ma'lumotlar texnologiyalarini joriy etish natijalari:

• mijozlarga xizmat ko'rsatish sifatini oshirish;
• ta'minot zanjirida integratsiyani optimallashtirish;
• tashkilotni rejalashtirishni optimallashtirish;
• mijozlar bilan o'zaro munosabatlarni tezlashtirish;
• mijozlar so'rovlarini ko'rib chiqish samaradorligini oshirish;
• xizmat ko'rsatish xarajatlarini kamaytirish;
• mijoz so'rovlarini qayta ishlashni optimallashtirish.

Eng yaxshi Big Data Kitoblar

Katta ma'lumotlarni qayta ishlash texnologiyalarini dastlabki o'rganish uchun javob beradi - bu sizni oson va aniq yangilaydi. Axborotning ko'pligi qanday ta'sir qilganini aniq ko'rsatib beradi kundalik hayot va uning barcha sohalari: ilm-fan, biznes, tibbiyot va boshqalar. Ko'p sonli rasmlarni o'z ichiga oladi, shuning uchun u ko'p harakat qilmasdan qabul qilinadi.

Pang-Ning Tan, Maykl Shtaynbax va Vipin Kumar tomonidan "Ma'lumotlarni qazib olishga kirish"

Shuningdek, yangi boshlanuvchilar uchun Big Data bo'yicha foydali kitob bo'lib, u katta ma'lumotlar bilan "oddiydan murakkabgacha" qanday ishlashni tushuntiradi. U dastlabki bosqichda ko'plab muhim fikrlarni o'z ichiga oladi: qayta ishlashga tayyorgarlik, vizualizatsiya, OLAP, shuningdek, ma'lumotlarni tahlil qilish va tasniflashning ba'zi usullari.

Python dasturlash tilidan foydalangan holda katta ma'lumotlardan foydalanish va ular bilan ishlash bo'yicha amaliy qo'llanma. Ham muhandislik talabalari, ham bilimlarini chuqurlashtirishni xohlaydigan mutaxassislar uchun javob beradi.

"Dummiya uchun Hadoop", Dirk Derus, Pol S. Zikopoulos, Roman B. Melnik

Hadoop - bu bir vaqtning o'zida minglab tugunlarda amallarning bajarilishini tashkil qiluvchi taqsimlangan dasturlar bilan ishlash uchun maxsus ishlab chiqilgan loyiha. U bilan tanishish katta ma'lumotlarning amaliy qo'llanilishini batafsilroq tushunishga yordam beradi.