Faqat dangasa katta ma'lumotlar haqida gapirmaydi, lekin u nima ekanligini va qanday ishlashini deyarli tushunmaydi. Keling, eng oddiy - terminologiyadan boshlaylik. Rus tilida gapiradigan bo'lsak, Big Data - bu tuzilgan va tuzilmagan ma'lumotlarni muayyan vazifalar va maqsadlarda ishlatish uchun qayta ishlashning turli xil vositalari, yondashuvlari va usullari.

Strukturaviy bo'lmagan ma'lumotlar - oldindan belgilangan tuzilishga ega bo'lmagan yoki ma'lum bir tartibda tartibga solinmagan ma'lumotlar.

"Katta ma'lumotlar" atamasi Nature muharriri Klifford Linch tomonidan 2008 yilda dunyoda axborot hajmining keskin o'sishiga bag'ishlangan maxsus nashrda kiritilgan. Garchi, albatta, katta ma'lumotlarning o'zi ilgari mavjud bo'lgan. Mutaxassislarning fikriga ko'ra, kuniga 100 Gb dan ortiq ma'lumotlar oqimining aksariyati Katta ma'lumotlar toifasiga tegishli.

Shuningdek o'qing:

Bugungi kunda ushbu oddiy atama faqat ikkita so'zni yashiradi - ma'lumotlarni saqlash va qayta ishlash.

Katta ma'lumotlar - oddiy so'zlar bilan

Zamonaviy dunyoda Katta ma'lumotlar ijtimoiy-iqtisodiy hodisa bo'lib, u katta hajmdagi ma'lumotlarni tahlil qilish uchun yangi texnologik imkoniyatlar paydo bo'lganligi bilan bog'liq.

Shuningdek o'qing:

Tushunish uchun qulaylik uchun supermarketni tasavvur qiling, unda barcha tovarlar siz o'rgangan tartibda bo'lmaydi. Meva yonidagi non, muzlatilgan pitsa yonidagi tomat pastasi, avakado, tofu yoki shiitake qo'ziqorinlari va boshqalar bo'lgan tamponlar tokchasi yonida engilroq suyuqlik. Katta ma'lumotlar hamma narsani o'z o'rniga qo'yadi va yong'oq sutini topishga, narxi va yaroqlilik muddatini, shuningdek, sizdan tashqari kim bunday sutni sotib olishini va u sigir sutidan qanchalik yaxshiroq ekanligini aniqlashga yordam beradi.

Kennet Kukier: Katta ma'lumotlar yaxshiroq ma'lumotdir

Katta ma'lumotlar texnologiyasi

Katta hajmdagi ma'lumotlar qayta ishlanadi, shunda odam ularni yanada samarali qo'llash uchun aniq va kerakli natijalarni olishi mumkin.

Shuningdek o'qing:

Aslida, Big Data muammoni hal qiluvchi va an'anaviy ma'lumotlarni boshqarish tizimlariga muqobildir.

McKinsey ma'lumotlariga ko'ra Big Data uchun qo'llaniladigan tahlil usullari va usullari:

• kraudsorsing;

  Aralashtirish va ma'lumotlar integratsiyasi;

  Mashinani o'rganish;

  Sun'iy neyron tarmoqlari;

  Shaklni aniqlash;

  bashoratli tahlil;

  simulyatsiya modellashtirish;

  Fazoviy tahlil;

  Statistik tahlil;

• Analitik ma'lumotlarni vizualizatsiya qilish.

Ma'lumotlarni qayta ishlashga imkon beruvchi gorizontal miqyoslilik katta ma'lumotlarni qayta ishlashning asosiy tamoyilidir. Ma'lumotlar hisoblash tugunlariga taqsimlanadi va ishlov berish unumdorlikni pasaytirmasdan amalga oshiriladi. McKinsey, shuningdek, qo'llanilishi kontekstida munosabatlarni boshqarish tizimlari va Business Intelligenceni ham o'z ichiga oladi.

Texnologiya:

• NoSQL;
• MapReduce;
• Hadoop;
• Uskuna yechimlari.

Shuningdek o'qing:

Katta ma'lumotlar uchun 2001 yilda Meta Group tomonidan ishlab chiqilgan an'anaviy belgilovchi xususiyatlar mavjud bo'lib, ular "deb ataladi" Uch V»:

1. Ovoz balandligi- jismoniy hajmning qiymati.
2. Tezlik- o'sish sur'ati va natijalarni olish uchun ma'lumotlarni tezkor qayta ishlash zarurati.
3. Turli xillik- har xil turdagi ma'lumotlarni bir vaqtning o'zida qayta ishlash qobiliyati.

Katta ma'lumotlar: dastur va imkoniyatlar

Turli xil va tez kiruvchi raqamli ma'lumotlar hajmini an'anaviy vositalar bilan qayta ishlash mumkin emas. Ma'lumotlar tahlilining o'zi odam ko'ra olmaydigan ma'lum va sezilmaydigan naqshlarni ko'rish imkonini beradi. Bu bizga hayotimizning barcha sohalarini – davlat boshqaruvidan tortib ishlab chiqarish va telekommunikatsiyalargacha optimallashtirish imkonini beradi.

Misol uchun, bir necha yil oldin ba'zi kompaniyalar o'z mijozlarini firibgarlikdan himoya qilishgan va mijozning puliga g'amxo'rlik qilish o'z pulingizga g'amxo'rlik qilishdir.

Syuzan Atliger: Katta ma'lumotlar haqida nima deyish mumkin?

Katta ma'lumotlarga asoslangan echimlar: Sberbank, Beeline va boshqa kompaniyalar

“Bilayn”da abonentlar haqida juda katta hajmdagi ma’lumotlar mavjud bo‘lib, ular nafaqat ular bilan ishlash, balki tashqi konsalting yoki IPTV tahlili kabi tahliliy mahsulotlarni yaratishda ham foydalanadilar. Beeline ma'lumotlar bazasini segmentlarga ajratdi va saqlash uchun HDFS va Apache Spark, ma'lumotlarni qayta ishlash uchun Rapidminer va Python yordamida mijozlarni pul firibgarligi va viruslardan himoya qildi.

Shuningdek o'qing:

Yoki Sberbankni AS SAFI deb nomlangan eski ishi bilan eslang. Bu bank mijozlarini aniqlash va firibgarlikning oldini olish uchun fotosuratlarni tahlil qiluvchi tizimdir. Tizim 2014 yilda taqdim etilgan bo'lib, tizim kompyuterni ko'rish tufayli veb-kameralardan olingan ma'lumotlar bazasidagi fotosuratlarni solishtirishga asoslangan. Tizimning asosini biometrik platforma tashkil etadi. Buning hisobiga firibgarlik holatlari 10 barobar kamaydi.

Dunyodagi katta ma'lumotlar

2020 yilga kelib, prognozlarga ko'ra, insoniyat 40-44 zettabayt axborotni tashkil qiladi. IDC tahlilchilari tomonidan tayyorlangan The Data Age 2025 hisobotiga ko'ra, 2025 yilga kelib esa u 10 barobar o'sadi. Hisobotda qayd etilishicha, ma’lumotlarning aksariyati oddiy iste’molchilar emas, balki korxonalarning o‘zlari tomonidan ishlab chiqariladi.

Tadqiqot tahlilchilarining fikricha, ma'lumotlar hayotiy boylikka, xavfsizlik esa hayotning muhim poydevoriga aylanadi. Shuningdek, ish mualliflari texnologiya iqtisodiy manzarani o‘zgartirishiga, o‘rtacha foydalanuvchi esa ulangan qurilmalar bilan kuniga taxminan 4800 marta muloqot qilishiga ishonchi komil.

Rossiyada katta ma'lumotlar bozori

Odatda, katta ma'lumotlar uchta manbadan olinadi:

• Internet (ijtimoiy tarmoqlar, forumlar, bloglar, ommaviy axborot vositalari va boshqa saytlar);
• Korporativ hujjatlar arxivi;
• Datchiklar, asboblar va boshqa qurilmalarning ko'rsatkichlari.

Banklardagi katta ma'lumotlar

Yuqorida tavsiflangan tizimga qo'shimcha ravishda, Sberbankning 2014-2018 yillardagi strategiyasida. sifatli mijozlarga xizmat ko'rsatish, risklarni boshqarish va xarajatlarni optimallashtirish uchun super-ma'lumotlar to'plamini tahlil qilish muhimligi haqida gapiradi. Bank endi Big Data’dan xatarlarni boshqarish, firibgarlikka qarshi kurashish, mijozlarning kreditga layoqatliligini segmentlash va baholash, xodimlarni boshqarish, filiallardagi navbatlarni bashorat qilish, xodimlar uchun bonuslarni hisoblash va boshqa vazifalarni bajarishda foydalanmoqda.

VTB24 katta ma'lumotlardan mijozlarning ishlamay qolishini segmentlash va boshqarish, moliyaviy hisobotlarni yaratish va ijtimoiy tarmoqlar va forumlardagi fikr-mulohazalarni tahlil qilish uchun foydalanadi. Buning uchun u Teradata, SAS Visual Analytics va SAS Marketing Optimizer yechimlaridan foydalanadi.

Tadqiqotlar va tendentsiyalarga ko'ra

Katta ma'lumotlar, "Katta ma'lumotlar" bir necha yillardan beri IT va marketing matbuotida shaharning nutqiga aylandi. Va bu aniq: raqamli texnologiyalar zamonaviy insonning hayotiga kirib bordi, "hamma narsa yozilgan". Hayotning turli jabhalari bo'yicha ma'lumotlar hajmi o'sib bormoqda va shu bilan birga, axborotni saqlash imkoniyatlari ham o'sib bormoqda.

Axborotni saqlash uchun global texnologiyalar

Manba: Hilbert va Lopez, “Axborotni saqlash, muloqot qilish va hisoblash uchun dunyoning texnologik imkoniyatlari”, Science, 2011 Global.

Aksariyat ekspertlar ma'lumotlar o'sishini tezlashtirish ob'ektiv haqiqat ekanligiga qo'shiladilar. Ijtimoiy tarmoqlar, mobil qurilmalar, o'lchash asboblaridan olingan ma'lumotlar, biznes ma'lumotlari juda katta hajmdagi ma'lumotlarni yaratishi mumkin bo'lgan manbalarning bir nechta turlari. Tadqiqotga ko'ra IDCRaqamli olam, 2012-yilda chop etilgan, keyingi 8 yil ichida dunyoda ma'lumotlar hajmi 40 Zb (zettabayt) ga etadi, bu sayyoramiz aholisi uchun 5200 Gb ga to'g'ri keladi.

AQShda to'plangan raqamli ma'lumotlarning o'sishi

Manba: IDC

Axborotning muhim qismi odamlar tomonidan emas, balki robotlar tomonidan ham bir-biri bilan, ham boshqa ma'lumotlar tarmoqlari, masalan, sensorlar va aqlli qurilmalar bilan o'zaro ta'sir qiladi. Ushbu o'sish sur'atida dunyodagi ma'lumotlar miqdori, tadqiqotchilarning fikriga ko'ra, har yili ikki barobar ortadi. Yangi ma'lumotlar markazlarini kengaytirish va yaratish hisobiga dunyoda virtual va jismoniy serverlar soni o'n barobar ortadi. Shu munosabat bilan ushbu ma'lumotlardan samarali foydalanish va monetizatsiyaga bo'lgan ehtiyoj ortib bormoqda. Katta ma'lumotlardan biznesda foydalanish katta investitsiyalarni talab qilganligi sababli, vaziyatni aniq tushunish kerak. Va bu, aslida, oddiy: siz xarajatlarni kamaytirish va/yoki sotish hajmini oshirish orqali biznes samaradorligini oshirishingiz mumkin.

Big Data nima uchun?

Katta ma'lumotlar paradigmasi uchta asosiy turdagi vazifalarni belgilaydi.

• An'anaviy relyatsion ma'lumotlar bazalari samarali foydalana olmaydigan yuzlab terabayt yoki petabayt ma'lumotlarni saqlash va boshqarish.
• Matnlar, rasmlar, videolar va boshqa turdagi ma'lumotlardan iborat tuzilmagan ma'lumotlarni tashkil qilish.
• Katta ma'lumotlarni tahlil qilish, bu tizimlashtirilmagan ma'lumotlar bilan qanday ishlash, analitik hisobotlarni yaratish va bashoratli modellarni amalga oshirish masalasini ko'taradi.

Katta ma'lumotlar loyihalari bozori biznes razvedkasi (BA) bozori bilan kesishadi, dunyodagi hajmi, ekspertlarning fikriga ko'ra, 2012 yilda taxminan 100 milliard dollarni tashkil etdi. Tarmoq texnologiyasi, serverlar, dasturiy ta'minot va texnik xizmatlarning tarkibiy qismlarini o'z ichiga oladi.

Bundan tashqari, Big Data texnologiyalaridan foydalanish kompaniyalar faoliyatini avtomatlashtirish uchun mo'ljallangan daromad kafolati (RA) sinfi yechimlari uchun dolzarbdir. Zamonaviy daromadlarni kafolatlash tizimlari nomuvofiqliklarni aniqlash va ma'lumotlarni chuqur tahlil qilish vositalarini o'z ichiga oladi, bu esa moliyaviy natijalarning pasayishiga olib kelishi mumkin bo'lgan yo'qotishlarni yoki ma'lumotlarning buzilishini o'z vaqtida aniqlash imkonini beradi. Shu fonda, Rossiya kompaniyalari ichki bozorda Big Data texnologiyalariga bo'lgan talabni tasdiqlab, Rossiyada Big Data rivojlanishini rag'batlantiradigan omillar ma'lumotlarning o'sishi, boshqaruv qarorlarini qabul qilishning tezlashishi va ularni takomillashtirish ekanligini ta'kidlaydilar. sifat.

Katta ma'lumotlar bilan ishlashga nima xalaqit beradi

Bugungi kunda to'plangan raqamli ma'lumotlarning atigi 0,5 foizi tahlil qilinmoqda, xolisona Big Data sinfining analitik yechimlari yordamida hal qilinishi mumkin bo'lgan soha miqyosidagi vazifalar mavjud. Rivojlangan IT bozorlarida katta ma'lumotlarni to'plash va qayta ishlash bilan bog'liq taxminlarni baholash uchun foydalanish mumkin bo'lgan natijalar allaqachon mavjud.

Katta ma'lumotlar loyihalarini amalga oshirishni sekinlashtiradigan asosiy omillardan biri yuqori narxdan tashqari qayta ishlanadigan ma'lumotlarni tanlash muammosi: ya'ni qanday ma'lumotlarni ajratib olish, saqlash va tahlil qilish va qaysi biriga e'tibor bermaslik kerakligini aniqlash.

Ko'pgina biznes vakillarining ta'kidlashicha, Big Data loyihalarini amalga oshirishdagi qiyinchiliklar mutaxassislar - marketologlar va tahlilchilarning etishmasligi bilan bog'liq. Katta ma'lumotlarga investitsiyalarning daromadlilik darajasi bevosita chuqur va bashoratli tahlil bilan shug'ullanadigan xodimlarning ish sifatiga bog'liq. Tashkilotda mavjud bo'lgan katta ma'lumotlar potentsiali ko'pincha eskirgan biznes jarayonlari yoki ichki qoidalar tufayli marketologlar tomonidan samarali foydalana olmaydi. Shu sababli, Big Data loyihalari ko'pincha korxonalar tomonidan nafaqat amalga oshirishda, balki natijalarni baholashda ham qiyin deb qabul qilinadi: to'plangan ma'lumotlarning qiymati. Ma'lumotlar bilan ishlashning o'ziga xos xususiyatlari marketologlar va tahlilchilar e'tiborini texnologiya va hisobot berishdan biznesning muayyan muammolarini hal qilishga o'tkazishni talab qiladi.

Ma'lumotlar oqimining katta hajmi va yuqori tezligi tufayli ma'lumotlarni yig'ish jarayoni real vaqt rejimida ETL protseduralarini o'z ichiga oladi. Malumot uchun:ETL -danInglizEkstrakt, O'zgartirish, yuk- tom ma'noda "chiqarish, o'zgartirish, yuklash") - boshqaruvdagi asosiy jarayonlardan biri ma'lumotlar ombori, bu quyidagilarni o'z ichiga oladi: tashqi manbalardan ma'lumotlarni olish, ularni o'zgartirish va ehtiyojlarini qondirish uchun tozalash ETLni nafaqat ma'lumotlarni bir dasturdan ikkinchisiga o'tkazish jarayoni sifatida, balki tahlil qilish uchun ma'lumotlarni tayyorlash vositasi sifatida ham ko'rish kerak.

Va keyin tashqi manbalardan keladigan ma'lumotlar xavfsizligini ta'minlash masalalari to'plangan ma'lumotlar hajmiga mos keladigan echimlarga ega bo'lishi kerak. Katta ma'lumotlarni tahlil qilish usullari hozirgacha faqat ma'lumotlar hajmi o'sishi bilan rivojlanayotganligi sababli, analitik platformalarning ma'lumotlarni tayyorlash va yig'ishning yangi usullaridan foydalanish qobiliyati muhim rol o'ynaydi. Bu shuni ko'rsatadiki, masalan, potentsial xaridorlar haqidagi ma'lumotlar yoki onlayn-do'kon saytlarida bosish tarixi bo'lgan katta ma'lumotlar ombori turli muammolarni hal qilish uchun qiziqarli bo'lishi mumkin.

Qiyinchiliklar to'xtamaydi

Big Datani joriy qilish bilan bog‘liq barcha qiyinchiliklarga qaramay, biznes ushbu sohaga investitsiyalarni ko‘paytirish niyatida. Gartner ma'lumotlariga ko'ra, 2013 yilda dunyodagi eng yirik kompaniyalarning 64 foizi o'z bizneslari uchun Big Data texnologiyalarini joriy etishga sarmoya kiritgan yoki investitsiya qilishni rejalashtirgan bo'lsa, 2012 yilda bunday kompaniyalar 58 foizni tashkil etgan. Gartner tadqiqotiga ko‘ra, Big Dataga sarmoya kirituvchi sohalarning yetakchilari media-kompaniyalar, telekommunikatsiyalar, bank sektori va xizmat ko‘rsatuvchi kompaniyalardir. RFID vositalari, logistika va ko'chirish tizimlari (ingliz tilidan. to'ldirish- to'plash, to'ldirish - R&T), shuningdek, sodiqlik dasturlaridan. Muvaffaqiyatli chakana savdo tajribasi bozorning boshqa tarmoqlarini tahlillarini biznesni rivojlantirish uchun ishlaydigan manbaga aylantirish uchun katta ma'lumotlarni monetizatsiya qilishning yangi samarali usullarini topishga undaydi. Buning sharofati bilan, ekspertlarning fikriga ko'ra, 2020 yilgacha bo'lgan davrda boshqaruv va saqlashga investitsiyalar har bir gigabayt ma'lumot uchun 2 dollardan 0,2 dollargacha kamayadi, biroq Big Dataning texnologik xususiyatlarini o'rganish va tahlil qilish uchun atigi 40 ga oshadi. %.

Katta ma'lumotlar sohasidagi turli investitsiya loyihalarida taqdim etilgan xarajatlar boshqacha xarakterga ega. Xarajat moddalari ma'lum qarorlar asosida tanlangan mahsulot turlariga bog'liq. Mutaxassislarning fikriga ko'ra, investitsiya loyihalarida xarajatlarning katta qismi ma'lumotlarni yig'ish, tizimlashtirish, tozalash va axborotni boshqarish bilan bog'liq mahsulotlarga to'g'ri keladi.

Bu qanday amalga oshirilgan

Turli xil biznes intizomlari uchun samarali Big Data yechimlarini yaratishga imkon beruvchi dasturiy va apparat vositalarining ko'plab kombinatsiyalari mavjud: ijtimoiy media va mobil ilovalardan biznes ma'lumotlarini qazib olish va vizualizatsiya qilishgacha. Big Dataning muhim afzalligi - biznesda keng qo'llaniladigan ma'lumotlar bazalari bilan yangi vositalarning muvofiqligi, bu ko'p kanalli savdo va mijozlarni qo'llab-quvvatlash kabi tarmoqlararo loyihalar bilan ishlashda ayniqsa muhimdir.

Katta ma'lumotlar bilan ishlash ketma-ketligi ma'lumotlarni to'plash, hisobotlar va asboblar paneli (boshqaruv paneli) yordamida olingan ma'lumotlarni tizimlashtirish, tushunchalar va kontekstlarni yaratish va harakatlar bo'yicha tavsiyalarni shakllantirishdan iborat. Katta ma'lumotlar bilan ishlash ma'lumotlarni to'plash uchun yuqori xarajatlarni nazarda tutganligi sababli, qayta ishlash natijasi oldindan ma'lum emas, asosiy vazifa ma'lumotlarning qanchalik mavjudligini emas, balki nima uchun ekanligini aniq tushunishdir. Bunday holda, ma'lumotlarni yig'ish muayyan muammolarni hal qilish uchun juda zarur bo'lgan ma'lumotlarni olish jarayoniga aylanadi.

Masalan, telekommunikatsiya provayderlari doimiy ravishda yangilanib turadigan geolokatsiyani o'z ichiga olgan katta hajmdagi ma'lumotlarni jamlaydi. Ushbu ma'lumotlar reklama agentliklari uchun tijorat manfaatdor bo'lishi mumkin, ular undan maqsadli va mahalliylashtirilgan reklama uchun foydalanishi mumkin, shuningdek, chakana sotuvchilar va banklar uchun. Bunday ma'lumotlar odamlarning kuchli maqsadli oqimi mavjudligi haqidagi ma'lumotlarga asoslanib, ma'lum bir joyda chakana savdo nuqtasini ochish yoki ochish to'g'risida qaror qabul qilishda muhim rol o'ynashi mumkin. Londondagi tashqi bilbordlarda reklama samaradorligini o'lchash misoli mavjud. Endilikda bunday reklamaning qamrovini faqat o‘tkinchilarni hisoblaydigan maxsus qurilma bilan reklama tuzilmalari yaqiniga joylashtirish orqali o‘lchash mumkin. Reklama samaradorligini o'lchashning ushbu turi bilan solishtirganda, uyali aloqa operatori ko'proq imkoniyatlarga ega - u o'z abonentlarining joylashuvini aniq biladi, ularning demografik xususiyatlarini, jinsini, yoshi, oilaviy ahvolini va boshqalarni biladi.

Bunday ma'lumotlarga asoslanib, kelajakda e'lonlar taxtasi yonidan o'tayotgan ma'lum bir shaxsning afzalliklaridan foydalanib, reklama xabarining mazmunini o'zgartirish istiqbollari ochiladi. Agar ma'lumotlar yonidan o'tayotgan odamning ko'p sayohat qilishini ko'rsatsa, u holda ularga kurort uchun reklama ko'rsatilishi mumkin. Futbol o‘yini tashkilotchilari faqat o‘yinga kelganda muxlislar sonini taxmin qilishlari mumkin. Ammo ular uyali aloqa operatoridan o'yindan bir soat, bir kun yoki bir oy oldin tashrif buyuruvchilar qayerda ekanligi haqida ma'lumot so'rash imkoniga ega bo'lishsa, bu tashkilotchilarga keyingi o'yinlarni reklama qilish uchun joylarni rejalashtirish imkoniyatini beradi.

Yana bir misol, banklar firibgarlikning oldini olish uchun Big Datadan qanday foydalanishi mumkin. Agar mijoz karta yo‘qolganligi haqida xabar bersa va undan foydalangan holda xaridni amalga oshirayotganda bank real vaqt rejimida tranzaksiya amalga oshirilayotgan xarid hududida mijozning telefonining joylashgan joyini ko‘rsa, bank mijozning arizasidagi ma’lumotlarni tekshirishi mumkin. , uni aldamoqchi bo'lganmi. Yoki aksincha vaziyat, mijoz do'konda xarid qilganida, bank tranzaksiya amalga oshirilayotgan karta va mijozning telefoni bir joyda ekanligini ko'rsa, bank o'z egasi kartadan foydalanmoqda degan xulosaga kelishi mumkin. Katta ma'lumotlarning ushbu afzalliklari tufayli an'anaviy ma'lumotlar omborlari bilan ta'minlangan chegaralar kengayib bormoqda.

Katta ma'lumotlar echimlarini amalga oshirish bo'yicha muvaffaqiyatli qaror qabul qilish uchun kompaniya investitsiya ishini hisoblashi kerak va bu ko'plab noma'lum komponentlar tufayli katta qiyinchiliklarga olib keladi. Bunday hollarda analitikaning paradoksi o'tmish asosida kelajakni bashorat qilishdir, ular haqida ma'lumot ko'pincha etishmaydi. Bunday holda, muhim omil sizning dastlabki harakatlaringizni aniq rejalashtirishdir:

• Birinchidan, bitta aniq biznes muammosini aniqlash kerak, buning uchun Big Data texnologiyalari qo'llaniladi, bu vazifa tanlangan kontseptsiyaning to'g'riligini aniqlashning asosiga aylanadi. Siz ushbu aniq vazifa bilan bog'liq ma'lumotlarni to'plashga e'tibor qaratishingiz kerak va kontseptsiyani isbotlash paytida siz kelajakda yanada oqilona qarorlar qabul qilish imkonini beradigan turli xil vositalar, jarayonlar va boshqaruv usullaridan foydalanishingiz mumkin.
• Ikkinchidan, ma'lumotlar tahlili bo'yicha ko'nikma va tajribaga ega bo'lmagan kompaniya Big Data loyihasini muvaffaqiyatli amalga oshira olishi dargumon. Kerakli bilimlar har doim ma'lumotlar bilan ishlash sifatiga ta'sir qiluvchi asosiy omil bo'lgan tahliliy tajribadan kelib chiqadi. Ma'lumotlardan foydalanish madaniyati muhim rol o'ynaydi, chunki ko'pincha ma'lumotni tahlil qilish biznes haqidagi qattiq haqiqatni ochib beradi va bu haqiqatni qabul qilish va u bilan ishlash uchun ma'lumotlar bilan ishlashning ishlab chiqilgan usullari kerak bo'ladi.
• Uchinchidan, Big Data texnologiyalarining ahamiyati tushunchalarni taqdim etishdadir.Yaxshi tahlilchilar bozorda yetishmayapti. Ular ma'lumotlarning tijorat ma'nosini chuqur tushunadigan va ularni qanday qilib to'g'ri qo'llashni biladigan mutaxassislar deb ataladi. Ma'lumotlarni tahlil qilish biznes maqsadlariga erishish vositasidir va Big Data qiymatini tushunish uchun sizga tegishli xatti-harakatlar modeli va harakatlaringizni tushunish kerak. Bunday holda, katta ma'lumotlar iste'molchilar haqida juda ko'p foydali ma'lumotlarni taqdim etadi, ular asosida foydali biznes qarorlarini qabul qilishingiz mumkin.

Rossiyaning Big Data bozori endigina shakllana boshlaganiga qaramay, ushbu sohadagi ba'zi loyihalar allaqachon muvaffaqiyatli amalga oshirilmoqda. Ulardan ba'zilari Federal Soliq xizmati va Tinkoff Credit Systems loyihalari kabi ma'lumotlarni yig'ish sohasida muvaffaqiyatli, boshqalari ma'lumotlarni tahlil qilish va uning natijalarini amaliy qo'llash bo'yicha: bu Synqera loyihasi.

Tinkoff Credit Systems Bank massiv parallel hisoblash uchun vosita bo'lgan EMC2 Greenplum platformasini amalga oshirish loyihasini amalga oshirdi. So'nggi yillarda bank to'plangan ma'lumotlarni qayta ishlash tezligi va ma'lumotlarni real vaqt rejimida tahlil qilish talablarini oshirdi, bu kredit kartalaridan foydalanuvchilar sonining yuqori o'sish sur'ati bilan bog'liq. Bank Big Data texnologiyalaridan foydalanishni kengaytirish, xususan, tuzilmagan ma'lumotlarni qayta ishlash va turli manbalardan olingan korporativ ma'lumotlar bilan ishlashni kengaytirish rejalarini e'lon qildi.

Rossiya Federal Soliq xizmati hozirda federal ma'lumotlar omborining tahliliy qatlamini yaratmoqda. Uning asosida statistik va tahliliy ishlov berish uchun soliq ma’lumotlariga kirishning yagona axborot maydoni va texnologiyasi yaratilmoqda. Loyihani amalga oshirish jarayonida Federal Soliq xizmatining mahalliy darajadagi 1200 dan ortiq manbalari bilan tahliliy ma'lumotlarni markazlashtirish bo'yicha ishlar olib borilmoqda.

Haqiqiy vaqtda katta ma'lumotlarni tahlil qilishning yana bir qiziqarli misoli Simplate platformasini ishlab chiqqan rus startapi Synqeradir. Yechim katta ma'lumotlar massivlarini qayta ishlashga asoslangan bo'lib, dastur mijozlar, ularning xarid qilish tarixi, yoshi, jinsi va hatto kayfiyati haqidagi ma'lumotlarni tahlil qiladi. Kosmetika do'konlari tarmog'idagi kassalarda xaridorlarning his-tuyg'ularini tan oladigan sensorli sensorli ekranlar o'rnatildi. Dastur odamning kayfiyatini aniqlaydi, u haqidagi ma'lumotlarni tahlil qiladi, kun vaqtini aniqlaydi va do'konning chegirmalar bazasini skanerlaydi, shundan so'ng u xaridorga aktsiyalar va maxsus takliflar haqida maqsadli xabarlarni yuboradi. Ushbu yechim mijozlarning sodiqligini yaxshilaydi va chakana savdoni oshiradi.

Agar xorijiy muvaffaqiyatli holatlar haqida gapiradigan bo‘lsak, bu borada Dunkin` Donuts’da mahsulotlarni sotish uchun real vaqt ma’lumotlaridan foydalanadigan Big Data texnologiyalaridan foydalanish tajribasi qiziq. Do'konlardagi raqamli displeylar kunning vaqti va mahsulot mavjudligiga qarab har daqiqada o'zgarib turadigan takliflarni ko'rsatadi. Naqd pul tushumlariga ko'ra, kompaniya qaysi takliflar xaridorlardan eng ko'p javob olganligi haqida ma'lumot oladi. Ma'lumotlarni qayta ishlashning bunday yondashuvi ombordagi foyda va tovar aylanmasini oshirish imkonini berdi.

Big Data loyihalarini amalga oshirish tajribasi shuni ko'rsatadiki, bu soha zamonaviy biznes muammolarini muvaffaqiyatli hal qilish uchun mo'ljallangan. Shu bilan birga, katta ma'lumotlar bilan ishlashda tijorat maqsadlariga erishishning muhim omili iste'molchilar ehtiyojlarini aniqlaydigan tahlillarni, shuningdek, Big Data sohasida innovatsion texnologiyalardan foydalanishni o'z ichiga olgan to'g'ri strategiyani tanlashdir.

Econsultancy va Adobe tomonidan 2012 yildan beri har yili kompaniyalarning marketologlari o'rtasida o'tkaziladigan global so'rovga ko'ra, Internetdagi odamlarning harakatlarini tavsiflovchi "katta ma'lumotlar" ko'p narsani qila oladi. Ular oflayn biznes jarayonlarini optimallashtirishga qodir, mobil qurilmalar egalari ma'lumot qidirish uchun ulardan qanday foydalanishini tushunishga yordam beradi yoki oddiygina "marketingni yaxshilaydi", ya'ni. samaraliroq. Bundan tashqari, bizning diagrammamizdan ko'rinib turibdiki, oxirgi funktsiya yildan-yilga mashhur bo'lib bormoqda.

Mijozlar bilan aloqalar bo'yicha Internet-marketologlar ishining asosiy yo'nalishlari

Manba: Econsultancy va Adobe, nashr etilganemarketer.com

E'tibor bering, respondentlarning millati unchalik muhim emas. 2013 yilda KPMG tomonidan o'tkazilgan so'rovga ko'ra, "optimistlar" ulushi, ya'ni. Biznes strategiyasini ishlab chiqishda Big Datadan foydalanadiganlarning 56% ni tashkil qiladi va mintaqadan mintaqaga o'zgaruvchanlik kichik: Shimoliy Amerika mamlakatlarida 63% dan EMEAda 50% gacha.

Dunyoning turli mintaqalarida Big Datadan foydalanish

Manba: KPMG, nashr etilganemarketer.com

Ayni paytda, sotuvchilarning bunday "moda tendentsiyalari" ga munosabati ma'lum bir latifani eslatadi:

Ayting-chi, Vano, sizga pomidor yoqadimi?
- Men ovqatlanishni yaxshi ko'raman, lekin yoqtirmayman.

Marketologlar Big Datani "sevishlarini" aytishlariga va hatto undan foydalanishga o'xshasalar ham, aslida "hamma narsa murakkab", chunki ular ijtimoiy tarmoqlarda o'zlarining samimiy qo'shilishlari haqida yozadilar.

2014 yil yanvar oyida Circle Research tomonidan evropalik marketologlar o'rtasida o'tkazilgan so'rovga ko'ra, 5 respondentdan 4 tasi Big Datadan foydalanmaydi (ular, albatta, uni "sevishlariga" qaramay). Sabablari boshqacha. Bir nechta inveterate skeptiklar bor - 17% va ularning antipodlari bilan bir xil raqam, ya'ni. Ishonch bilan "Ha" deb javob beradiganlar. Qolganlari ikkilanib, shubhalanishadi, "botqoqlik". Ular "hali emas, lekin tez orada" yoki "boshqalar boshlanishini kutamiz" kabi asosli bahonalar bilan to'g'ridan-to'g'ri javob berishdan qochishadi.

Marketologlar tomonidan katta ma'lumotlardan foydalanish, Evropa, 2014 yil yanvar

Manba:dnx, nashr etilgan -emarketer.com

Ularni nima chalkashtirib yuboradi? Aniq bema'nilik. Ba'zilar (aniq yarmi) bu ma'lumotlarga ishonmaydilar. Boshqalar (ularning juda ko'plari ham bor - 55%) "ma'lumotlar" va "foydalanuvchilar" to'plamini o'zaro bog'lash qiyin. Kimdir shunchaki (siyosiy jihatdan to'g'ri aytaylik) ichki korporativ tartibsizlikka ega: ma'lumotlar marketing bo'limlari va IT tuzilmalari o'rtasida egasisiz yuribdi. Boshqalar uchun dasturiy ta'minot ish oqimi bilan bardosh bera olmaydi. Va hokazo. Umumiy ulushlar 100% dan ancha yuqori bo'lganligi sababli, "ko'p to'siqlar" holati kamdan-kam emasligi aniq.

Marketingda katta ma'lumotlardan foydalanishga to'sqinlik qiluvchi to'siqlar

Manba:dnx, nashr etilgan -emarketer.com

Shunday qilib, shuni ta'kidlashimiz kerakki, hozirgacha "Katta ma'lumotlar" hali foydalanish kerak bo'lgan katta salohiyatdir. Aytgancha, Big Data o'zining "moda trendi" halosini yo'qotayotganining sababi shu bo'lishi mumkin, buni biz yuqorida aytib o'tgan Econsultancy kompaniyasi tomonidan o'tkazilgan so'rov ma'lumotlari tasdiqlaydi.

2013-2014 yillardagi raqamli marketingning eng muhim tendentsiyalari

Manba: Konsalting va Adobe

Ularning o'rnini boshqa qirol - kontent marketingi egallaydi. Qancha muddatga; qancha vaqt?

Katta ma'lumotlar qandaydir tubdan yangi hodisa deb aytish mumkin emas. Katta ma'lumotlar manbalari yillar davomida mavjud: mijozlar xaridlari, kredit tarixi, turmush tarzi ma'lumotlar bazalari. Va yillar davomida olimlar ushbu ma'lumotlardan kompaniyalarga xavfni baholash va kelajakdagi mijozlar ehtiyojlarini bashorat qilishda yordam berish uchun foydalanganlar. Biroq, bugungi kunda vaziyat ikki jihatdan o'zgardi:

Turli ma'lumotlar to'plamlarini tahlil qilish va birlashtirish uchun yanada murakkab vositalar va usullar paydo bo'ldi;

Ushbu tahliliy vositalar deyarli barcha ma'lumotlarni yig'ish va o'lchash usullarini raqamlashtirish orqali yangi ma'lumotlar manbalarining ko'chkisi bilan to'ldiriladi.

Mavjud ma'lumotlar doirasi tuzilgan tadqiqot muhitida o'sgan tadqiqotchilar uchun ham ilhomlantiruvchi, ham qo'rqituvchidir. Iste'molchining hissiyotlari veb-saytlar va barcha turdagi ijtimoiy tarmoqlar tomonidan ushlanadi. Reklamalarni ko'rish fakti nafaqat pristavkalar, balki raqamli teglar va televizor bilan aloqa qiladigan mobil qurilmalar yordamida ham qayd etiladi.

Xulq-atvor ma'lumotlari (masalan, qo'ng'iroqlar soni, xarid qilish odatlari va xaridlar) endi real vaqtda mavjud. Shunday qilib, ilgari tadqiqot orqali o'rganilishi mumkin bo'lgan ko'p narsalarni endi katta ma'lumotlar manbalari orqali o'rganish mumkin. Va bu barcha axborot aktivlari har qanday tadqiqot jarayonlaridan qat'i nazar, doimiy ravishda yaratiladi. Ushbu o'zgarishlar bizni katta ma'lumotlar klassik bozor tadqiqotlari o'rnini bosa oladimi, degan savol tug'diradi.

Gap ma’lumotlarda emas, savol-javoblarda

Klassik tadqiqotlar uchun o'limga buyurtma berishdan oldin, biz o'zimizga eslatib o'tishimiz kerakki, u yoki bu ma'lumotlar aktivining mavjudligi emas, balki hal qiluvchi narsa boshqa narsadir. Aynan nima? Savollarga javob berish qobiliyatimiz shu. Katta ma'lumotlarning yangi dunyosining kulgili tomoni shundaki, yangi ma'lumotlar aktivlari natijalari yanada ko'proq savollarga olib keladi va bu savollarga an'anaviy tadqiqotlar orqali eng yaxshi javob beriladi. Shunday qilib, katta ma'lumotlarning o'sishi bilan biz katta ma'lumotlar olamidagi savollarga javob bera oladigan "kichik ma'lumotlar" ga bo'lgan talab va mavjudligi parallel ravishda o'sib borayotganini ko'ramiz.

Vaziyatni ko'rib chiqaylik: yirik reklama beruvchi doimiy ravishda real vaqt rejimida do'konlardagi trafikni va savdo hajmini kuzatib boradi. Mavjud tadqiqot metodologiyalari (biz tadqiqot panellari ishtirokchilaridan sotib olish motivlari va savdo nuqtasidagi xatti-harakatlari haqida so'raymiz) bizga aniq mijozlar segmentlarini yaxshiroq yo'naltirishga yordam beradi. Ushbu metodologiyalar katta ma'lumotlar aktivlarining kengroq doirasini qamrab oladigan darajada kengaytirilishi mumkin, bunda katta ma'lumotlar passiv kuzatish vositasiga aylanadi va o'rganish kerak bo'lgan o'zgarishlar yoki hodisalarni doimiy, tor yo'naltirilgan tekshirish usulini tadqiq qiladi. Shunday qilib, katta ma'lumotlar tadqiqotni keraksiz tartiblardan ozod qilishi mumkin. Birlamchi tadqiqotlar endi nima bo'layotganiga e'tibor qaratmasligi kerak (katta ma'lumotlar bo'ladi). Buning o'rniga, asosiy tadqiqotlar nima uchun biz ma'lum tendentsiyalarni yoki tendentsiyalardan chetga chiqishni ko'rishimizni tushuntirishga qaratilishi mumkin. Tadqiqotchi ma'lumot olish haqida kamroq o'ylay oladi va uni qanday tahlil qilish va ishlatish haqida ko'proq o'ylaydi.

Shu bilan birga, biz katta ma'lumotlar bizning eng katta muammolarimizdan biri, haddan tashqari uzoq tadqiqotlar muammosini hal qilayotganini ko'ramiz. Tadqiqotlarning o'zini o'rganish shuni ko'rsatdiki, haddan tashqari shishgan tadqiqot vositalari ma'lumotlar sifatiga salbiy ta'sir qiladi. Garchi ko'plab ekspertlar bu muammoni uzoq vaqt tan olishgan bo'lsa-da, ular har doim shunday ibora bilan javob berishdi: "Ammo menga bu ma'lumot yuqori boshqaruv uchun kerak" va uzoq suhbatlar davom etdi.

Miqdoriy ko'rsatkichlarni passiv kuzatish orqali olish mumkin bo'lgan katta ma'lumotlar dunyosida bu masala muhokama qilinmoqda. Yana, keling, iste'mol bo'yicha barcha tadqiqotlarni o'ylab ko'raylik. Agar katta ma'lumotlar bizga passiv kuzatish orqali iste'mol haqida tushuncha beradigan bo'lsa, unda so'rovlar ko'rinishidagi birlamchi tadqiqotlar endi bunday ma'lumotlarni yig'ishga hojat qolmaydi va biz nihoyat qisqa so'rovlar haqidagi tasavvurimizni nafaqat yaxshi tilaklar bilan, balki haqiqiy narsa.

Big Data sizning yordamingizga muhtoj

Va nihoyat, "katta" - bu katta ma'lumotlarning xususiyatlaridan biri. "Katta" xarakteristikasi ma'lumotlarning o'lchami va miqyosiga ishora qiladi. Albatta, bu asosiy xususiyatdir, chunki bu ma'lumotlarning hajmi biz ilgari ishlagan barcha narsalar doirasidan tashqarida. Ammo bu yangi ma'lumotlar oqimlarining boshqa xususiyatlari ham muhim: ular ko'pincha yomon formatlangan, tuzilmagan (yoki eng yaxshi holatda qisman tuzilgan) va noaniqlik bilan to'la. Ma'lumotlarni boshqarishning rivojlanayotgan sohasi "ob'ektlar tahlili" deb nomlanadi, bu katta ma'lumotlardagi shovqinni engish muammosini hal qilishga qaratilgan. Uning vazifasi ushbu ma'lumotlar to'plamini tahlil qilish va bir odam uchun qancha kuzatuv mavjudligini, qaysi kuzatishlar joriy va ulardan qaysi biri foydalanishga yaroqliligini aniqlashdir.

Ushbu turdagi ma'lumotlarni tozalash katta yoki kichik ma'lumotlar aktivlari bilan ishlashda shovqin yoki noto'g'ri ma'lumotlarni olib tashlash uchun zarur, ammo bu etarli emas. Biz, shuningdek, oldingi tajribamiz, tahliliy va toifadagi bilimlarimiz asosida katta maʼlumotlar aktivlari atrofida kontekst yaratishimiz kerak. Aslida, ko'plab tahlilchilar katta ma'lumotlarga xos bo'lgan noaniqlikni boshqarish qobiliyatini raqobatdosh ustunlik manbai sifatida ta'kidlaydilar, chunki bu yaxshiroq qaror qabul qilish imkonini beradi.

Va bu erda birlamchi tadqiqotlar nafaqat katta ma'lumotlar tufayli muntazamlikdan ozod bo'libgina qolmay, balki katta ma'lumotlar doirasida kontent yaratish va tahlil qilishga ham hissa qo'shadi.

Buning yorqin misoli bizning yangi brend kapital tizimini ijtimoiy tarmoqlarga qo'llashdir. (biz ishlab chiqilgani haqida gapiramizMillvord jigarrangbrend qiymatini o'lchashga yangi yondashuvThe Ma'noda Turli Ramka- "Muhim farqlar paradigmasi" -R & T ). Ushbu model muayyan bozorlarda xulq-atvor sinovidan o'tgan, standart asosda amalga oshiriladi va boshqa marketing fanlari va qarorlarni qo'llab-quvvatlash axborot tizimlariga osongina qo'llanilishi mumkin. Boshqacha qilib aytadigan bo'lsak, bizning brend kapitali modelimiz (alohida bo'lmasa ham) so'rov tadqiqotiga asoslangan holda, katta ma'lumotlarning tuzilmagan, izchil va noaniq tabiatini engish uchun zarur bo'lgan barcha xususiyatlarga ega.

Ijtimoiy tarmoqlar tomonidan taqdim etilgan iste'molchilarning kayfiyati ma'lumotlarini ko'rib chiqing. O'zining xom ko'rinishida iste'molchi kayfiyatidagi cho'qqilar va vodiylar ko'pincha brend kapitali va xatti-harakatlarining oflayn o'lchovlari bilan minimal darajada bog'liqdir: ma'lumotlarda shunchaki juda ko'p shovqin bor. Ammo biz iste'molchi ma'nosi, brendni farqlash, dinamika va identifikatsiya modellarimizni iste'molchi hissiyotlari haqidagi ma'lumotlarga qo'llash orqali bu shovqinni kamaytirishimiz mumkin, bu esa ushbu o'lchovlar bo'yicha ijtimoiy media ma'lumotlarini qayta ishlash va yig'ish usuli hisoblanadi.

Ma'lumotlar bizning ramka modelimiz bo'yicha tashkil etilgandan so'ng, aniqlangan tendentsiyalar odatda oflayn rejimda olingan brend kapitali va xatti-harakatlar o'lchovlariga mos keladi. Aslida, ijtimoiy media ma'lumotlari o'zi uchun gapira olmaydi. Bu maqsadda ulardan foydalanish bizning tajribamiz va brendlar atrofida qurilgan modellarni talab qiladi. Ijtimoiy tarmoqlar bizga iste'molchilar brendlarni tavsiflashda foydalanadigan tilda ifodalangan noyob ma'lumotni taqdim etganda, biz birlamchi tadqiqotlarni yanada samaraliroq qilish uchun tadqiqotimizni yaratishda ushbu tildan foydalanishimiz kerak.

Imtiyozli o'qishning afzalliklari

Bu bizni katta ma'lumotlar tadqiqot o'rnini bosmaydi, balki uni bo'shatadi, degan haqiqatga qaytaradi. Tadqiqotchilar har bir yangi holat uchun yangi tadqiqot yaratish zaruratidan xalos bo'lishadi. Katta ma'lumotlarning doimiy o'sib borayotgan aktivlari turli tadqiqot mavzulari uchun ishlatilishi mumkin, bu keyingi birlamchi tadqiqotlarga mavzuni chuqurroq o'rganish va bo'shliqlarni to'ldirish imkonini beradi. Tadqiqotchilar haddan tashqari oshirib yuborilgan so'rovlarga ishonishdan ozod bo'lishadi. Buning o'rniga ular qisqa so'rovlardan foydalanishlari va eng muhim parametrlarga e'tibor berishlari mumkin, bu esa ma'lumotlar sifatini yaxshilaydi.

Ushbu nashr bilan tadqiqotchilar o'zlarining o'rnatilgan tamoyillari va tushunchalaridan katta ma'lumotlar aktivlariga aniqlik va ma'no qo'shish uchun foydalanishlari mumkin, bu esa so'rov tadqiqotlari uchun yangi yo'nalishlarga olib keladi. Ushbu tsikl bir qator strategik masalalarni chuqurroq tushunishga va pirovardida har doim asosiy maqsadimiz bo'lishi kerak bo'lgan narsa - brend va kommunikatsiyalar bo'yicha qarorlar sifatini xabardor qilish va yaxshilash sari qadam tashlashga olib kelishi kerak.

"Katta ma'lumotlar" atamasi bugungi kunda taniqli bo'lishi mumkin, ammo u aslida nimani anglatishi haqida hali ham bir oz chalkashliklar mavjud. Darhaqiqat, kontseptsiya doimiy ravishda rivojlanib boradi va qayta ko'rib chiqiladi, chunki u ko'plab davom etayotgan raqamli transformatsiya to'lqinlari, jumladan sun'iy intellekt, ma'lumotlar fanlari va narsalar interneti ortidagi harakatlantiruvchi kuch bo'lib qolmoqda. Ammo Big-Data texnologiyasi nima va u bizning dunyomizni qanday o'zgartirmoqda? Keling, Big Data texnologiyasining mohiyatini va oddiy so'zlar bilan nimani anglatishini tushunishga harakat qilaylik.

Katta ma'lumotlarning ajoyib o'sishi

Bularning barchasi raqamli asrning boshidan beri biz yaratgan ma'lumotlar miqdoridagi "portlash" bilan boshlandi. Bu ko'p jihatdan kompyuterlar, Internet va atrofimizdagi dunyodan ma'lumotlarni "tortib olish" mumkin bo'lgan texnologiyalarning rivojlanishi bilan bog'liq. Ma'lumotlarning o'zi yangi ixtiro emas. Kompyuterlar va ma'lumotlar bazalari davridan oldin ham biz qog'oz tranzaksiya yozuvlari, mijoz yozuvlari va ma'lumotlar bo'lgan arxiv fayllaridan foydalanganmiz. Kompyuterlar, ayniqsa elektron jadvallar va ma'lumotlar bazalari bizga ma'lumotlarni keng miqyosda saqlash va tartibga solishni osonlashtirdi. To'satdan sichqonchani bosish orqali ma'lumotlar paydo bo'ladi.

Biroq, biz asl jadvallar va ma'lumotlar bazalaridan uzoq yo'lni bosib o'tdik. Bugungi kunda har ikki kunda biz boshidan 2000 yilgacha olganimizdek ko'p ma'lumot yaratamiz. To'g'ri, har ikki kunda. Va biz yaratadigan ma'lumotlar miqdori osmonga ko'tarilishda davom etmoqda; 2020 yilga kelib, mavjud raqamli axborot miqdori taxminan 5 zettabaytdan 20 zettabaytgacha oshadi.

Hozirgi kunda deyarli har bir harakatimiz o'z izini qoldiradi. Biz har safar Internetga kirganimizda, qidiruv tizimi bilan jihozlangan smartfonlarimizni olib yurganimizda, tanishlarimiz bilan ijtimoiy tarmoqlar yoki chatlar orqali gaplashganimizda va hokazo maʼlumotlarni hosil qilamiz. Bundan tashqari, mashina tomonidan yaratilgan ma'lumotlarning miqdori ham tez o'sib bormoqda. Ma'lumotlar bizning aqlli uy qurilmalarimiz bir-biri bilan yoki ularning uy serverlari bilan aloqa qilganda yaratiladi va almashiladi. Zavod va fabrikalardagi sanoat uskunalari tobora ko'proq ma'lumotlarni to'playdigan va uzatuvchi sensorlar bilan jihozlangan.

"Katta ma'lumotlar" atamasi ushbu ma'lumotlarning barchasini to'plash va ulardan keng ko'lamli sohalarda, shu jumladan biznesda o'z foydamiz uchun foydalanish qobiliyatini anglatadi.

Big Data texnologiyasi qanday ishlaydi?

Katta ma'lumotlar printsipi asosida ishlaydi: ma'lum bir mavzu yoki hodisa haqida qanchalik ko'p bilsangiz, yangi tushunchaga shunchalik ishonchli tarzda erisha olasiz va kelajakda nima bo'lishini bashorat qila olasiz. Ko'proq ma'lumot nuqtalarini taqqoslash orqali ilgari yashirin bo'lgan munosabatlar paydo bo'ladi va bu munosabatlar bizga o'rganish va yaxshiroq qarorlar qabul qilish imkonini beradi. Bu ko'pincha biz to'plashimiz mumkin bo'lgan ma'lumotlardan modellarni yaratish va keyin har safar ma'lumotlar nuqtalarining qiymatlarini o'zgartiradigan va ularning natijalarimizga qanday ta'sir qilishini ko'radigan simulyatsiyani ishga tushirishni o'z ichiga olgan jarayon orqali amalga oshiriladi. Bu jarayon avtomatlashtirilgan – zamonaviy analitik texnologiyalar millionlab ushbu simulyatsiyalarni amalga oshiradi va ular ustida ishlayotgan muammoni hal qilishga yordam beradigan model yoki g‘oyani topmaguncha barcha mumkin bo‘lgan o‘zgaruvchilarni o‘zgartiradi.

Bill Geyts bitta kompakt diskning qog'oz tarkibini osib qo'yadi

Yaqin vaqtgacha ma'lumotlar elektron jadvallar yoki ma'lumotlar bazalari bilan cheklangan edi - va hamma narsa juda tartibli va tartibli edi. Qator va ustunlarga osonlikcha tartibga solinib bo'lmaydigan har qanday narsa ishlash uchun juda murakkab hisoblangan va e'tiborga olinmagan. Biroq, saqlash va tahlil qilish sohasidagi taraqqiyot biz har xil turdagi katta hajmdagi ma'lumotlarni olishimiz, saqlashimiz va qayta ishlashimiz mumkinligini anglatadi. Natijada, bugungi kunda "ma'lumotlar" ma'lumotlar bazasidan tortib fotosuratlar, videolar, ovozli yozuvlar, yozma matnlar va sensor ma'lumotlarigacha bo'lgan hamma narsani anglatishi mumkin.

Ushbu chalkash ma'lumotlarni tushunish uchun Big Dataga asoslangan loyihalar ko'pincha sun'iy intellekt va mashinani o'rganishdan foydalangan holda ilg'or tahlillardan foydalanadi. Kompyuterlarni aniq ma'lumotlar nima ekanligini aniqlashga o'rgatish orqali, masalan, naqshni aniqlash yoki tabiiy tilni qayta ishlash orqali biz ularga naqshlarni bizdan ko'ra tezroq va ishonchliroq aniqlashga o'rgatishimiz mumkin.

Big Data qanday ishlatiladi?

Sensor ma'lumotlari, matn, ovoz, foto va video ma'lumotlari haqidagi doimiy ravishda o'sib borayotgan ma'lumotlar oqimi biz ma'lumotlardan bir necha yil oldin tasavvur qilib bo'lmaydigan usullarda foydalanishimiz mumkinligini anglatadi. Bu deyarli har bir sohada ish dunyosiga inqilobiy o'zgarishlar olib keladi. Bugungi kunda kompaniyalar mijozlarning qaysi toifalari va qachon sotib olishni xohlashlarini ajoyib aniqlik bilan bashorat qilishlari mumkin. Big Data, shuningdek, kompaniyalarga o'z faoliyatini ancha samarali bajarishga yordam beradi.

Hatto biznesdan tashqarida ham Big Data loyihalari allaqachon dunyomizni turli yo'llar bilan o'zgartirishga yordam bermoqda:

• Sog'liqni saqlashni yaxshilash - Ma'lumotlarga asoslangan tibbiyot kasalliklarni erta bosqichda aniqlashga va yangi dorilarni ishlab chiqishga yordam beradigan modellar uchun katta hajmdagi tibbiy ma'lumotlar va tasvirlarni tahlil qilishga qodir.
• Tabiiy va texnogen ofatlarni bashorat qilish va ularga javob berish. Sensor ma'lumotlarini zilzilalar qayerda sodir bo'lishi mumkinligini taxmin qilish uchun tahlil qilish mumkin va odamlarning xatti-harakatlari tashkilotlarga omon qolganlarga yordam berishga yordam beradigan maslahatlar beradi. Katta ma'lumotlar texnologiyasi butun dunyo bo'ylab urush zonalaridan qochqinlar oqimini kuzatish va himoya qilish uchun ham qo'llaniladi.
• Jinoyatchilikning oldini olish. Politsiya kuchlari resurslardan yaxshiroq foydalanish va kerak bo'lganda qarshi choralar ko'rish uchun o'zlarining razvedka ma'lumotlari va jamoat mulki ma'lumotlarini o'z ichiga olgan ma'lumotlarga asoslangan strategiyalardan tobora ko'proq foydalanmoqda.

Big-Data texnologiyasi haqida eng yaxshi kitoblar

• Hamma yolg'on gapiradi. Qidiruv mexanizmlari, Big Data va Internet siz haqingizda hamma narsani biladi.
• BIG DATA. Barcha texnologiyalar bir kitobda.
• baxt sanoati. Qanday qilib Big Data va yangi texnologiyalar tovarlar va xizmatlarga hissiyot qo'shishga yordam beradi.
• Analitikada inqilob. Katta ma'lumotlar davrida operatsion tahlillar yordamida biznesingizni qanday yaxshilash mumkin.

Katta ma'lumotlar bilan bog'liq muammolar

Katta ma'lumotlar bizga misli ko'rilmagan tushunchalar va imkoniyatlar beradi, lekin u hal qilinishi kerak bo'lgan muammolar va savollarni ham keltirib chiqaradi:

• Ma'lumotlarning maxfiyligi - Biz bugun ishlab chiqaradigan katta ma'lumotlar shaxsiy hayotimiz haqida ko'plab ma'lumotlarni o'z ichiga oladi, biz maxfiy saqlashga to'la haqlimiz. Ko'pincha bizdan oshkor qiladigan shaxsiy ma'lumotlar miqdori va Big Datadan foydalanishga asoslangan ilovalar va xizmatlar taklif qiladigan qulaylik o'rtasidagi muvozanatni saqlashimiz so'raladi.
• Ma'lumotni himoya qilish - Agar biz ma'lum bir maqsadda ma'lumotlarimizga ega bo'lishimiz yaxshi deb o'ylasak ham, ularga ma'lumotlarimizni xavfsiz va xavfsiz saqlashiga ishonishimiz mumkinmi?
• Ma'lumotlarni diskriminatsiya qilish - barcha ma'lumotlar ma'lum bo'lganda, odamlarni shaxsiy hayotidan olingan ma'lumotlarga asoslanib kamsitish qabul qilinadimi? Biz kimdan qarz olishi mumkinligini aniqlash uchun kredit ballaridan foydalanamiz va sug'urta ham ma'lumotlarga asoslangan. Biz batafsilroq tahlil qilish va baholashni kutishimiz kerak, ammo bu resurslari kamroq va ma'lumotlarga kirish imkoniyati cheklangan odamlarning hayotini murakkablashtirmasligiga e'tibor berish kerak.

Ushbu vazifalarni bajarish Big Dataning muhim qismidir va ular bunday ma'lumotlardan foydalanmoqchi bo'lgan tashkilotlar tomonidan hal qilinishi kerak. Aks holda, biznes nafaqat obro'si, balki yuridik va moliyaviy jihatdan ham zaif bo'lib qolishi mumkin.

Kelajakka qarash

Ma'lumotlar bizning dunyomiz va hayotimizni misli ko'rilmagan tezlikda o'zgartirmoqda. Agar Big Data bugun bularning barchasiga qodir bo'lsa, ertaga nimaga qodir bo'lishini tasavvur qiling. Bizga mavjud bo'lgan ma'lumotlar miqdori oshadi va analitik texnologiyalar yanada rivojlangan bo'ladi.

Korxonalar uchun Big Datani qo'llash qobiliyati kelgusi yillarda tobora muhim ahamiyat kasb etadi. Faqat ma'lumotlarga strategik aktiv sifatida qaraydigan kompaniyalar omon qoladi va rivojlanadi. Ushbu inqilobni e'tiborsiz qoldiradiganlar ortda qolish xavfi bor.

Moskva_Birjasi 2015 yil 6-may, soat 20:38

Katta ma'lumotlar bozorining tahliliy sharhi

• Moskva birjasi kompaniyasining blogi,
• katta ma'lumotlar

"Katta ma'lumotlar"- texnologiya kompaniyalari tomonidan faol muhokama qilinadigan mavzu. Ulardan ba'zilari katta ma'lumotlardan hafsalasi pir bo'ldi, boshqalari esa, aksincha, iloji boricha undan biznes uchun foydalanishadi... . Umid qilamizki, ma'lumotlar qiziqarli va foydali bo'ladi.

BIG DATA NIMA?

Asosiy xususiyatlar

"Katta ma'lumotlar" atamasi juda ko'p bahs-munozaralarga sabab bo'ladi, ko'pchilik bu faqat to'plangan ma'lumotlar miqdorini anglatadi, deb hisoblaydi, ammo texnik tomoni haqida unutmang, bu soha saqlash texnologiyalari, hisoblash va xizmatlarni o'z ichiga oladi.

Shuni ta'kidlash kerakki, bu soha an'anaviy usullar yordamida qayta ishlash qiyin bo'lgan katta hajmdagi ma'lumotlarni qayta ishlashni o'z ichiga oladi*.

Quyida an'anaviy va katta ma'lumotlar bazasini taqqoslash jadvali keltirilgan.

Katta ma'lumotlar sohasi quyidagi xususiyatlar bilan tavsiflanadi:
Ovoz balandligi - hajmi, to'plangan ma'lumotlar bazasi - bu an'anaviy usullarda qayta ishlash va saqlash uchun mashaqqatli bo'lgan katta hajmdagi ma'lumotlar, ular yangi yondashuv va takomillashtirilgan vositalarni talab qiladi.
Tezlik - tezlik, bu xususiyat ham ma'lumotlarni to'plash tezligining ortib borayotganligini (so'nggi 2 yil ichida ma'lumotlarning 90 foizi to'plangan) va ma'lumotlarni qayta ishlash tezligini ko'rsatadi; so'nggi paytlarda real vaqt rejimida ma'lumotlarni qayta ishlash texnologiyalari ko'proq talab qilinmoqda.
Turli xillik - xilma-xillik, ya'ni. turli formatdagi tuzilgan va tuzilmagan axborotni bir vaqtda qayta ishlash imkoniyati. Strukturaviy axborotning asosiy farqi shundaki, uni tasniflash mumkin. Bunday ma'lumotlarga misol qilib mijoz operatsiyalari haqidagi ma'lumotlarni keltirish mumkin.
Tarkibi bo'lmagan ma'lumotlarga video, audio fayllar, bepul matn, ijtimoiy tarmoqlardan keladigan ma'lumotlar kiradi. Bugungi kunda ma'lumotlarning 80% tuzilmaganlar guruhiga kiritilgan. Ushbu ma'lumot keyingi qayta ishlash uchun foydali bo'lishi uchun murakkab tahlilni talab qiladi.
Haqiqat - Ma'lumotlarning ishonchliligi, foydalanuvchilar mavjud ma'lumotlarning ishonchliligiga ahamiyat berishni boshladilar. Shunday qilib, internet-kompaniyalar robot va shaxs tomonidan kompaniya veb-saytida amalga oshirilgan harakatlarini ajratishda muammoga duch kelishadi, bu esa oxir-oqibat ma'lumotlarni tahlil qilish qiyinligiga olib keladi.
qiymat - to'plangan ma'lumotlarning qiymati. Big Data kompaniya uchun foydali bo'lishi va unga qandaydir qiymat keltirishi kerak. Masalan, biznes jarayonlarini yaxshilash, hisobot berish yoki xarajatlarni optimallashtirishda yordam bering.

Agar yuqoridagi 5 shart bajarilsa, to'plangan ma'lumotlar hajmlarini katta deb tasniflash mumkin.

Katta ma'lumotlarning ilovalari

Big Data texnologiyalarining qamrovi juda keng. Shunday qilib, Big Data yordamida siz mijozlarning xohish-istaklari, marketing kampaniyalarining samaradorligi haqida bilib olishingiz yoki xavf tahlilini o'tkazishingiz mumkin. Quyida kompaniyalarda Big Datadan foydalanish yoʻnalishlari boʻyicha IBM instituti soʻrovi natijalari keltirilgan.

Diagrammadan ko'rinib turibdiki, ko'pchilik kompaniyalar Big Data'dan mijozlarga xizmat ko'rsatish sohasida foydalanadilar, ikkinchi eng mashhur yo'nalish - operatsion samaradorlik, xavflarni boshqarish sohasida Big Data hozirda kamroq tarqalgan.

Shuni ham ta'kidlash kerakki, Big Data axborot texnologiyalarining eng tez rivojlanayotgan yo'nalishlaridan biri bo'lib, statistik ma'lumotlarga ko'ra, qabul qilingan va saqlanadigan ma'lumotlarning umumiy hajmi har 1,2 yilda ikki barobar ortadi.
2012-2014-yillarda mobil tarmoqlar orqali har oyda uzatiladigan maʼlumotlar hajmi 81 foizga oshdi. Cisco’ning hisob-kitoblariga ko‘ra, 2014-yilda mobil trafik hajmi oyiga 2,5 ekzabaytni (10 ^ 18 standart baytga teng axborot miqdori o‘lchov birligi) tashkil etgan bo‘lsa, 2019-yilda esa 24,3 ekzabaytga teng bo‘ladi.
Shunday qilib, Big Data biznesning ko'plab sohalarida keng tarqalgan va kompaniyalar rivojlanishida muhim rol o'ynaydigan nisbatan yosh bo'lishiga qaramay, allaqachon shakllangan texnologiya sohasidir.

Katta ma'lumotlar texnologiyalari

• Dasturiy ta'minot;
• Uskunalar;
• Xizmat.

Ma'lumotlarni qayta ishlashning (PD) eng keng tarqalgan yondashuvlari quyidagilarni o'z ichiga oladi:
SQL - ma'lumotlar bazalari bilan ishlash imkonini beruvchi tuzilgan so'rovlar tili. SQL-dan foydalanib, siz ma'lumotlarni yaratishingiz va o'zgartirishingiz mumkin va ma'lumotlar massivi tegishli ma'lumotlar bazasini boshqarish tizimi tomonidan boshqariladi.
NoSQL - atama Not Only SQL (nafaqat SQL) degan ma'noni anglatadi. U ma'lumotlar bazasini amalga oshirishga qaratilgan bir qator yondashuvlarni o'z ichiga oladi, ular an'anaviy, relyatsion DBMSda qo'llaniladigan modellardan farq qiladi. Ular doimiy o'zgaruvchan ma'lumotlar tuzilmasi bilan foydalanish uchun qulay. Masalan, ijtimoiy tarmoqlarda ma'lumotlarni to'plash va saqlash uchun.
MapReduce – hisob-kitoblarni taqsimlash modeli. Juda katta ma'lumotlar to'plamlarida parallel hisoblash uchun ishlatiladi (petabayt* yoki undan ko'p). Dasturlash interfeysida ma'lumotlar ishlov berish uchun dasturga o'tkazilmaydi, lekin dastur ma'lumotlarga o'tkaziladi. Shuning uchun so'rov alohida dastur hisoblanadi. Ishlash printsipi ikkita Map va Reduce usuli bilan ma'lumotlarni ketma-ket qayta ishlashdan iborat. Xarita dastlabki ma'lumotlarni tanlaydi, Reduce ularni yig'adi.
Hadoop - yuqori yuklangan saytlar uchun qidiruv va kontekstli mexanizmlarni amalga oshirish uchun foydalaniladi - Facebook, eBay, Amazon va boshqalar. O'ziga xos xususiyat shundaki, tizim klaster tugunlarining biron birining ishdan chiqishidan himoyalangan, chunki har bir blokda ma'lumotlarning kamida bitta nusxasi mavjud. boshqa tugun ustida.
SAP HANA ma'lumotlarni saqlash va qayta ishlash uchun yuqori samarali NewSQL platformasi. Yuqori tezlikda so'rovni qayta ishlashni ta'minlaydi. Yana bir farqlovchi tomoni shundaki, SAP HANA analitik tizimlarni qo‘llab-quvvatlash xarajatlarini kamaytirish orqali tizim landshaftini soddalashtiradi.

Texnologik uskunalar quyidagilarni o'z ichiga oladi:

• serverlar;
• infratuzilma uskunalari.

Xizmat.
Xizmatlarga ma'lumotlar bazasi tizimi arxitekturasi, infratuzilmani rivojlantirish va optimallashtirish hamda ma'lumotlarni saqlash xavfsizligi kiradi.

Dasturiy ta'minot, apparat va xizmatlar ma'lumotlarni saqlash va tahlil qilish uchun oxirigacha platformalarni yaratish uchun birlashadi. Microsoft, HP, EMC kabi kompaniyalar Big Data yechimlarini ishlab chiqish, joylashtirish va boshqarish xizmatlarini taklif qiladi.

Sanoatda qo'llanilishi

Chakana savdo
Chakana savdo do'konlarining ma'lumotlar bazalarida xaridorlar, inventarlarni boshqarish tizimi, sotiladigan mahsulotlarni etkazib berish haqida juda ko'p ma'lumotlar to'planishi mumkin. Ushbu ma'lumot do'kon faoliyatining barcha sohalarida foydali bo'lishi mumkin.

Shunday qilib, to'plangan ma'lumotlar yordamida siz tovarlarni etkazib berish, ularni saqlash va sotishni boshqarishingiz mumkin. To'plangan ma'lumotlarga asoslanib, tovarlarga bo'lgan talab va taklifni taxmin qilish mumkin. Shuningdek, ma'lumotlarni qayta ishlash va tahlil qilish tizimi sotuvchining boshqa muammolarini hal qilishi mumkin, masalan, xarajatlarni optimallashtirish yoki hisobotlarni tayyorlash.

Moliyaviy xizmatlar
Big Data qarz oluvchining kredit qobiliyatini tahlil qilish imkonini beradi va kredit skoring* va anderrayting** uchun ham foydalidir. Big Data texnologiyalarining joriy etilishi kredit arizalarini ko‘rib chiqish vaqtini qisqartiradi. Big Data yordamida muayyan mijozning operatsiyalarini tahlil qilish va unga mos keladigan bank xizmatlarini taklif qilish mumkin.

Telekom
Telekommunikatsiya sohasida Big Data mobil operatorlar tomonidan keng qo'llaniladi.
Mobil operatorlar moliya institutlari bilan bir qatorda eng yirik ma'lumotlar bazalaridan biriga ega bo'lib, ular to'plangan ma'lumotlarning eng chuqur tahlilini amalga oshirish imkonini beradi.
Ma'lumotlarni tahlil qilishning asosiy maqsadi mavjud mijozlarni saqlab qolish va yangilarini jalb qilishdir. Buning uchun kompaniyalar mijozlarni segmentlarga ajratadi, ularning trafigini tahlil qiladi va abonentning ijtimoiy mansubligini aniqlaydi.

Katta ma'lumotlardan marketing maqsadlarida foydalanishdan tashqari, firibgar moliyaviy operatsiyalarni oldini olish uchun texnologiya qo'llaniladi.

Konchilik va neft sanoati
Big Data foydali qazilmalarni qazib olishda ham, ularni qayta ishlash va sotishda ham qo'llaniladi. Olingan ma'lumotlarga asoslanib, korxonalar konlarni o'zlashtirish samaradorligi to'g'risida xulosa chiqarishlari, kapital ta'mirlash jadvali va uskunalarning holatini kuzatishlari, mahsulotga talab va narxlarni prognoz qilishlari mumkin.

Tech Pro Research so‘roviga ko‘ra, Big Data telekommunikatsiya sohasida, shuningdek, muhandislik, IT, moliya va davlat korxonalarida eng keng tarqalgan. Ushbu so'rov natijalariga ko'ra, Big Data ta'lim va sog'liqni saqlash sohasida kamroq mashhur. So‘rov natijalari quyida keltirilgan:

Kompaniyalarda Big Datadan foydalanishga misollar

Qayta ishlangan axborotni qo'llash sohalari xilma-xil bo'lib, sohaga va bajariladigan vazifalarga qarab farqlanadi.
Keyinchalik Big Data texnologiyalarini amaliyotda qo'llash misollari keltiriladi.

HSBC plastik kartalar bilan firibgarlik operatsiyalariga qarshi turish uchun Big Data texnologiyalaridan foydalanadi. Big Data yordamida kompaniya xavfsizlik xizmati samaradorligini 3 baravarga, firibgarlik holatlarini tan olishni esa 10 barobarga oshirdi. Ushbu texnologiyalarni joriy etishdan olingan iqtisodiy samara 10 million AQSH dollaridan oshdi.

Firibgarlikka qarshi* VISA firibgarlik xarakteridagi tranzaktsiyalarni avtomatik ravishda hisoblash imkonini beradi, tizim hozirda har yili 2 milliard AQSH dollari miqdoridagi soxta to‘lovlarning oldini olishga yordam beradi.

Superkompyuter Watson kompaniyasi IBM real vaqt rejimida pul operatsiyalari bo'yicha ma'lumotlar oqimini tahlil qiladi. IBM ma'lumotlariga ko'ra, Watson aniqlangan firibgarlik tranzaksiyalari sonini 15 foizga oshirdi, tizimning noto'g'ri pozitivlarini 50 foizga kamaytirdi va bunday turdagi tranzaktsiyalardan himoyalangan mablag'lar miqdorini 60 foizga oshirdi.

Procter & Gamble Big Data yordamida ular yangi mahsulotlarni ishlab chiqadilar va global marketing kampaniyalarini yaratadilar. P&G real vaqt rejimida ma'lumotni ko'rishingiz mumkin bo'lgan Business Spheres maxsus ofislarini yaratdi.
Shunday qilib, kompaniya rahbariyati bir zumda farazlarni sinab ko'rish va tajribalar o'tkazish imkoniyatiga ega. P&G kompaniyasi Big Data kompaniya faoliyatini bashorat qilishga yordam beradi, deb hisoblaydi.

Ofis buyumlari chakana sotuvchisi officemax Big Data texnologiyalari yordamida ular mijozlarning xatti-harakatlarini tahlil qiladilar. Big Data tahlili B2B daromadini 13 foizga oshirishga, xarajatlarni yiliga 400 000 dollarga kamaytirishga imkon berdi.

Ga ko'ra Caterpillar , uning distribyutorlari Big Data texnologiyasini tatbiq etmaganliklari uchun har yili 9 milliarddan 18 milliard dollargacha daromad olishmaydi. Katta ma'lumotlar mijozlarga mashinalarga o'rnatilgan sensorlar ma'lumotlarini tahlil qilish orqali o'z parkini yanada samarali boshqarish imkonini beradi.

Bugungi kunga kelib, asosiy komponentlarning holatini, ularning eskirish darajasini tahlil qilish, yoqilg'i va texnik xizmat ko'rsatish xarajatlarini boshqarish mumkin.

Luxottica guruhi Ray-Ban, Persol va Oakley kabi brendlar bilan sport ko'zoynaklari ishlab chiqaruvchisi. Kompaniya potentsial mijozlarning xatti-harakatlarini tahlil qilish va "aqlli" SMS marketing uchun Big Data texnologiyalaridan foydalanadi. Natijada Big Data Luxottica guruhi 100 milliondan ortiq eng qimmatli mijozlarni aniqladi va marketing kampaniyasi samaradorligini 10 foizga oshirdi.

Yandex Data Factory yordami bilan, o'yin ishlab chiquvchilari World of Tanks o'yinchilarning xatti-harakatlarini tahlil qilish. Big Data texnologiyalari 100 dan ortiq parametrlardan (xaridlar, oʻyinlar, tajriba va h.k.) maʼlumotlardan foydalangan holda 100 ming World of Tanks oʻyinchisining xatti-harakatlarini tahlil qilish imkonini berdi. Tahlil natijasida foydalanuvchilarning ishdan chiqishi prognozi olindi. Ushbu ma'lumotlar foydalanuvchilarga g'amxo'rlikni kamaytirish va o'yin ishtirokchilari bilan maqsadli ishlash imkonini beradi. Ishlab chiqilgan model standart o'yin sanoati tahlil vositalariga qaraganda 20-30% samaraliroq bo'lib chiqdi.

Germaniya Mehnat vazirligi kiruvchi ishsizlik da'volarini tahlil qilish uchun Big Datadan foydalanadi. Xullas, ma’lumotlar tahlil qilinib, nafaqalarning 20 foizi noloyiq to‘langani ma’lum bo‘ldi. Big Data yordamida Mehnat vazirligi xarajatlarni 10 milliard yevroga qisqartirdi.

Toronto bolalar kasalxonasi Project Artemis loyihasini amalga oshirdi. Bu real vaqt rejimida chaqaloqlar haqidagi ma'lumotlarni to'playdigan va tahlil qiladigan axborot tizimi. Tizim har soniyada har bir bolaning holatining 1260 ko‘rsatkichini kuzatib boradi. Artemis loyihasi bolaning beqaror holatini taxmin qilish va bolalardagi kasalliklarning oldini olishni boshlash imkonini beradi.

GLOBAL BIG MA'LUMOT BOZORI HAQIDA HUKUK

Jahon bozorining hozirgi holati

Wikibon ma'lumotlariga ko'ra, 2014 yilda Big Data bozorining daromadlarining katta qismi xizmatlardan iborat bo'lib, ularning ulushi umumiy daromadning 40% ni tashkil etdi (quyidagi diagrammaga qarang):

Agar biz 2014 yil uchun Big Datani kichik turlar bo'yicha ko'rib chiqsak, bozor quyidagicha ko'rinadi:

Wikibon maʼlumotlariga koʻra, ilovalar va tahlillar 2014-yilda Big Data ilovalari va analitikasidan olingan Big Data daromadining 36 foizini, hisoblash texnikasidan 17 foizini va saqlash texnologiyasidan 15 foizini tashkil qilgan. Eng kam daromad NoSQL texnologiyalari, infratuzilma uskunalari va kompaniyalar tarmog'ini (korporativ tarmoqlar) ta'minlashdan olingan.

Eng ommabop Big Data texnologiyalari SAP, HANA, Oracle va boshqalarning xotiradagi platformalaridir. T-Systems so‘rovi natijalari shuni ko‘rsatdiki, ular so‘rovda qatnashgan kompaniyalarning 30 foizi tomonidan tanlangan. Ikkinchi o'rinda NoSQL platformalari (foydalanuvchilarning 18%) bo'ldi, kompaniyalar Splunk va Dell analitik platformalaridan ham foydalanishgan, ularni 15% kompaniyalar tanlagan. So'rov natijalariga ko'ra, Big Data muammolarini hal qilish uchun eng kam foydali bo'lgan mahsulotlar Hadoop/MapReduce edi.

Accenture tadqiqotiga ko'ra, Big Data texnologiyalaridan foydalanadigan kompaniyalarning 50% dan ortig'ida Big Data narxi 21% dan 30% gacha.
Quyidagi Accenture tahliliga ko'ra, kompaniyalarning 76 foizi 2015 yilda bu xarajatlar oshib borishiga ishonadi va kompaniyalarning 24 foizi Big Data texnologiyalari uchun byudjetini o'zgartirmaydi. Bu shuni ko'rsatadiki, bu kompaniyalarda Big Data allaqachon IT sohasiga aylangan va kompaniya rivojlanishining ajralmas qismiga aylangan.

Economist Intelligence Unit so'rovi natijalari Big Data joriy etilishining ijobiy ta'sirini tasdiqlaydi. Kompaniyalarning 46 foizi Big Data texnologiyalaridan foydalangan holda mijozlarga xizmat ko'rsatishni 10 foizdan ko'proqqa yaxshilaganliklarini, 33 foiz kompaniyalarning inventarizatsiyasini optimallashtirish va asosiy aktivlar unumdorligini oshirishni, 32 foiz kompaniyalar rejalashtirish jarayonlarini yaxshilaganliklarini da'vo qilmoqdalar.

Dunyo bo'ylab Big Data

Shuningdek, CIO so‘roviga ko‘ra, Osiyo-Tinch okeani mintaqasi kompaniyalari katta ma’lumotlar tahlili, xavfsiz saqlash va bulutli texnologiyalar sohasida yangi yechimlarni tez o‘zlashtirmoqda. Lotin Amerikasi Big Data texnologiyalarini rivojlantirishga investitsiyalar soni bo'yicha Evropa va AQShdan oldin ikkinchi o'rinda turadi.
Keyinchalik, bir nechta mamlakatlarda Big Data bozorining rivojlanishi tavsifi va prognozlari taqdim etiladi.

Xitoy
Xitoyda axborot hajmi 909 ekzabaytni tashkil etadi, bu dunyodagi umumiy axborot hajmining 10% ga teng, 2020 yilga borib axborot hajmi 8060 ekzabaytga etadi va global statistikada axborot ulushi ham ortadi. 5 yil ichida u 18% ga teng bo'ladi. Xitoyning Big Data potentsial o'sishi eng tez o'sayotgan dinamikalardan biriga ega.

Braziliya
2014 yil oxiriga kelib Braziliyada 212 ekzabayt ma'lumot to'plangan, bu global hajmning 3 foizini tashkil qiladi. 2020 yilga borib axborot hajmi 1600 ekzabaytgacha oshadi, bu dunyo axborotining 4 foizini tashkil qiladi.

Hindiston
EMC ma'lumotlariga ko'ra, Hindistonda 2014 yilda to'plangan ma'lumotlar hajmi 326 ekzabaytni tashkil etadi, bu umumiy ma'lumot hajmining 5 foizini tashkil qiladi. 2020 yilga borib axborot hajmi 2800 ekzabaytgacha oshadi, bu dunyo axborotining 6 foizini tashkil qiladi.

Yaponiya
2014 yil oxirida Yaponiyada to'plangan ma'lumotlar hajmi 495 ekzabaytni tashkil etadi, bu umumiy ma'lumotlar hajmining 8% ni tashkil qiladi. 2020 yilga kelib, axborot hajmi 2200 ekzabaytgacha o'sadi, ammo Yaponiyaning bozor ulushi kamayadi va butun dunyodagi umumiy ma'lumotlarning 5% ni tashkil qiladi.
Shunday qilib, Yaponiya bozorining hajmi 30% dan ortiq kamayadi.

Germaniya
EMC ma'lumotlariga ko'ra, Germaniyada 2014 yilda to'plangan ma'lumotlar hajmi 230 ekzabaytni tashkil etadi, bu dunyodagi umumiy ma'lumotlar hajmining 4 foizini tashkil qiladi. 2020 yilga kelib, axborot hajmi 1100 ekzabaytgacha o'sadi va 2% ni tashkil qiladi.
Nemis bozorida, Experton Group prognozlariga ko'ra, daromadning katta ulushi xizmatlar segmentiga to'g'ri keladi, ularning ulushi 2015 yilda 54% ni tashkil qiladi va 2019 yilda dasturiy ta'minot va texnik vositalar ulushi 59% gacha ko'tariladi. aksincha, kamayadi.

Umuman olganda, bozor hajmi 2015 yildagi 1,345 milliard yevrodan 2019 yilda 3,198 milliard yevrogacha o‘sadi, o‘rtacha o‘sish sur’ati 24 foizni tashkil etadi.
Shunday qilib, CIO va EMC tahlillariga asoslanib, biz dunyoning rivojlanayotgan mamlakatlari yaqin yillarda Big Data texnologiyalarini faol rivojlantirish bozoriga aylanadi degan xulosaga kelishimiz mumkin.

Bozorning asosiy tendentsiyalari

IDC prognozlariga ko'ra, bozor tendentsiyalari quyidagicha:

• Kelgusi 5 yil ichida bulutga asoslangan Big Data yechimlari narxi mahalliy yechimlar narxidan 3 barobar tezroq oshadi. Gibrid saqlash platformalari mashhur bo'ladi.
• 2015-yilda murakkab va bashoratli tahlillardan foydalanadigan ilovalarning o‘sishi, jumladan, mashina o‘rganishi tezlashadi, bunday ilovalar bozori bashoratli tahlilsiz ilovalarga qaraganda 65 foizga tezroq o‘sadi.
• 2015-yilda media-tahlil uch barobar ortadi va Big Data texnologiyalari bozori uchun asosiy o‘sish omiliga aylanadi.
• Narsalar Interneti uchun qo'llaniladigan doimiy ma'lumotlar oqimini tahlil qilish uchun echimlarni joriy qilish tendentsiyasi tezlashadi.
• 2018 yilga kelib, foydalanuvchilarning 50 foizi kognitiv hisob-kitoblarga asoslangan xizmatlar bilan o'zaro aloqada bo'ladi.

Bozor haydovchilari va cheklovchilari

Accenture soʻroviga koʻra, hozirda maʼlumotlar xavfsizligi masalalari Big Data texnologiyalarini joriy etish yoʻlidagi asosiy toʻsiq boʻlib turibdi, respondentlarning 51% dan ortigʻi maʼlumotlarni himoya qilish va shaxsiy daxlsizlikdan xavotirda ekanini tasdiqladi. Kompaniyalarning 47 foizi cheklangan byudjet tufayli Big Datani amalga oshirishning iloji yo'qligini, 41 foizi esa muammo sifatida malakali kadrlar etishmasligini ko'rsatdi.

Wikibon prognozlariga ko'ra, Big Data bozori 2015 yilda 38,4 milliard dollargacha o'sadi, bu o'tgan yilga nisbatan 36% ga oshadi. Kelgusi yillarda o'sish sur'atlarining 2017 yilda 10% gacha pasayishi kuzatiladi. Ushbu prognozlarni hisobga olgan holda, 2020 yilda bozor hajmi 68,7 milliard AQSh dollariga teng bo'ladi.

Global Big Data bozorini biznes toifalari bo'yicha taqsimlash quyidagicha ko'rinadi:

Diagrammadan ko'rinib turibdiki, bozorning katta qismini mijozlarga xizmat ko'rsatishni yaxshilash sohasidagi texnologiyalar egallaydi. Spot marketing 2019 yilgacha kompaniyalar uchun ikkinchi eng ustuvor yo'nalish bo'ladi, 2020 yilda Heavy Reading ma'lumotlariga ko'ra, u operatsion samaradorlikni oshirish bo'yicha echimlarga o'z o'rnini bo'shatadi.
"Mijozlarga xizmat ko'rsatishni yaxshilash" segmenti ham har yili 49% ga o'sish bilan eng yuqori o'sish sur'atiga ega bo'ladi.
Big Data kichik turlari uchun bozor prognozi quyidagicha ko'rinadi:

Diagrammadan ko'rinib turibdiki, bozorning asosiy ulushini professional xizmatlar egallaydi, tahliliy ilovalar eng yuqori o'sish sur'atiga ega bo'ladi, ularning ulushi 2020 yilda hozirgi 12% dan 18% gacha o'sadi va ushbu segmentning hajmi o'zgaradi. 12,3 milliard AQSH dollariga teng boʻlsa, hisoblash texnikasining ulushi, aksincha, 20 foizdan 14 foizga tushib, 2020 yilda qariyb 9,3 milliard AQSH dollarini tashkil etadi, bulutli texnologiyalar bozori asta-sekin oʻsib boradi va 2020-yilga yetadi. 6,3 milliard AQSH dollarini tashkil etgan boʻlsa, maʼlumotlarni saqlash boʻyicha yechimlarning bozor ulushi, aksincha, 2014-yildagi 15 foizdan 2020-yilda 13 foizga qisqaradi va pul koʻrinishida 8,9 milliard AQSh dollariga teng boʻladi.
Bain & Company's Insights Analysis prognoziga ko'ra, 2020 yilda Big Data bozorining sanoat bo'yicha taqsimlanishi quyidagicha bo'ladi:

• Moliyaviy sanoat yiliga o'rtacha 22% o'sish sur'ati bilan Big Data uchun 6,4 milliard dollar sarflaydi;
• Internet-kompaniyalar kelgusi 5 yil ichida 2,8 milliard dollar va o'rtacha xarajatlarning o'sish sur'ati 26 foizni tashkil etadi;
• Davlat sektori xarajatlari internet-kompaniyalarning xarajatlariga mutanosib bo'ladi, lekin o'sish sur'ati past bo'ladi - 22%;
• Telekommunikatsiya sohasi o'rtacha 40% o'sish sur'atida o'sib, 2020 yilda 1,2 milliard dollarga etadi;

Energetika kompaniyalari ushbu texnologiyalarga nisbatan kichik - 800 million AQSh dollari sarmoya kiritadilar, ammo o'sish sur'ati eng yuqori ko'rsatkichlardan biri bo'ladi - har yili 54%.
Shunday qilib, moliyaviy sanoat kompaniyalari 2020 yilda Big Data bozorining katta qismini egallaydi va energiya eng tez rivojlanayotgan sektor bo'ladi.
Tahlilchilarning prognozlariga ko'ra, kelgusi yillarda bozorning umumiy hajmi ortadi. Bozorning o'sishi dunyoning rivojlanayotgan mamlakatlarida Big Data texnologiyalarini joriy etish orqali ta'minlanadi, buni quyidagi grafikdan ko'rish mumkin.

Bozorning bashorat qilinadigan hajmi rivojlanayotgan mamlakatlar Big Data texnologiyalarini qanday qabul qilishiga, ular rivojlangan mamlakatlardagi kabi mashhur bo'ladimi-yo'qligiga bog'liq bo'ladi. 2014 yilda dunyoning rivojlanayotgan mamlakatlari to'plangan ma'lumotlarning 40 foizini tashkil etdi. EMC prognoziga ko'ra, rivojlangan mamlakatlar hukmronlik qiladigan joriy bozor tuzilmasi 2017 yildayoq o'zgaradi. EMC analytics ma'lumotlariga ko'ra, 2020 yilda rivojlanayotgan mamlakatlar ulushi 60% dan ortiqni tashkil qiladi.
Cisco va EMC ma'lumotlariga ko'ra, dunyoning rivojlanayotgan mamlakatlari Big Data bilan faol ishlaydi, bu ko'p jihatdan texnologiyalarning mavjudligi va Big Data darajasiga etarli ma'lumotlarning to'planishi bilan bog'liq bo'ladi. Keyingi sahifadagi dunyo xaritasi mintaqalar bo'yicha Big Dataning o'sish prognozi va o'sish sur'atlarini ko'rsatadi.

ROSSIYA BOZORI TAHLILI

• Oracle
• Microsoft
• bulutlar
• Hortonworks
• Teradata.

Bozorning sanoat bo'yicha umumiy ko'rinishi va kompaniyalarda Big Datadan foydalanish tajribasi

Rossiyada Big Data texnologiyalari bank sektori va telekommunikatsiya sohasida ko'proq mashhur, ammo ular tog'-kon sanoati, energetika, chakana savdo, logistika kompaniyalari va davlat sektorida ham talabga ega.
Keyinchalik, rus haqiqatlarida Big Datadan foydalanish misollari ko'rib chiqiladi.

Telekom
Aloqa operatorlari eng katta ma'lumotlar bazalaridan biriga ega bo'lib, ular to'plangan ma'lumotlarni eng chuqur tahlil qilish imkonini beradi.
Big Data texnologiyasini qo'llash sohalaridan biri bu obunachilarning sodiqligini boshqarishdir.
Ma'lumotlarni tahlil qilishning asosiy maqsadi mavjud mijozlarni saqlab qolish va yangilarini jalb qilishdir. Buning uchun kompaniyalar mijozlarni segmentlarga ajratadi, ularning trafigini tahlil qiladi va abonentning ijtimoiy mansubligini aniqlaydi. Telekom ma'lumotlardan marketing maqsadlarida foydalanishdan tashqari, firibgar moliyaviy operatsiyalarni oldini olish uchun texnologiyadan foydalanadi.
Vimpelcom bu sohaning eng yorqin namunalaridan biridir. Kompaniya Big Data’dan har bir abonent darajasida xizmat ko‘rsatish sifatini yaxshilash, hisobot berish, tarmoqni rivojlantirish uchun ma’lumotlarni tahlil qilish, spam bilan kurashish va xizmatlarni shaxsiylashtirish uchun foydalanadi.

Banklar
Big Data foydalanuvchilarining katta qismini moliya sanoati mutaxassislari egallaydi. Muvaffaqiyatli eksperimentlardan biri Ural tiklanish va taraqqiyot bankida o'tkazildi, u erda mijozlarni tahlil qilish uchun ma'lumot bazasi ishlatilgan, bank maxsus kredit takliflari, depozitlar va boshqa xizmatlarni taklif qila boshladi. Ushbu texnologiyalardan foydalanilgan yil davomida kompaniyaning chakana kredit portfeli 55 foizga o'sdi.
Alfa-Bank ijtimoiy tarmoqlardagi ma'lumotlarni tahlil qiladi, kredit olish uchun arizalarni qayta ishlaydi, kompaniya veb-sayti foydalanuvchilarining xatti-harakatlarini tahlil qiladi.
Sberbank, shuningdek, mijozlarni segmentlarga ajratish, firibgarlikning oldini olish, o'zaro sotish va risklarni boshqarish uchun ma'lumotlar majmuasini qayta ishlashni boshladi. Kelgusida xizmatni takomillashtirish va real vaqt rejimida mijozlarning harakatlarini tahlil qilish rejalashtirilgan.
Butunrossiya mintaqaviy taraqqiyot banki plastik karta egalarining xatti-harakatlarini tahlil qiladi. Bu sizga ma'lum bir mijoz uchun atipik bo'lgan tranzaktsiyalarni aniqlash imkonini beradi va shu bilan plastik kartochkalardan pul mablag'larining o'g'irlanishini aniqlash ehtimolini oshiradi.

Chakana savdo
Rossiyada Big Data texnologiyalari onlayn va oflayn savdo kompaniyalari tomonidan amalga oshirildi. Bugungi kunda, CNews Analytics ma'lumotlariga ko'ra, Big Data 20% chakana sotuvchilar tomonidan foydalaniladi. Chakana savdo bo'yicha mutaxassislarning 75 foizi Big Datani kompaniyani ilgari surish uchun raqobatbardosh strategiyani ishlab chiqish uchun zarur deb hisoblaydi. Hadoop statistik ma'lumotlariga ko'ra, Big Data texnologiyasi joriy etilgandan so'ng, savdo tashkilotlarida foyda 7-10% ga oshadi.
M.Video mutaxassislari SAP HANA joriy etilgandan so'ng logistika rejalashtirishni takomillashtirish haqida gapiradi, shuningdek, uni amalga oshirish natijasida yillik hisobotlarni tayyorlash 10 kundan 3 kunga qisqartirildi, kunlik ma'lumotlarni yuklash tezligi 3 kundan kamaydi. soatdan 30 minutgacha.
Wikimart ushbu texnologiyalardan saytga tashrif buyuruvchilar uchun tavsiyalar yaratish uchun foydalanadi.
Rossiyada Big Data tahlilini joriy etgan birinchi oflayn do'konlardan biri Lenta edi. Big Data yordamida chakana naqd pul tushumlaridan mijozlar haqidagi ma'lumotlarni o'rganishni boshladi. Chakana sotuvchi operatsion va biznes darajasida ko'proq ma'lumotli qarorlar qabul qilish imkonini beruvchi xatti-harakatlar modellarini yaratish uchun ma'lumot to'playdi.

Neft va gaz sanoati
Ushbu sohada Big Data doirasi juda keng. Big Data texnologiyalari ichaklardan minerallarni olishda qo'llanilishi mumkin. Ularning yordami bilan siz qazib olish jarayonining o'zini va uni qazib olishning eng samarali usullarini tahlil qilishingiz, burg'ulash jarayonini kuzatishingiz, xom ashyo sifatini tahlil qilishingiz, shuningdek, yakuniy mahsulotlarni qayta ishlash va sotishni tahlil qilishingiz mumkin. Rossiyada bu texnologiyalar allaqachon Transneft va Rosneft tomonidan qo'llanilmoqda.

Davlat organlari
Germaniya, Avstraliya, Ispaniya, Yaponiya, Braziliya va Pokiston kabi mamlakatlarda milliy muammolarni hal qilishda Big Data texnologiyalaridan foydalaniladi. Ushbu texnologiyalar davlat hokimiyati va boshqaruvi organlariga aholiga xizmat ko‘rsatishni yanada samaraliroq ko‘rsatishga, aholini manzilli ijtimoiy qo‘llab-quvvatlashga yordam beradi.
Rossiyada ushbu texnologiyalar Pensiya jamg'armasi, Federal soliq xizmati va Majburiy tibbiy sug'urta jamg'armasi kabi davlat organlari tomonidan o'zlashtirila boshladi. Katta ma'lumotlardan foydalangan holda loyihalarni amalga oshirish salohiyati katta, bu texnologiyalar xizmatlar sifatini va natijada aholi turmush darajasini oshirishga yordam beradi.

Logistika va transport
Katta ma'lumotlardan transport kompaniyalari ham foydalanishlari mumkin. Big Data texnologiyalari yordamida avtomobillar parkini kuzatish, yoqilg‘i xarajatlarini hisobga olish, mijozlar so‘rovlarini kuzatish mumkin.
Rossiya temir yo'llari SAP bilan birgalikda Big Data texnologiyalarini joriy qildi. Ushbu texnologiyalar hisobot berish vaqtini 43,5 barobarga (14,5 soatdan 20 daqiqagacha) qisqartirish va xarajatlarni taqsimlashning aniqligini 40 barobar oshirish imkonini berdi. Shuningdek, Big Data rejalashtirish va tariflarni tartibga solish jarayonlariga kiritildi. Hammasi bo'lib kompaniyalar SAP yechimlari asosidagi 300 dan ortiq tizimlardan foydalanadilar, 4 ta ma'lumotlar markazlari jalb qilingan, foydalanuvchilar soni esa 220 000 tani tashkil etadi.

Bozorning asosiy omillari va cheklovlari

• Kompaniyaning raqobatbardoshligini oshirish usuli sifatida Big Data imkoniyatlariga foydalanuvchilarning qiziqishini oshirish;
• Global miqyosda media fayllarni qayta ishlash usullarini ishlab chiqish;
• Shaxsiy ma'lumotlarni saqlash va qayta ishlash bo'yicha qabul qilingan qonunga muvofiq shaxsiy ma'lumotlarni qayta ishlaydigan serverlarni Rossiya hududiga o'tkazish;
• Dasturiy ta'minot importini almashtirish bo'yicha sanoat rejasini amalga oshirish. Ushbu rejada mahalliy dasturiy ta’minot ishlab chiqaruvchilarni davlat tomonidan qo‘llab-quvvatlash, shuningdek, davlat mablag‘lari hisobidan xarid qilishda mahalliy IT-mahsulotlarga imtiyozlar berish nazarda tutilgan.
• Yangi iqtisodiy vaziyatda, dollar deyarli ikki baravar oshganida, xorijiy xizmatlardan ko'ra Rossiyaning bulutli xizmat ko'rsatuvchi provayderlari xizmatlaridan ko'proq foydalanish tendentsiyasi kuzatiladi.
• Axborot texnologiyalari bozorini, jumladan, Big Data bozorini rivojlantirishga yordam beruvchi texnoparklarni yaratish;
• Big Data texnologiyalariga asoslangan tarmoq tizimlarini joriy etish davlat dasturi.

Rossiya bozorida Big Data rivojlanishining asosiy to'siqlari quyidagilardir:

• Ma'lumotlarning xavfsizligi va maxfiyligini ta'minlash;
• Malakali kadrlar etishmasligi;
• Ko'pgina rus kompaniyalarida Big Data darajasiga qadar to'plangan axborot resurslarining etishmasligi;
• Kompaniyalarning tashkil etilgan axborot tizimlariga yangi texnologiyalarni joriy etishdagi qiyinchiliklar;
• Katta ma'lumotlar texnologiyalarining yuqori narxi, bu esa ushbu texnologiyalarni joriy etish imkoniyatiga ega bo'lgan korxonalarning cheklangan soniga olib keladi;
• Rossiyada kapitalning chiqib ketishiga va investitsiya loyihalarini muzlatishga olib kelgan siyosiy va iqtisodiy noaniqlik;
• Import qilinadigan mahsulotlar narxining oshishi va inflyatsiyaning o'sishi, IDC ma'lumotlariga ko'ra, butun IT bozorining rivojlanishiga to'sqinlik qilmoqda.

Rossiya bozori prognozi

Shunga qaramay, Rossiya bozori global tendentsiyalardan so'ng o'sib boradi. 2014 yil holatiga ko'ra, IDC bozor hajmini 340 million dollarga baholaydi.
O'tgan yillardagi bozor o'sish sur'ati yiliga 50% ni tashkil etdi, agar u o'sha darajada qolsa, 2018 yilda bozor hajmi 1,7 milliard AQSh dollariga etadi. Rossiya bozorining jahon bozoridagi ulushi hozirgi 1,2 foizdan oshib, qariyb 3 foizni tashkil etadi.

Rossiyada katta ma'lumotlardan foydalanishni eng ko'p qabul qiladigan tarmoqlarga quyidagilar kiradi:

• Chakana savdo va banklar, ular uchun, birinchi navbatda, mijozlar bazasini tahlil qilish, marketing kampaniyalarining ta'sirini baholash muhimdir;
• Telecom - mijozlar bazasini segmentatsiyalash va trafikni monetizatsiya qilish;
• Davlat sektori - hisobotlar, aholidan tushgan murojaatlar tahlili va boshqalar;
• Neft kompaniyalari - ish monitoringi va ishlab chiqarish va marketingni rejalashtirish;
• Energetika kompaniyalari - aqlli elektr energiya tizimlarini yaratish, operativ monitoring va prognozlash.

Bozor tahlilining asosiy natijalari

Jahon bozori

• bozor hajmi 28,5 mlrd AQSH dollarini tashkil etib, o‘tgan yilga nisbatan 45 foizga o‘sdi;
• Big Data bozori daromadining katta qismini xizmatlar tashkil etdi, ularning ulushi umumiy daromadning 40% ni tashkil etdi;
• Daromadning 36% Big Data ilovalari va analitikasidan, 17% hisoblash texnikasidan va 15% saqlash texnologiyalaridan;
• SAP, HANA va Oracle kabi kompaniyalarning xotiradagi platformalari Big Data muammolarini hal qilishda eng ommabop hisoblanadi.
• Big Data boshqaruvi sohasida loyihalarni amalga oshirgan kompaniyalar soni 125% ga oshdi;

• 2015 yilda bozor hajmi 38,4 milliard AQSh dollarini, 2020 yilda 68,7 milliard AQSh dollarini tashkil etadi;
• o'rtacha o'sish sur'ati yiliga 16% ni tashkil qiladi;
• kompaniyaning Big Data texnologiyalariga o'rtacha xarajatlari yirik kompaniyalar uchun 13,8 million dollar va kichik va o'rta biznes uchun 1,6 million dollarni tashkil qiladi;
• texnologiyalar mijozlarga xizmat ko'rsatish va maqsadli marketing sohalarida eng keng tarqalgan bo'ladi;
• 2017 yilda global bozor tuzilmasi rivojlanayotgan mamlakatlardan foydalanuvchi kompaniyalarning ustunligi tomon o'zgaradi.

Rossiya bozori

• bozor hajmi 340 million AQSH dollariga yetdi;
• o'tgan yillardagi o'rtacha bozor o'sish sur'ati yiliga 50% ni tashkil etdi;
• to'plangan ma'lumotlarning umumiy hajmi 155 ekzabaytni tashkil etdi;
• Rossiya kompaniyalarining 10 foizi Big Data texnologiyalaridan foydalanishni boshladi;
• Katta ma'lumotlar texnologiyalari bank sektori, telekom, internet kompaniyalari va chakana savdoda ko'proq mashhur edi.

• 2015 yilda Rossiya bozorining hajmi 500 million AQSh dollariga, 2018 yilda esa 1,7 milliard AQSh dollariga etadi;
• Rossiya bozorining jahon bozoridagi ulushi 2018 yilda taxminan 3% ni tashkil qiladi;
• 2020 yilda to'plangan ma'lumotlar miqdori 980 ekzabaytni tashkil qiladi;
• ma'lumotlar 2020 yilda global ma'lumotlarning 2,2% gacha o'sadi;
• ma'lumotlarni vizualizatsiya qilish texnologiyalari, media fayllarni tahlil qilish va narsalarning Interneti eng mashhur bo'ladi.

Ushbu katta hajmli asarni o'qishga vaqt ajratganingiz uchun tashakkur, bizning blogimizga obuna bo'ling - biz ko'plab yangi qiziqarli nashrlarni va'da qilamiz!

2011 yilda yaratilgan va takrorlangan ma'lumotlarning umumiy global hajmi taxminan 1,8 zettabayt (1,8 trillion gigabayt) bo'lishi mumkinligi bashorat qilingan edi - bu 2006 yilda yaratilganidan taxminan 9 baravar ko'p.

Keyinchalik murakkab ta'rif

Shunga qaramay` katta ma'lumotlar` katta hajmdagi ma'lumotlarni tahlil qilishdan ko'proq narsani o'z ichiga oladi. Muammo shundaki, tashkilotlar katta hajmdagi ma'lumotlarni yaratadilar, lekin ularning aksariyati an'anaviy tuzilgan ma'lumotlar bazasi formatiga mos kelmaydigan formatda taqdim etiladi - bu veb-jurnallar, videolar, matnli hujjatlar, mashina kodi yoki Masalan, geofazoviy ma'lumotlar. Bularning barchasi turli xil omborlarda, ba'zan hatto tashkilotdan tashqarida saqlanadi. Natijada, korporatsiyalar o'zlarining katta miqdordagi ma'lumotlariga kirishlari mumkin va bu ma'lumotlar o'rtasida aloqalarni o'rnatish va ulardan mazmunli xulosalar chiqarish uchun zarur vositalarga ega bo'lmaydi. Bunga ma'lumotlarning tez-tez yangilanishini qo'shing va siz axborotni tahlil qilishning an'anaviy usullari doimiy yangilanib turadigan katta hajmdagi ma'lumotlarga mos kela olmaydigan vaziyatga duch kelasiz, bu esa oxir-oqibat texnologiyaga yo'l ochadi. katta ma'lumotlar.

Eng yaxshi ta'rif

Umuman olganda, kontseptsiya katta ma'lumotlar ish samaradorligini oshirish, yangi mahsulotlarni yaratish va raqobatbardoshlikni oshirish uchun juda tez-tez yangilanadigan va turli manbalarda joylashgan katta hajmli va xilma-xil tarkibdagi ma'lumotlar bilan ishlashni o'z ichiga oladi. Forrester konsalting kompaniyasi buni qisqacha aytadi: ` katta ma'lumotlar amaliylikning o'ta chegarasida ma'lumotlardan ma'no chiqaradigan texnika va texnologiyalarni birlashtiradi.

Biznes razvedkasi va katta ma'lumotlar o'rtasidagi farq qanchalik katta?

Fujitsu Avstraliya kompaniyasining marketing bo'yicha bosh direktori va bosh texnologiya direktori Kreyg Bati ta'kidlaganidek, biznesni tahlil qilish bu ma'lum vaqt ichida biznes erishgan natijalarni tahlil qilishning tavsifiy jarayoni, shu bilan birga ishlov berish tezligi. katta ma'lumotlar tahlilni bashorat qilish imkonini beradi, kelajak uchun biznes tavsiyalarini taklif qila oladi. Katta ma'lumotlar texnologiyalari, shuningdek, biznes razvedkasi vositalariga qaraganda ko'proq turdagi ma'lumotlarni tahlil qilish imkonini beradi, bu nafaqat tuzilgan saqlashga e'tibor qaratish imkonini beradi.

O "Reilly Radar" dan Mett Slocum ishonadi, garchi katta ma'lumotlar va ishbilarmonlik razvedkasining maqsadi bir (savolga javob topish), ular bir-biridan uch jihati bilan farqlanadi.

• Katta ma'lumotlar biznes razvedkasiga qaraganda katta hajmdagi ma'lumotlarni qayta ishlash uchun mo'ljallangan va bu, albatta, katta ma'lumotlarning an'anaviy ta'rifiga mos keladi.
• Katta ma'lumotlar tezroq va tezroq o'zgaruvchan ma'lumotni qayta ishlash uchun mo'ljallangan, bu chuqur izlanish va interaktivlikni anglatadi. Ba'zi hollarda natijalar veb-sahifa yuklanishidan tezroq hosil bo'ladi.
• Katta ma'lumotlar tuzilmagan ma'lumotlarni qayta ishlash uchun mo'ljallangan bo'lib, biz uni to'plash va saqlash imkoniyatiga ega bo'lganimizdan keyin qanday foydalanishni endigina o'rgana boshlaymiz va bu massivlar tarkibidagi tendentsiyalarni topishni osonlashtirish uchun bizga algoritmlar va dialoglar kerak.

Oracle tomonidan chop etilgan Oracle Information Architecture: An Architect's Guide to Big Data oq qog'oziga ko'ra, katta ma'lumotlar bilan ishlashda biz ma'lumotlarga biznes tahlilini o'tkazishdan farqli ravishda yondashamiz.

Katta ma'lumotlar bilan ishlash odatiy biznes razvedka jarayoniga o'xshamaydi, bu erda ma'lum qiymatlarni qo'shish natija beradi: masalan, birgalikda to'langan veksellarni qo'shish bir yil davomida savdoga aylanadi. Katta ma'lumotlar bilan ishlashda natija ularni ketma-ket modellashtirish orqali tozalash jarayonida olinadi: birinchi navbatda gipoteza ilgari suriladi, statistik, vizual yoki semantik model tuziladi, uning asosida ilgari surilgan gipotezaning to'g'riligi tekshiriladi. , keyin esa keyingisi ilgari suriladi. Bu jarayon tadqiqotchidan vizual ma'nolarni izohlashni yoki bilimga asoslangan interfaol so'rovlarni amalga oshirishni yoki istalgan natijani beradigan "mashinalarni o'rganish" algoritmlarini ishlab chiqishni talab qiladi. Bundan tashqari, bunday algoritmning ishlash muddati juda qisqa bo'lishi mumkin.

Katta ma'lumotlarni tahlil qilish usullari

Ma'lumotlar massivlarini tahlil qilishning turli usullari mavjud bo'lib, ular statistika va informatikadan olingan vositalarga asoslangan (masalan, mashinani o'rganish). Ro'yxat to'liq deb da'vo qilmaydi, lekin u turli sohalardagi eng mashhur yondashuvlarni aks ettiradi. Shu bilan birga, shuni tushunish kerakki, tadqiqotchilar yangi usullarni yaratish va mavjudlarini takomillashtirish ustida ishlashni davom ettirmoqdalar. Bundan tashqari, sanab o'tilgan usullarning ba'zilari faqat katta ma'lumotlar uchun qo'llanilishi shart emas va undan kichikroq massivlar uchun muvaffaqiyatli ishlatilishi mumkin (masalan, A / B testi, regressiya tahlili). Albatta, massiv qanchalik hajmli va diversifikatsiya qilinadigan tahlil qilinsa, chiqishda shunchalik aniq va tegishli ma'lumotlarni olish mumkin.

A/B testi. Nazorat namunasi o'z navbatida boshqalar bilan solishtiriladigan texnika. Shunday qilib, masalan, marketing taklifiga eng yaxshi iste'molchi javobiga erishish uchun ko'rsatkichlarning optimal kombinatsiyasini aniqlash mumkin. katta ma'lumotlar ko'p sonli iteratsiyalarni amalga oshirishga imkon beradi va shu bilan statistik jihatdan muhim natijaga erishadi.

assotsiatsiya qoidalarini o'rganish. O'zaro munosabatlarni aniqlash uchun texnikalar to'plami, ya'ni. katta ma'lumotlar massivlaridagi o'zgaruvchilar orasidagi assotsiatsiya qoidalari. ichida ishlatilgan ma'lumotlarni qazib olish.

tasnifi. Muayyan bozor segmentida iste'molchilarning xatti-harakatlarini bashorat qilish imkonini beruvchi texnikalar to'plami (sotib olish qarorlari, ishdan chiqish, iste'mol hajmi va boshqalar). ichida ishlatilgan ma'lumotlarni qazib olish.

klaster tahlili. Oldindan ma'lum bo'lmagan umumiy xususiyatlarni aniqlash orqali ob'ektlarni guruhlarga ajratishning statistik usuli. ichida ishlatilgan ma'lumotlarni qazib olish.

Kraudsorsing. Ko'p sonli manbalardan ma'lumotlarni yig'ish texnikasi.

Ma'lumotlarni birlashtirish va ma'lumotlar integratsiyasi. Ijtimoiy tarmoq foydalanuvchilarining sharhlarini tahlil qilish va ularni real vaqt rejimidagi savdo natijalari bilan solishtirish imkonini beruvchi texnikalar majmuasi.

ma'lumotlarni qazib olish. Rag'batlanayotgan mahsulot yoki xizmat uchun iste'molchilarning eng sezgir toifalarini aniqlashga, eng muvaffaqiyatli xodimlarning xususiyatlarini aniqlashga va iste'molchilarning xatti-harakatlar modelini bashorat qilishga imkon beruvchi texnikalar to'plami.

Ansamblni o'rganish. Ushbu usulda ko'plab bashoratli modellar qo'llaniladi, bu esa qilingan bashoratlarning sifatini yaxshilaydi.

Genetik algoritmlar. Ushbu texnikada mumkin bo'lgan yechimlar birlasha oladigan va mutatsiyaga uchragan "xromosomalar" sifatida ifodalanadi. Tabiiy evolyutsiya jarayonida bo'lgani kabi, eng kuchli shaxs omon qoladi.

mashinani o'rganish. Tajribaviy ma'lumotlarni tahlil qilish asosida o'z-o'zini o'rganish algoritmlarini yaratishga qaratilgan informatika yo'nalishi (tarixiy jihatdan unga "sun'iy intellekt" nomi berilgan).

tabiiy tilni qayta ishlash (NLP). Informatika va tilshunoslikdan olingan tabiiy tilni aniqlash usullari to'plami.

tarmoq tahlili. Tarmoqlardagi tugunlar orasidagi bog'lanishlarni tahlil qilish usullari to'plami. Ijtimoiy tarmoqlarga kelsak, u alohida foydalanuvchilar, kompaniyalar, jamoalar va boshqalar o'rtasidagi munosabatlarni tahlil qilish imkonini beradi.

Optimallashtirish. Bir yoki bir nechta ko'rsatkichlarni yaxshilash uchun murakkab tizimlar va jarayonlarni qayta loyihalash uchun raqamli usullar to'plami. Strategik qarorlarni qabul qilishda yordam beradi, masalan, bozorga kiritilgan mahsulot tarkibi, investitsiya tahlilini o'tkazish va hokazo.

naqshni aniqlash. Iste'molchilarning xulq-atvor modelini bashorat qilish uchun o'z-o'zini o'rganish elementlari bo'lgan texnikalar to'plami.

bashoratli modellashtirish. Voqealarning rivojlanishi uchun oldindan belgilangan ehtimolli stsenariyning matematik modelini yaratishga imkon beruvchi texnikalar to'plami. Masalan, abonentlarni provayderlarni o'zgartirishga undaydigan mumkin bo'lgan sharoitlar uchun CRM-tizim ma'lumotlar bazasini tahlil qilish.

regressiya. Bir yoki bir nechta mustaqil o'zgaruvchilar va qaram o'zgaruvchilar o'rtasidagi o'zgarishlarni aniqlash uchun statistik usullar to'plami. Ko'pincha prognozlash va bashorat qilish uchun ishlatiladi. Ma'lumotlarni qazib olishda qo'llaniladi.

hissiyotlarni tahlil qilish. Iste'molchilarning kayfiyatini baholash usullari insonning tabiiy tilini aniqlash texnologiyalariga asoslangan. Ular sizga qiziqish mavzusiga (masalan, iste'molchi mahsulotiga) tegishli xabarlarni umumiy ma'lumot oqimidan ajratishga imkon beradi. Keyinchalik, hukmning polaritesini (ijobiy yoki salbiy), hissiylik darajasini va hokazolarni baholang.

signalni qayta ishlash. Shovqin fonida signalni tanib olish va uni keyingi tahlil qilishga qaratilgan radiotexnikadan olingan texnikalar to'plami.

Fazoviy tahlil. Fazoviy ma'lumotlarni tahlil qilish uchun qisman statistikadan olingan texnikalar to'plami - er topologiyasi, geografik koordinatalar, ob'ektlarning geometriyasi. manba katta ma'lumotlar bu holda geografik axborot tizimlari (GIS) ko'pincha harakat qiladi.

Statistika. Ma'lumotlarni to'plash, tartibga solish va sharhlash, shu jumladan so'rovnomalarni ishlab chiqish va tajribalar o'tkazish haqidagi fan. Statistik usullar ko'pincha ma'lum hodisalar o'rtasidagi munosabatlar haqida baho berish uchun ishlatiladi.

Nazorat ostida o'rganish. Tahlil qilinadigan ma'lumotlar massivlarida funktsional munosabatlarni aniqlash imkonini beruvchi mashinani o'rganish texnologiyalariga asoslangan texnikalar to'plami.

simulyatsiya. Murakkab tizimlarning xatti-harakatlarini modellashtirish ko'pincha rejalashtirishda turli stsenariylarni bashorat qilish, bashorat qilish va ishlab chiqish uchun ishlatiladi.

Vaqt seriyasini tahlil qilish. Vaqt o'tishi bilan takrorlanadigan ma'lumotlar ketma-ketligini tahlil qilish uchun statistika va raqamli signallarni qayta ishlashdan olingan usullar to'plami. Aniq foydalanishdan biri fond bozorini yoki bemorlarning kasallanishini kuzatishdir.

Nazoratsiz o'rganish. Tahlil qilinayotgan ma'lumotlar to'plamlarida yashirin funktsional munosabatlarni aniqlash imkonini beruvchi mashinani o'rganish texnologiyalariga asoslangan texnikalar to'plami. bilan umumiy xususiyatlarga ega klaster tahlili.

Vizualizatsiya. Izohni soddalashtirish va olingan natijalarni tushunishni osonlashtirish uchun katta ma'lumotlarni tahlil qilish natijalarini diagrammalar yoki jonlantirilgan tasvirlar ko'rinishida grafik taqdim etish usullari.

Katta ma'lumotlarni tahlil qilish natijalarining vizual taqdimoti ularni talqin qilish uchun muhim ahamiyatga ega. Hech kimga sir emaski, inson idroki cheklangan va olimlar tasvirlar, diagrammalar yoki animatsiyalar ko'rinishida ma'lumotlarni taqdim etishning zamonaviy usullarini takomillashtirish sohasida tadqiqotlarni davom ettirmoqdalar.

Analitik vositalar

2011 yil uchun oldingi kichik bo'limda sanab o'tilgan ba'zi yondashuvlar yoki ularning ma'lum kombinatsiyasi katta ma'lumotlar bilan ishlash uchun analitik dvigatellarni amaliyotga tatbiq etish imkonini beradi. Katta ma'lumotlarni tahlil qilish uchun bepul yoki nisbatan arzon ochiq tizimlardan biz quyidagilarni tavsiya qilishimiz mumkin:

• Revolution Analytics (matematik statistika uchun R tiliga asoslangan).

Ushbu ro'yxatda Apache Hadoop ochiq kodli dasturiy ta'minot alohida qiziqish uyg'otadi, u so'nggi besh yil ichida ko'pchilik birja trekerlari tomonidan ma'lumotlar analizatori sifatida sinovdan o'tgan. Yahoo ochiq manbalar hamjamiyatiga Hadoop kodini ochishi bilanoq, IT sanoatida Hadoop asosida mahsulotlar yaratish uchun tezda yangi tendentsiya paydo bo'ldi. Deyarli barcha zamonaviy tahlil vositalari katta ma'lumotlar Hadoop bilan integratsiyani ta'minlash. Ularning ishlab chiquvchilari ham startaplar, ham taniqli global kompaniyalardir.

Katta ma'lumotlarni boshqarish echimlari bozorlari

Big Data Platforms (BDP, Big Data Platform) raqamli hordingga qarshi kurash vositasi sifatida

Tahlil qilish qobiliyati katta ma'lumotlar, ommaviy tilda Big Data deb ataladi, ne'mat sifatida qabul qilinadi va bir ma'noda. Lekin haqiqatan ham shundaymi? Ma'lumotlarning cheksiz to'planishi nimaga olib kelishi mumkin? Ko'pincha mahalliy psixologlar odamga nisbatan patologik to'planish, sillogomaniya yoki majoziy ma'noda "Plyushkin sindromi" deb atashadi. Ingliz tilida hamma narsani yig'ish uchun shafqatsiz ishtiyoq hording deb ataladi (inglizcha hoard - "zahira"). Ruhiy kasalliklar tasnifiga ko'ra, hording ruhiy kasallik deb tasniflanadi. Raqamli asrda an'anaviy material akkordlashiga raqamli (Digital Hoarding) qo'shiladi, ham jismoniy shaxslar, ham butun korxona va tashkilotlar () bundan aziyat chekishi mumkin.

Jahon va Rossiya bozori

Katta ma'lumotlar manzarasi - Asosiy provayderlar

Yig'ish, qayta ishlash, boshqarish va tahlil qilish vositalariga qiziqish katta ma'lumotlar deyarli barcha yetakchi IT-kompaniyalarni ko'rsatdi, bu juda tabiiy. Birinchidan, ular bu hodisani bevosita o'z bizneslarida boshdan kechirishadi, ikkinchidan, katta ma'lumotlar yangi bozor bo'shliqlarini rivojlantirish va yangi mijozlarni jalb qilish uchun ajoyib imkoniyatlarni ochib beradi.

Bozorda katta hajmdagi ma'lumotlarni qayta ishlash bilan shug'ullanadigan ko'plab startaplar paydo bo'ldi. Ulardan ba'zilari Amazon kabi yirik o'yinchilar tomonidan taqdim etilgan tayyor bulut infratuzilmasidan foydalanadi.

Sanoatda Big Data nazariyasi va amaliyoti

Rivojlanish tarixi

2017

TmaxSoft prognozi: Katta ma'lumotlarning navbatdagi "to'lqini" DBMS modernizatsiyasini talab qiladi

Korxonalar ular to'plagan katta hajmdagi ma'lumotlar o'z biznesi va mijozlari haqida muhim ma'lumotlarni o'z ichiga olishini bilishadi. Agar kompaniya ushbu ma'lumotni muvaffaqiyatli qo'llay olsa, u raqobatchilarga nisbatan sezilarli ustunlikka ega bo'ladi va u ularnikidan yaxshiroq mahsulot va xizmatlarni taklif qila oladi. Biroq, ko'pgina tashkilotlar hali ham samarali foydalana olmaydi katta ma'lumotlar TmaxSoft kompaniyasining ta'kidlashicha, ularning eski AT infratuzilmasi kerakli saqlash hajmini, ma'lumotlar almashinuvi jarayonlarini, tizimlashtirilmagan ma'lumotlarning katta massivlarini qayta ishlash va tahlil qilish uchun zarur bo'lgan yordamchi dasturlar va ilovalarni ta'minlay olmasligi sababli.

Bundan tashqari, doimiy o'sib borayotgan ma'lumotlar hajmini tahlil qilish uchun zarur bo'lgan ishlov berish quvvatini oshirish tashkilotning eski AT infratuzilmasiga katta sarmoya kiritishni, shuningdek, yangi ilovalar va xizmatlarni ishlab chiqish uchun ishlatilishi mumkin bo'lgan qo'shimcha texnik resurslarni talab qilishi mumkin.

2015-yil 5-fevralda Oq uy kompaniyalar "qanday foydalanayotgani" haqida hisobot e'lon qildi. katta ma'lumotlar turli xaridorlar uchun har xil narxlarni belgilash - bu "narxlarni kamsitish" yoki "differensial narxlash" (shaxsiylashtirilgan narxlash) deb nomlanuvchi amaliyot. Hisobot katta ma'lumotlarning sotuvchilar va xaridorlar uchun afzalliklarini tavsiflaydi va katta ma'lumotlarning paydo bo'lishi va differentsial narxlarning paydo bo'lishi bilan bog'liq ko'plab muammolarni kamsitishga qarshi mavjud qonunlar va qoidalar doirasida hal qilish mumkin, degan xulosaga keladi, iste'molchilar huquqlarini himoya qilish.

Hisobotda ta'kidlanishicha, hozirgi vaqtda kompaniyalar individuallashtirilgan marketing va tabaqalashtirilgan narxlar kontekstida katta ma'lumotlardan qanday foydalanayotgani haqida faqat anekdot dalillar mavjud. Ushbu ma'lumotlar shuni ko'rsatadiki, sotuvchilar uchta toifaga bo'linadigan narxlash usullaridan foydalanadilar:

• talab egri chizig'ini o'rganish;
• Demografik ma'lumotlarga asoslangan holda boshqarish va tabaqalashtirilgan narxlarni belgilash; va
• maqsadli xulq-atvor marketingi (behavior targeting - xatti-harakatni yo'naltirish) va individuallashtirilgan narxlash.

Talab egri chizig'ini o'rganish: Talabni tushunish va iste'molchilarning xatti-harakatlarini o'rganish uchun sotuvchilar ko'pincha ushbu sohada eksperimentlar o'tkazadilar, ular davomida mijozlarga tasodifiy ravishda ikkita mumkin bo'lgan narx kategoriyasidan biri tayinlanadi. "Texnik jihatdan, bu tajribalar differentsial narxlarning bir ko'rinishidir, chunki ular mijozlar uchun turli narxlarga olib keladi, garchi ular barcha mijozlar yuqori narxni "urish" uchun bir xil imkoniyatga ega bo'lsa ham, ular "kamsitishsiz".

Rulda boshqarish: Bu iste'molchilarga ma'lum bir demografik guruhga tegishli bo'lgan mahsulotlarni taqdim etish amaliyotidir. Masalan, kompyuter kompaniyasining veb-sayti bir xil noutbukni har xil turdagi mijozlarga o'zlari haqida taqdim etgan ma'lumotlarga qarab har xil narxlarda taklif qilishi mumkin (masalan, foydalanuvchi davlat idoralari, ilmiy yoki tijorat muassasalarining vakili ekanligiga qarab yoki jismoniy shaxs) yoki ularning geografik joylashuvi (masalan, kompyuterning IP manzili bilan belgilanadi).

Maqsadli xatti-harakatlar marketingi va moslashtirilgan narxlash: Bunday hollarda xaridorlarning shaxsiy ma'lumotlari maqsadli reklama va ayrim mahsulotlarning individual narxlarini belgilash uchun ishlatiladi. Masalan, onlayn reklama beruvchilar reklama tarmoqlari va uchinchi tomon cookie-fayllari orqali to'plangan ma'lumotlardan foydalanuvchilarning onlayn faoliyati haqidagi reklama materiallarini maqsad qilib olish uchun foydalanadilar. Ushbu yondashuv, bir tomondan, iste'molchilarga o'zlarini qiziqtirgan tovarlar va xizmatlarning reklamalarini olish imkonini beradi, ammo bu o'zlarining shaxsiy ma'lumotlarining ayrim turlarini (masalan, bog'langan veb-saytlarga tashriflar haqidagi ma'lumotlar) istamaydigan iste'molchilarni tashvishga solishi mumkin. tibbiy va moliyaviy masalalar bo'yicha) ularning roziligisiz uchrashgan.

Maqsadli xulq-atvor marketingi keng tarqalgan bo'lsa-da, onlayn muhitda individuallashtirilgan narxlashning nisbatan kam dalillari mavjud. Hisobotda taxmin qilinishicha, bu usullar hali ham ishlab chiqilayotgani yoki kompaniyalarning individual narxlarni qo‘llashni istamasligi (yoki bu haqda sukut saqlashni afzal ko‘rishi) – ehtimol, iste’molchilarning noroziligidan qo‘rqib, bo‘lishi mumkin.

Hisobot mualliflarining fikricha, “individual iste’molchi uchun katta ma’lumotlardan foydalanish, shubhasiz, ham potentsial daromadlar, ham xavflar bilan bog‘liq”. Hisobotda katta ma'lumotlardan foydalanish bilan bog'liq shaffoflik va kamsitish muammolari mavjudligini e'tirof etgan holda, kamsitishlarga qarshi va iste'molchilar huquqlarini himoya qilish bo'yicha mavjud qonunlar ularni hal qilish uchun etarli ekanligini ta'kidlaydi. Biroq, hisobot, shuningdek, kompaniyalar maxfiy ma'lumotlardan noshaffof tarzda yoki mavjud me'yoriy-huquqiy baza bilan qamrab olinmagan usullardan foydalanganda "doimiy tekshirish" zarurligini ta'kidlaydi.

Ushbu hisobot Oq uyning "katta ma'lumotlar" dan foydalanish va Internetdagi kamsituvchi narxlarni va buning amerikalik iste'molchilar uchun oqibatlarini o'rganishga qaratilgan sa'y-harakatlarining davomidir. Oq uyning katta maʼlumotlar boʻyicha ishchi guruhi ushbu masala boʻyicha oʻz hisobotini 2014-yilning may oyida eʼlon qilgani avvalroq xabar qilingan edi. Federal Savdo Komissiyasi (FTC) 2014 yil sentyabr oyida katta ma'lumotlardan foydalanish bilan bog'liq diskriminatsiyaga bag'ishlangan seminarda ham ushbu muammolarni ko'rib chiqdi.

2014

Gartner Big Data sirlarini yo'q qiladi

Gartner tomonidan 2014-yilning kuzgi siyosati boʻyicha hisobotda CIOlar orasida Big Data haqidagi bir qancha keng tarqalgan afsonalar roʻyxati keltirilgan va rad etilgan.

• Har bir inson Big Data qayta ishlash tizimlarini bizdan tezroq amalga oshiradi

Katta ma'lumotlar texnologiyalariga qiziqish eng yuqori darajada bo'lib, bu yil Gartner tahlilchilari tomonidan so'ralgan tashkilotlarning 73 foizi allaqachon sarmoya kiritgan yoki buni rejalashtirmoqda. Ammo bu tashabbuslarning aksariyati hali o'zining dastlabki bosqichida va so'rovda qatnashganlarning atigi 13 foizi allaqachon bunday echimlarni amalga oshirgan. Eng qiyin qismi - Big Datadan qanday qilib monetizatsiya qilishni aniqlash, qaerdan boshlashni hal qilish. Ko'pgina tashkilotlar yangi texnologiyani muayyan biznes jarayonlariga bog'lay olmagani uchun tajriba bosqichida qolib ketishadi.

• Bizda shunchalik ko'p ma'lumotlar borki, undagi kichik xatolar haqida tashvishlanishga hojat yo'q.

Ba'zi CIO'lar ma'lumotlardagi kichik kamchiliklar katta hajmlarni tahlil qilishning umumiy natijalariga ta'sir qilmaydi, deb hisoblashadi. Ma'lumotlar ko'p bo'lsa, har bir xato alohida natijaga kamroq ta'sir qiladi, deydi tahlilchilar, ammo xatolarning o'zi kattaroq bo'ladi. Bundan tashqari, tahlil qilingan ma'lumotlarning aksariyati tashqi, noma'lum struktura yoki kelib chiqishi, shuning uchun xatolar ehtimoli ortadi. Shunday qilib, Big Data dunyosida sifat aslida muhimroqdir.

• Big Data texnologiyalari ma'lumotlar integratsiyasiga bo'lgan ehtiyojni yo'q qiladi

Big Data ma'lumotlarni o'qish paytida avtomatik sxema yaratish bilan asl formatida qayta ishlash qobiliyatini va'da qiladi. Bu bir nechta ma'lumotlar modellari yordamida bir xil manbalardan olingan ma'lumotlarni tahlil qilish imkonini beradi, deb ishoniladi. Ko'pchilik bu oxirgi foydalanuvchilarga har qanday ma'lumotlar to'plamini o'zlaricha sharhlash imkonini beradi, deb hisoblaydi. Aslida, ko'pchilik foydalanuvchilar ko'pincha ma'lumotlar to'g'ri formatlangan va ma'lumotlarning yaxlitligi darajasi va uning foydalanish holatiga qanday bog'liqligi haqida kelishuv mavjud bo'lgan an'anaviy qutidan tashqari sxemani xohlaydi.

• Ma'lumotlar omborlaridan murakkab tahlillar uchun foydalanish mantiqiy emas

Axborotni boshqarish tizimining ko'pgina ma'murlari murakkab tahliliy tizimlar yangi turdagi ma'lumotlardan foydalanishini hisobga olsak, ma'lumotlar omborini yaratishga vaqt sarflashni ma'nosiz deb hisoblaydilar. Aslida, ko'plab murakkab tahlil tizimlari ma'lumotlar omboridagi ma'lumotlardan foydalanadi. Boshqa hollarda, katta ma'lumotlarni qayta ishlash tizimlarida tahlil qilish uchun yangi ma'lumotlar turlarini qo'shimcha ravishda tayyorlash kerak; ma'lumotlarning mosligi, yig'ish tamoyillari va sifatning zarur darajasi to'g'risida qaror qabul qilish kerak - bunday tayyorgarlik ombordan tashqarida amalga oshirilishi mumkin.

• Ma'lumotlar omborlari ma'lumotlar ko'llari bilan almashtiriladi

Aslida, sotuvchilar ma'lumotlar ko'llarini saqlash o'rnini bosuvchi yoki tahliliy infratuzilmaning muhim elementlari sifatida joylashtirish orqali mijozlarni chalg'itadi. Ma'lumotlar ko'llarining asosiy texnologiyalari ma'lumotlar omborlarida mavjud bo'lgan funksionallikning etukligi va kengligidan mahrum. Shu sababli, ma'lumotlarni boshqarish uchun mas'ul bo'lgan rahbarlar, Gartnerga ko'ra, ko'llar bir xil rivojlanish darajasiga yetguncha kutishlari kerak.

Accenture: Katta ma'lumotlar tizimlarini joriy qilganlarning 92% natijadan qoniqish hosil qiladi

Respondentlar katta ma'lumotlarning asosiy afzalliklari orasida:

• "yangi daromad manbalarini qidirish" (56%),
• "mijozlarning tajribasini yaxshilash" (51%),
• "yangi mahsulotlar va xizmatlar" (50%) va
• "yangi mijozlar oqimi va eski mijozlarning sodiqligini saqlab qolish" (47%).

Yangi texnologiyalarni joriy qilishda ko'plab kompaniyalar an'anaviy muammolarga duch kelishdi. 51% uchun toʻsiq xavfsizlik, 47% uchun byudjet, 41% uchun zarur kadrlar yoʻqligi, 35% uchun esa mavjud tizim bilan integratsiyalashuvdagi qiyinchiliklar toʻsiq boʻldi. So‘rovda qatnashgan deyarli barcha kompaniyalar (taxminan 91%) xodimlar yetishmasligi bilan bog‘liq muammoni tez orada hal qilishni va katta ma’lumotlar bo‘yicha mutaxassislarni yollashni rejalashtirmoqda.

Kompaniyalar katta ma'lumotlar texnologiyalarining kelajagiga optimistik qarashadi. 89% biznesni internet kabi o'zgartirishiga ishonadi. Respondentlarning 79 foizi katta ma'lumotlar bilan shug'ullanmaydigan kompaniyalar raqobatdosh ustunliklarini yo'qotishini ta'kidladilar.

Biroq, respondentlar katta ma'lumotlar deb hisoblanishi kerak bo'lgan narsaga rozi bo'lishmadi. Respondentlarning 65 foizi bu "katta ma'lumotlar fayllari", 60 foizi bu "ilg'or tahlil va tahlil", 50 foizi esa "ma'lumotlarni vizualizatsiya qilish vositalari" ekanligiga ishonishadi.

Madrid katta ma'lumotlarni boshqarish uchun 14,7 million yevro sarflaydi

2014-yil iyul oyida Madrid shahar infratuzilmasini boshqarish uchun katta maʼlumotlar texnologiyalaridan foydalanishi maʼlum boʻldi. Loyiha qiymati 14,7 million yevro bo‘lib, amalga oshiriladigan yechimlar katta ma’lumotlarni tahlil qilish va boshqarish texnologiyalariga asoslanadi. Ularning yordami bilan shahar ma’muriyati har bir xizmat ko‘rsatuvchi provayder bilan ishni boshqarib boradi va xizmat ko‘rsatish darajasiga qarab tegishli ravishda haq to‘laydi.

Gap ko‘chalar, yoritish, sug‘orish, ko‘kalamzorlashtirish, hududni tozalash va olib chiqish, shuningdek, chiqindini qayta ishlash holatini nazorat qiluvchi ma’muriyat pudratchilari haqida bormoqda. Loyihani amalga oshirish jarayonida maxsus ajratilgan inspektorlar uchun shahar xizmatlari faoliyatining 300 ta asosiy ko‘rsatkichlari ishlab chiqilgan bo‘lib, ular asosida har kuni 1,5 mingta turli tekshirish va o‘lchovlar o‘tkaziladi. Bundan tashqari, shahar Madrid iNTeligente (MiNT) - Smarter Madrid deb nomlangan innovatsion texnologik platformadan foydalanishni boshlaydi.

2013

Mutaxassislar: Big Data uchun moda cho'qqisi

Istisnosiz, ma'lumotlarni boshqarish bozoridagi barcha sotuvchilar hozirda Big Data boshqaruvi uchun texnologiyalarni ishlab chiqishmoqda. Ushbu yangi texnologik tendentsiya ham professional hamjamiyat, ham ishlab chiquvchilar, ham sanoat tahlilchilari va bunday echimlarning potentsial iste'molchilari tomonidan faol muhokama qilinmoqda.

Datashift ma'lumotlariga ko'ra, 2013 yil yanvar oyi holatiga ko'ra, "atrofdagi munozaralar to'lqini" katta ma'lumotlar"barcha taxmin qilinadigan o'lchamlardan oshib ketdi. Ijtimoiy tarmoqlarda Big Data haqida eslatmalar sonini tahlil qilgach, Datashift 2012 yilda bu atama butun dunyo boʻylab 1 millionga yaqin turli mualliflar tomonidan yaratilgan postlarda taxminan 2 milliard marta ishlatilganligini hisoblab chiqdi. Bu soatiga 260 ta postga teng, eng yuqori ko'rsatkich esa soatiga 3070 ta eslatmani tashkil qiladi.

Gartner: Har ikkinchi CIO Katta ma'lumotlarga pul sarflashga tayyor

Katta ma'lumotlar texnologiyalari bilan bir necha yillik tajribalar va 2013-yilda birinchi tatbiqlardan so'ng, bunday yechimlarning moslashuvi sezilarli darajada oshadi, deb bashorat qilmoqda Gartner. Tadqiqotchilar butun dunyo bo‘ylab IT yetakchilari orasida so‘rov o‘tkazdi va so‘rovda qatnashganlarning 42 foizi allaqachon Big Data texnologiyalariga sarmoya kiritgan yoki kelgusi yil davomida bunday investitsiyalarni amalga oshirishni rejalashtirayotganini aniqladi (2013 yil mart oyidagi ma’lumotlar).

Kompaniyalar qayta ishlash texnologiyalariga pul sarflashga majbur katta ma'lumotlar Axborot landshafti tez o'zgarib borayotganligi sababli, men axborotni qayta ishlashga yangi yondashuvlarni talab qilaman. Ko'pgina kompaniyalar katta ma'lumotlarning juda muhim ekanligini allaqachon anglab etishgan va ular bilan ishlash an'anaviy ma'lumot manbalari va uni qayta ishlash usullaridan foydalangan holda mavjud bo'lmagan imtiyozlarga erishish imkonini beradi. Bundan tashqari, ommaviy axborot vositalarida "katta ma'lumotlar" mavzusining doimiy ravishda bo'rttirilishi tegishli texnologiyalarga qiziqishni kuchaytiradi.

Gartner vitse-prezidenti Frank Buytendijk hatto kompaniyalarni ohangni pasaytirishga chaqirdi, chunki ba'zilar katta ma'lumotlarni o'zlashtirishda raqobatchilardan ortda qolayotganidan xavotirda.

"Xavotirlanishga hojat yo'q, katta ma'lumotlar texnologiyalari asosida g'oyalarni amalga oshirish imkoniyatlari deyarli cheksizdir", dedi u.

Gartner 2015 yilga borib, Global 1000 kompaniyalarining 20 foizi “axborot infratuzilmasi”ga strategik e’tibor qaratishini taxmin qilmoqda.

Katta ma'lumotlarni qayta ishlash texnologiyalari keltiradigan yangi imkoniyatlarni kutgan holda, ko'plab tashkilotlar turli xil ma'lumotlarni to'plash va saqlash jarayonini tashkil qilmoqdalar.

Ta'lim va davlat tashkilotlari, shuningdek, sanoat kompaniyalari uchun biznesni o'zgartirish uchun eng katta salohiyat to'plangan ma'lumotlarning qorong'u ma'lumotlar (so'zma-so'z - "qorong'i ma'lumotlar") bilan kombinatsiyasida, ikkinchisiga elektron pochta xabarlari, multimediya kiradi. va boshqa shunga o'xshash tarkib. Gartnerga ko'ra, turli xil axborot manbalari bilan qanday ishlashni o'rganganlar ma'lumotlar poygasida g'olib chiqadilar.

Poll Cisco: Big Data IT byudjetlarini oshirishga yordam beradi

InsightExpress mustaqil tahlilchi firmasi tomonidan 18 mamlakatda o'tkazilgan Cisco Connected World Technology Report (2013 yil bahori) 1800 nafar kollej talabalari va 18 yoshdan 30 yoshgacha bo'lgan teng miqdordagi yosh mutaxassislarni o'rgandi. So‘rov IT bo‘limlarining loyihalarni amalga oshirishga tayyorlik darajasini aniqlash maqsadida o‘tkazildi katta ma'lumotlar va ular bilan bog'liq muammolar, texnologik kamchiliklar va bunday loyihalarning strategik ahamiyati haqida tushunchaga ega bo'ling.

Aksariyat kompaniyalar ma'lumotlarni to'playdi, yozib oladi va tahlil qiladi. Biroq, hisobotga ko'ra, ko'plab kompaniyalar Big Data bilan bog'liq bir qator murakkab biznes va axborot texnologiyalari muammolariga duch kelishadi. Masalan, so‘rovda qatnashganlarning 60 foizi Big Data yechimlari qarorlar qabul qilish jarayonlarini yaxshilashi va raqobatbardoshlikni oshirishi mumkinligini tan oladi, biroq atigi 28 foizi to‘plangan ma’lumotlardan allaqachon real strategik foyda ko‘rayotganini aytishgan.

So'rovda qatnashgan CIO'larning yarmidan ko'pi Big Data loyihalari o'z tashkilotlarida IT byudjetlarini ko'paytirishga yordam beradi, chunki texnologiya, xodimlar va kasbiy ko'nikmalarga talablar kuchayadi. Shu bilan birga, respondentlarning yarmidan ko'pi 2012 yilda bunday loyihalar o'z kompaniyalarida IT byudjetini oshirishini kutishmoqda. 57 foizi Big Data kelasi uch yil ichida o‘z byudjetlarini oshirishiga ishonchi komil.

Respondentlarning 81 foizi barcha (yoki kamida bir nechta) Big Data loyihalari bulutli hisoblashlardan foydalanishni talab qilishini aytdi. Shunday qilib, bulutli texnologiyalarning tarqalishi Big Data echimlarini tarqatish tezligiga va biznes uchun ushbu echimlarning qiymatiga ta'sir qilishi mumkin.

Kompaniyalar tuzilgan va tuzilmagan har xil turdagi ma'lumotlarni to'playdi va ishlatadi. So‘rov ishtirokchilari ma’lumotlarni oladigan manbalar (Cisco Connected World Technology Report):

CIO'larning deyarli yarmi (48 foizi) keyingi ikki yil ichida ularning tarmoqlaridagi yuk ikki baravar oshishini taxmin qilmoqda. (Bu, ayniqsa, so'rovda qatnashganlarning 68 foizi, Germaniyada esa 60 foizi Xitoyda to'g'ri keladi). Respondentlarning 23 foizi keyingi ikki yil ichida tarmoq trafigining uch barobar oshishini kutmoqda. Shu bilan birga, respondentlarning atigi 40 foizi tarmoq trafigining keskin o'sishiga tayyorligini e'lon qildi.

So‘rovda qatnashganlarning 27 foizi IT siyosati va axborot xavfsizligini yaxshilash choralariga muhtoj ekanini tan oldi.

21 foizi ko'proq o'tkazish qobiliyatiga muhtoj.

Big Data IT bo'limlari uchun daromadlarni oshirish va kompaniyaning moliyaviy holatini mustahkamlash uchun qiymat qo'shish va biznes bo'linmalari bilan yaqin aloqalarni o'rnatish uchun yangi imkoniyatlar ochadi. Big Data loyihalari IT bo'limlarini biznes bo'limlarining strategik hamkoriga aylantiradi.

Respondentlarning 73 foiziga ko'ra, aynan IT bo'limi Big Data strategiyasini amalga oshirishda asosiy vositaga aylanadi. Shu bilan birga, respondentlarning fikricha, ushbu strategiyani amalga oshirishda boshqa idoralar ham ishtirok etadi. Bu, birinchi navbatda, moliya (respondentlarning 24 foizi nomini olgan), tadqiqot va ishlanmalar (20 foiz), operatsiyalar (20 foiz), injiniring (19 foiz), shuningdek marketing (15 foiz) va savdo (15 foiz) bo'limlariga tegishli. 14 foiz).

Gartner: Katta ma'lumotlarni boshqarish uchun millionlab yangi ish o'rinlari kerak edi

Global IT xarajatlari 2013 yilga kelib 3,7 milliard dollarni tashkil etadi, bu 2012 yildagi IT xarajatlaridan 3,8 foizga oshadi (yil yakuni prognozi 3,6 milliard dollar). Segment katta ma'lumotlar Gartner hisobotiga ko'ra (katta ma'lumotlar) ancha tez sur'atlar bilan rivojlanadi.

2015 yilga kelib katta maʼlumotlarga xizmat koʻrsatish uchun 4,4 million IT ish oʻrni yaratiladi, shundan 1.9 millioni . Bundan tashqari, har bir bunday ish uchta qo'shimcha IT bo'lmagan ish o'rinlarini yaratadi, shuning uchun birgina Qo'shma Shtatlarda keyingi to'rt yil ichida 6 million kishi axborot iqtisodiyotini qo'llab-quvvatlash uchun ishlaydi.

Gartner ekspertlarining fikricha, asosiy muammo shundaki, buning uchun sohada iqtidorlar yetarli emas: ham xususiy, ham davlat ta’lim tizimlari, masalan, AQShda sohani yetarli miqdorda malakali kadrlar bilan ta’minlay olmayapti. . Shunday qilib, IT sohasida qayd etilgan yangi ish o'rinlaridan faqat uchtadan bittasi kadrlar bilan ta'minlanadi.

Tahlilchilarning fikricha, malakali IT-kadrlarni yetishtirish rolini bevosita ularga juda muhtoj bo'lgan kompaniyalar o'z zimmalariga olishlari kerak, chunki bunday xodimlar ular uchun kelajakning yangi axborot iqtisodiyotiga o'tish yo'li bo'ladi.

2012

Katta ma'lumotlarga nisbatan birinchi shubha

Ovum va Gartner tahlilchilari buni 2012-yilda moda mavzusiga taklif qilishdi katta ma'lumotlar illuziyalardan voz kechish vaqti kelgan bo'lishi mumkin.

Hozirgi vaqtda "Katta ma'lumotlar" atamasi odatda ijtimoiy tarmoqlardan, sensorlar tarmoqlari va boshqa manbalardan onlayn ravishda o'sib borayotgan ma'lumotlar miqdorini, shuningdek, ma'lumotlarni qayta ishlash va muhim biznesni aniqlash uchun foydalaniladigan vositalarning o'sib borayotganini anglatadi. -trendlar.

"Katta ma'lumotlar g'oyasi atrofidagi shov-shuv tufayli (yoki shunga qaramay) 2012 yilda ishlab chiqaruvchilar ushbu tendentsiyaga katta umid bilan qarashdi", dedi Ovum tahlilchisi Toni Bayer.

Bayerning ta'kidlashicha, DataSift yirik ma'lumotlarga havolalarni retrospektiv tahlil qilgan