Big Data: dalla Business Intelligence alla Predictive Analytics

Nella sezione seguente sarà descritto il ciclo di vita dei Big Data che consiste nei seguenti processi: generazione, acquisizione, immagazzinamento, analisi.
Durante il ciclo di vita i dati, che in partenza sono grezzi, vengono modificati in modo da ottenerne valore.

I processo: generazione dati
La generazione dei dati è la prima fase del ciclo dei Big Data. Le fonti sono eterogenee e possono essere suddivise in tre categorie: dati human generated, machine generated, business generated.
Tra i dati human generated si annoverano le informazioni provenienti dalle piattaforme di social network quali Linkedin o Facebook, dai microblogging quali Twitter o Tumblr, dai social news quali Digg, Reddit, dai multimedia sharing come Instagram, Flickr, Youtube, dai siti di domande e risposte come Yahoo Answer, dai siti di recensione come TripAvisor, dai portali di e-commerce come eBay o Amazon, dai click stream da siti web,…
I dati machine generated sono invece generati da sensori GPS, Internet of Things (IoT), da centrali di monitoraggio di eventi metereologici, dispositivi biomedicali,….
Nel 2013 un report pubblicato da IBM [43] indicava che i dati interni delle imprese, ovvero dati business generated, rappresentassero la maggiore sorgente di Big dDta. Questi consistono soprattutto di dati di trading online.
Negli ultimi decenni sia l’Information Technology (IT) che la digitalizzazione hanno contribuito ad incrementare la redditività dei dipartimenti di business. Si stima che il volume di dati di tutte le compagnie del mondo raddoppi ogni 1.2 anni [44]. Il continuo incremento di dati business generati ha richiesto tecnologie di analisi in tempo reale affinchè le aziende possano sfruttare a pieno il loro potenziale. Per esempio, Amazon processa milioni di operazioni da terminale e più di 500.000 query ogni giorno. Walmart, la più grande catena al mondo nel canale della grande distribuzione organizzata, processa 1 milione di operazioni commerciali in un’ora e questi dati sono importati in un database con capacità di 2.5 petabyte [13].

II processo: acquisizione dati
Il secondo processo è quello dell’acquisizione che include la raccolta dati, la trasmissione e l’elaborazione degli stessi.
Per quanto riguarda la fase di raccolta dei dati in formato grezzo, a seguire sono descritte cinque delle più comuni metodiche utilizzate a tal scopo:
Oltre ai summenzionati metodi di raccolta dei big data ve ne sono molti altri. Si considerino, per esempio, gli esperimenti scientifici per la cui raccolta dati sono utilizzati strumenti quali spettrometri magnetici o radio telescopi.
Come già spiegato in precedenza, una delle caratteristiche peculiari dei big data è la variabilità, pertanto i dati raccolti possono essere ridondanti o incoerenti e ciò può dar luogo ad analisi dati non accurate. Pertanto i dati devono subire processi di elaborazione. Alcune tecniche di elaborazione sono rappresentate da integrazione, che comprende il processo ETL (extract, transform, load) già menzionato in precedenza, pulizia ed eliminazione dei dati ridondanti.

III processo: immagazzinamento dati
Il terzo processo del ciclo di vita riguarda lo storage dei dati che deve garantire affidabilità, disponibilità e facile accessibilità.
Sistemi di storage per ampi dataset:
Le tecnologie esistenti in grado di immagazzinare ampi dataset si possono dividere in Direct Attached Storage (DAS) e network storage a loro volta classificabili in Network Attached Storage (NAS) e Storage Area Network (SAN).
In DAS vari hard disk sono direttamente connessi con i server. Ogni hard disk riceve un certo valore input/output (I/O) che è gestito da applicazioni individuali. Quindi, DAS è fruibile solo da server che sono interconnessi su piccola scala. Data la ridotta scalabilità, la capacità di immagazzinamento è incrementata, ma l’espandibilità e l’aggiornamento sono fortemente limitate.
NAS, invece, è uno strumento di storage che supporta un network. È connesso direttamente a un network attraverso uno switch o un hub con protocolli TCP/IP.
[…]