Big Data: un’applicazione di text mining a partire dallo scraping di un sito web sulle richieste di lavoro

Una parola che viene accostata spesso ai Big Data è Analytics, che indica quegli strumenti software che consentono di trovare le correlazioni tra i dati, determinare i trend, segmentare i clienti e in generale condurre attività di data e text mining utili per estrarre (mining) le informazioni significative.
È chiaro che i due concetti non possono essere separati, in quanto la disponibilità di grandi quantità di dati non può essere utile di per sé, se non attraverso l’implementazione di tecniche e analisi specifiche.

Dopo una prima fase della raccolta dei dati ad esempio dal web, che può avvenire attraverso un software di crawling o di scraping, ne segue una di estrazione delle informazioni, con le modalità che discendono dall’obiettivo che ci si è posti. Se i dati sono di carattere testuale, allora è possibile utilizzare delle tecniche di text mining che presuppongono di non leggere il testo e permettono di effettuare delle analisi quantitative secondo un approccio di tipo metrico. I dati contenuti nel testo sono dati di tipo non strutturato. Infatti i dati si possono classificare entro 3 categorie:

- Dati strutturati: sono quei dati codificati in database secondo campi e tabelle
- Dati non strutturati: sono dati conservati senza alcuno schema. L’esempio tipico è il file di testo
- Dati semi-strutturati: sono dati che incontrano caratteristiche sia di quelli strutturati, che di quelli non strutturati: esempio di file semi-strutturato è l’Html, dove informazioni di carattere testuale o immagini ecc. sono contenute all’interno di un tag. Per esempio prova.html, visualizzabile in figura 3, restituisce un sorgente con la seguente struttura:







Tesi Magistrale
Big Data
Andrea Kanneworff




Il Testo “Tesi Magistrale… Kanneworff” è contenuto nel tag “Body” e allo stesso tempo l’immagine è anch’essa inserita nella stessa struttura ma con un ulteriore tag “img src” che racchiude il file .jpg.

Questo tipo di struttura può essere sfruttata anche nei processi di scraping, in cui si va a definire da quali tag estrarre i dati e in tal modo si può procedere ad uno scaricamento di tipo automatico (vedi infra paragrafo scraping).
Quando i dati si trovano nella forma non strutturata o semi strutturata, è necessario procedere nell’analisi andando ad associare a questi delle informazioni strutturate.
In questa sede si tratterà solamente delle tecniche afferenti ai dati di tipo testuale.
Se si possiede un corpus formato da migliaia di articoli di diversi quotidiani, l’informazione strutturata è quella che associa a ogni articolo il nome della testata del giornale, ma è possibile associare altre informazioni rispetto a ulteriori criteri. Questo processo di estrazione dell’informazione non strutturata, codifica e archiviazione in un database strutturato, attiene alle tecniche di text mining di ETL (Extraction, Transformation, Loading). L’analisi automatica dei testi si fonda su due diversi tipi di unità di analisi: le unità lessicali e le unità testuali.
Nel primo caso l’oggetto di studio è il lessico del corpus di riferimento, ovvero l’insieme delle parole contenute nel vocabolario e parliamo quindi di microsegmentazione del corpus. Nel secondo caso avviene una macrosegmentazione del corpus e quindi l’oggetto di studio, l’unità di analisi è “l’individuo” dal punto di vista statistico, che può essere un frammento, una frase, un documento. Quindi a seconda dell’unità di analisi di riferimento avremo un’analisi di tipo lessicale o di tipo testuale, con tutte le conseguenze per ciò che attiene agli strumenti che si andranno ad attivare. Le due analisi possono integrarsi tra di loro: l’analisi lessicale può essere propedeutica ad alcune analisi sulle unità testuali.

L’informazione estratta sia a livello lessicale e a livello testuale, può essere esportata sotto forma di matrice che può essere del tipo:
- Parole x testi
- Frammenti x parole selezionate

Queste matrici possono essere analizzate con sofware statistici come Spad, R, Sas ecc. per scoprire quali siano le relazioni significative fra gli elementi di riga e di colonna contenuti nella matrice, utilizzando ad esempio un’analisi di fattoriale di tipo esplorativo. Le tecniche fattoriali, sintetizzano la variabilità della matrice sugli assi fattoriali, ovvero rappresentano in sottospazi ottimali, la multidimensionalità del fenomeno oggetto di studio. Le due tecniche fondamentali sono:
- L’analisi in componenti principali (si applica nel caso di variabili quantitative)
- L’analisi delle corrispondenze semplice e multipla (si applica nel caso di variabili qualitative rispettivamente con 2 e con n caratteri).

L’utilizzo di tecniche di text mining e data mining attraverso software specialistici è fondamentale per quelle aziende che vogliono ricavare dal mercato e dal settore di riferimento le informazioni storiche, operative e strategiche utili per dare un supporto al proprio processo decisionale. Lo sfruttamento di queste informazioni disponibili in tempi giusti e alle persone giuste, possono favorire e supportare processi decisionali con chiave preventiva o proattiva nel business.