Big Data: un’applicazione di text mining a partire dallo scraping di un sito web sulle richieste di lavoro

Il presente lavoro ha come obiettivo quello di fornire una panoramica dell’attuale tema dei Big Data e di sviluppare una strategia di analisi di grandi quantità di dati a portata di un personal computer.
Nella prima parte verrà definito il concetto di Big Data e le implicazioni scientifiche e metodologiche che questo tema porta con sé. Come è noto infatti, Big Data è l’argomento degli ultimi dibattiti, la comunità scientifica sembra spaccarsi in due diverse prospettive sull’utilizzo e lo sfruttamento dei Big Data. Verranno forniti esempi di campi applicativi: le aziende infatti possono sfruttare il potenziale che deriva dall’analisi dei dati ed estrarre quelle informazioni utili in grado di indirizzare chi deve prendere le decisioni. Il problema è come estrarre l’informazione significativa dai vasti giacimenti di dati che si presentano di fronte a noi. Gli strumenti forniti dalla tecnologia e dall’informatica possono supportare gli analisti nella gestione di un informazione così sparsa e poco strutturata: in questa direzione si muovono i software e le tecniche di data e text mining che, con costi e tempi ridotti, possono ridurre la complessità informativa e contribuire a catturare il senso che c’è dietro una tale vastità di dati.
Nella seconda parte verrà fornita una strategia di analisi per raccogliere, pulire, trattare ed elaborare grandi quantità di dati testuali anche da un personal computer. A questo scopo, si è scelto di fare un semplice esperimento di scaricamento degli annunci di lavoro “postati” dalle imprese sul sito Subito.it. Big Data vuol dire analizzare grandi quantità di dati con l’intento di studiare l’intero fenomeno piuttosto che un campione ristretto. In questa applicazione sarebbe stato possibile scaricare tutti gli annunci, ma si è scelto di interrompere il download per un limite dimensionale dato dal software di analisi testuale dei dati.
Nella terza parte si è cercato di estrarre, senza ipotesi a priori, delle informazioni per andare a catalogare gli annunci sulla base di certe caratteristiche riferite alla posizione lavorativa e vengono fornite delle statistiche sui risultati ottenuti.
Nell’ultimo capitolo viene proposto un caso specifico dove vengono messe a sistema tutte le informazioni precedentemente individuate, con riferimento alle figure operanti nel settore immobiliare.
Una delle critiche che viene mossa all’utilizzo dei Big Data è che possano in qualche modo sostituire il lavoro degli scienziati: infatti c’è chi sostiene che gli algoritmi possano in toto sostituire il lavoro delle persone in “carne ed ossa”. Si vuole dimostrare, attraverso l’applicazione agli annunci di lavoro, che una conoscenza teorica del fenomeno che si vuole analizzare è la premessa per poter capire ed interpretare i dati. Se qualcuno sostiene che i dati “parlino da soli” è necessario che chi ascolta i dati “parli la stessa lingua”.