Progettazione e implementazione di un web bot per la raccolta dati

L’argomento della tesi nasce dall'esperienza di lavoro avuta, dapprima, durante il tirocinio formativo presso il dipartimento di Economia dell’Università di Ferrara prima, e successivamente durante una attività di lavoro presso l’ente INFN, sezione di Ferrara. Il tirocinio ha avuto una durata complessiva di 3 mesi. Lo scopo era quello di sviluppare un sistema per la raccolta dati in campo economico. I dati raccolti dovevano servire a caratterizzare la componente di capitale umano di una popolazione di imprese high-tech (nello specifico le academic spinoff) del Regno Unito. Per tali fini è stato sviluppato un sistema che comprendeva un Web Bot automatizzato programmabile per scaricare contenuti dal web, e uno Scraper per collezionare tutte le informazioni utili. Il codice è stato scritto in linguaggio di programmazione dinamico Python con paradigma Object-Oriented e in linguaggio di Scripting Bash. All’Istituto Nazionale Di Fisica Nucleare, sezione di Ferrara, sono state svolte attività molto simili. Il compito era quello di raccogliere e gestire dati bibliografici e bibliometrici. Sono stati utilizzati pattern ritenuti standard, e librerie affidabili e consolidate nel campo software. Nei primi capitoli verranno mostrate le tecniche e le conoscenze necessarie per progettare e sviluppare un sistema che archivi dati in modo sistematico partendo da delle regole impostate precedentemente. Verranno quindi presentate l’insieme di conoscenze teoriche sul web in generale, sul crawling e sul software utilizzato, necessarie a comprendere lo sviluppo del progetto. Queste conoscenze permetteranno di produrre sistemi che implementano una strategia intelligente di esplorazione del web, tale da recuperare il maggior numero di informazioni rilevanti. Verranno anche citati alcuni protocolli e standard su cui il Web Bot basa il proprio funzionamento. Verrà anche trattato il tema della sicurezza. Infatti l’attività di crawling da parte di software automatici causa un traffico atipico all’interno della rete e consuma risorse destinate ad un’utenza “tradizionale”. Bisognerà quindi seguire delle regole dettate dal Robots Exclusion Protocol, che, oltre a stabilire regole funzionali (velocità di dowload), potrebbe per esempio bloccare l’accesso alle directory che contengono dati sensibili. Infine sarà mostrato una implementazione semplice e reale della tecnologia esposta: un Web Bot che visita l’intero web, cioè l’insieme di tutte le risorse raggiungibili dalla seed list indistintamente dall’argomento trattato o da altre caratteristiche peculiari delle risorse scansionate.