Search Engine Support System - Analisi, studio e implementazione di un sistema di supporto alla generazione semiautomatica di configurazioni per l’acquisizione di fonti di informazioni da parte di motori di ricerca

Questo modulo ricopre un ruolo fondamentale nell’ambito del lavoro svolto. Tale modulo si occupa difatti della configurazione delle principali funzionalità di crawling e indicizzazione della piattaforma focuseek searchbox (il lavoro è stato basato sull’ultima versione – 2.0.3).
Si può affermare che questa è la fase più importante nell’esecuzione dell’applicazione in quanto fornisce a searchbox tutte le fonti prodotte fino a questo momento. Tali fonti possono essere costituite da:
- Una lista di URL comprensiva dei primi dieci risultati restituiti da Google e delle URL acquisite dai JavaScript, ordinata applicando un criterio mirato all’esaltazione delle URL presumibilmente più rilevanti per l’utente in relazione al contesto della ricerca;
oppure da:
- La URL inserita dall’utente nella pagina di ricerca allo scopo di visualizzare le informazioni inerenti al sito di appartenenza.

Prima di spiegare più dettagliatamente questa fase di configurazione viene adesso fornita una descrizione generale di focuseek searchbox. Esso è una sistema software studiato e implementato per fornire servizi di ricerca su Web avanzati, come ad esempio i motori di ricerca “verticali”, il cui funzionamento si basa su tecniche di intelligenza artificiale. Tale servizio è stato quindi concepito per concretizzare il concetto di “focused crawling”, ossia di crawling focalizzato. Lo scopo principale è offrire uno strumento con caratteristiche industriali che favorisca il recupero dell’informazione reperibile dal Web, nonché un’applicazione sulla quale effettuare test di metodi di Information Retrieval (recupero dell’informazione) innovativi. Il funzionamento di searchbox si basa essenzialmente su tre concetti: fonte (source), archivio (archive) e collezione (collection).
La fonte è costituita da una serie di dati che descrivono le informazioni da sottoporre al crawling (raccolta) ed alla successiva fase di indicizzazione. Per ogni fonte possono essere creati uno o più archivi, i quali consentono di impostare opzioni di crawling avanzato della fonte stessa. L’archivio conterrà i documenti raccolti e un indice per localizzare documenti specifici. Ogni archivio può essere in seguito associato ad una o più collezioni, costruendo in tal modo un indice virtuale su un insieme di documenti.

La piattaforma searchbox, offre inoltre la possibilità di essere impostata in maniera automatica. Vengono difatti fornite delle API (Application Programming Interface) per aiutare lo sviluppatore nell’integrazione di applicazioni verticali basate su searchbox utilizzando l’interfaccia SOAP (Simple Object Access Protocol). SOAP ([8]) è un protocollo di comunicazione di piccole dimensioni, basato su XML (eXtensible Markup Language), che consente alle applicazioni e ai componenti di scambiare dati.
Questo protocollo non è legato né ad un particolare sistema operativo né ad uno specifico linguaggio di programmazione, per tali ragioni risulta essere particolarmente versatile per gli sviluppatori. Nell’implementazione di questo modulo si è scelto di utilizzare C#, un linguaggio molto recente introdotto da Microsoft assieme al rilascio della prima versione di .NET Framework. C# è un linguaggio di programmazione a oggetti simile a C++ e Java che si sta diffondendo molto rapidamente.