L’apprendimento ensemble e lo Stacking-C: un confronto basato su applicazioni reali e simulate

9 CAPITOLO 1. 1. Machine Learning e modelli ensemble. Nella teoria del Machine Learning, un ‘learner’ (allievo) cerca di identificare un concetto non noto della realtà di interesse. Per compiere tale operazione esso si basa sull’analisi di esempi concreti del concetto generale (maestro), selezionati casualmente dalla popolazione. Tale concetto può essere descritto da una qualsiasi funzione, anche Booleana, che lega una serie di attributi a una o più variabili risposta (di tipo quantitativo o categorico). La difficoltà nel selezionare e implementare il giusto algoritmo di apprendimento sta nel fatto che non si conosce a priori la forma della distribuzione che ha generato il campione di esempi estratto. In ambito statistico, di solito si fanno delle ipotesi sulla forma funzionale di tale distribuzione che servono per stabilire il metodo di stima del modello; nel Machine Learning, per definizione, si adottano invece approcci svincolati da decisioni umane. Fra tutti quelli proposti, spicca l’approccio modellistico PAC (Probabilmente Approssimativamente Corretto) spiegato da Schapire nel suo articolo del 1990 (16), il quale viene definito un modello ‘distribution-free’, perché non necessita di ipotesi sulla distribuzione di probabilità del campione estratto. L’obiettivo dell’allievo è trovare all’interno dell’insieme di tutte le possibili funzioni o regole (definite di seguito ipotesi) quella che meglio si avvicina al concetto non noto, ovvero la più approssimativamente corretta. La difficoltà da superare negli algoritmi realizzati, risiedeva nella capacità di individuare modelli di apprendimento forti, capaci cioè di trovare ipotesi o regole di previsione con bassi tassi di errore sia per l’insieme di esempi usato nell’addestramento dell’algoritmo, sia per ogni altro possibile campione di esempi estratto successivamente dalla popolazione. I processi di apprendimento computazionale generati e consolidati nell’ambito del Machine Learning, hanno dimostrato grande successo e notevoli potenzialità. A differenza dei sistemi computazionali che implementano programmi precodificati, i processi di apprendimento macchina, cercano di costruire modelli capaci di interpretare classi di concetti della realtà circostante, in maniera autonoma. Tutto ciò avviene, mediante particolari algoritmi di apprendimento, i quali costruiscono i modelli di apprendimento sulla base di insiemi di dati, definiti esempi dei concetti. Poiché tali algoritmi devono essere applicati a fenomeni naturali, le loro