Support Vector Machines e apprendimento statistico per l'analisi non parametrica della regressione: nuovi sviluppi teorici, software e applicazioni finanziarie

Capitolo 4 Support Vector Machines Le Support Vector Machines (SVM) sono degli algoritmi di apprendimento introdotti per la prima volta dal gruppo di ricerca coordinato da Vapnik [5], con l’intenzione di proporre una modellistica che facilitasse l’applicazione delle tecniche di controllo della generalizzazione proposte all’interno della Teoria dell’Apprendimento Statistico. Inizialmente lo sviluppo teorico si è concentrato unicamente verso problemi di classificazione, indagando le proprietà dell’iperpiano di separazione ottimale da cui nasce l’idea delle 1 SVM. Solo successivamente, grazie alla proposta della funzione di perdita ε-insensitive, tale tecnica è stata generalizzata per problemi di regressione. In questo capitolo verranno introdotti gli algoritmi di apprendimento SVM, illustrando le ipotesi di base dalle quali sono stati ricavati, la parti- colare struttura ”architetturale” che deriva dalla trasformazione non lineare a cui sono sottoposti i dati al loro interno, la funzione di perdita in essi implementata ed il problema di ottimo che occorre risolvere per stimare i modelli. Nell’esposizioneverràpresoinconsiderazioneesclusivamenteilpro- blema della regressione, richiamando solo quando necessario alcuni risultati proposti per i problemi di classificazione. 4.1 La struttura dei modelli SVM Per illustrare la struttura dei modelli SVM si possono seguire strade diffe- renti. Quellaseguitainquestoparagrafoconsiderainprimoluogoilmodoin cui il processo di apprendimento genera l’approssimazione attraverso i dati, data la funzione di perdita, ed il problema di ottimo che ne deriva. Il me- todo di trasformazione non lineare dei dati sarà affrontata in dettaglio solo successivamente. I concetti, le proprietà e le definizioni della teoria classica della programmazione non lineare qui utilizzati fanno riferimento al volume di Bertsekas [4]. 1 Vapnik [26] pag. 401-421. 37