Analisi delle componenti principali: teoria e applicazione alla matrice di correlazione di N asset

1 La teoria di PCA In questo capitolo, dopo una breve illustrazione riguardo la necessit` a di sviluppare tec- niche ad hoc per i big data, si esporranno le qualit` a matematiche e statistiche dell’analisi delle componenti principali. 1.1 Presentazione del problema L’obiettivo di questa sezione ` e individuare la relazione tra errore di predizione, numero di predittori e numerosit` a campionaria, nell’ambito degli OLS. Data la seguente identit` a: (1.1.1) Y =X +" dove: Y ` e un vettore n 1 che definisce le n osservazioni della variabile da predire, X ` e una matricen k che indica len osservazioni deik predittori, ` e il vettorek 1 dei parametri da stimare e" ` e un vettoren 1 che indica l’errore nell’i-esima predizio- ne; si definisce errore di predizione quadratico medio (MSPE, Mean Squared Prediction Error) il valore atteso del quadrato dell’errore relativo ad osservazioni fuori campione. Matematicamente: (1.1.2) MSPE =E[Y oos ^ Y (X oos )] 2 Doveoos sta per out-of-sample e ^ Y (X oos ) ` e il valore predetto diY dato un vettore 1 k diX fuori campione. Si dimostra che la predizione (non distorta) che minimizza MPSE ` e la media condizionata (anche detta predizione oracolo), cio` e: (1.1.3) E (Y oos jX oos ) =E(X oos jX oos ) Riformulando la (1.1.2): (1.1.4) MPSE =E h X oos +" oos X oos ^ i 2 = =E[X oos ( ^ ) "] 2 = 2 " +E[X oos ( ^ )] 2 Dove l’ultima uguaglianza si ottiene dall’assunzione cheE ("jX) = 0. Si noti che MPSE incorpora due fonti di errore: il primo termine 2 " ` e la varianza dell’errore di predizione 3