L’apprendimento ensemble e lo Stacking-C: un confronto basato su applicazioni reali e simulate

Nei metodi di apprendimento di tipo regressivo, come già visto precedentemente, l’errore medio al quadrato di generalizzazione atteso è suddiviso nella somma di 3 addendi: la varianza del rumore casuale (errore non riducibile), la distorsione o bias al quadrato del predittore (ovvero la differenza tra la media delle stime e la vera media) e infine la varianza del predittore (cioè la deviazione al quadrato attesa del predittore attorno alla sua media).
Il bagging è stato introdotto da Breiman allo scopo di ridurre il valore del terzo addendo, ossia la varianza del predittore. Tuttavia tale metodo ensemble non ha alcun effetto sulla distorsione e la somma delle distorsione al quadrato e della varianza del rumore costituisce il limite inferiore dell’errore di previsione, che il bagging classico non è in grado di superare.
Allora è stato successivamente ideato, sempre da Breiman, un metodo alternativo, chiamato bagging adattivo, che è in grado di ridurre contemporaneamente sia la varianza che il bias. Nel bagging tradizionale, se si considerano gli alberi come modelli previsivi, è necessario creare alberi molto grandi affinché questi presentino una distorsione inferiore, anche se con varianza elevata. In questo modo il bagging lavora nel ridurre l’errore atteso di generalizzazione dal lato della varianza.
Siccome il bagging adattivo ha la facoltà di ridurre sia il bias che la varianza, questo dà la possibilità di considerare anche alberi piccoli con conseguente risparmio computazionale. Il bagging adattivo può essere applicato anche nella classificazione in generale oltre che nei problemi di regressione. Il bagging adattivo, come il boosting e altri metodi ensemble di tipo adattivo, segue una procedura a stadi sequenziali.