L'apprendimento nelle reti neurali

Le reti neurali hanno la capacità di modificare, attraverso l'apprendimento, la propria struttura: attraverso le simulazioni è possibile identificare quali meccanismi consentono ciò.
L'apprendimento di una rete comporta una modificazione nei pesi delle connessioni tra le unità e tra gli strati di unità. I pesi iniziali sono assegnati in modo arbitrario o secondo la logica dallo sperimentatore, e cambiano in funzione dell'algoritmo di apprendimento usato, ovvero in funzione della tecnica che lo sperimentatore adotta per far apprendere la rete.
L'apprendimento per associazione
Le connessioni tra unità deputate alla codifica di stimoli che si presentano frequentemente nell'ambiente tendono a rafforzarsi, mentre le connessioni tra unità deputate alla codifica di stimoli che si presentano solo raramente tendono ad indebolirsi.
McClelland e colleghi hanno simulato l'apprendimento di categorie percettive di fonemi linguistici. Inizialmente, la rete manifesta l'abilità di discriminare alcuni fonemi linguistici, che con lo sviluppo si affina o si indebolisce, come conseguenza dell'esperienza che la rete accumula con gli specifici fonemi linguistici presenti nell'ambiente linguistico, in cui la rete è immersa. I bambini giapponesi, ad esempio, dimostrano di discriminare la l dalla r fin dalla nascita, ma dai 10 mesi tale capacità percettiva risulta indebolita, a causa della lingua giapponese, con cui sono a contatto.
La rete apprende ad estrarre regolarità statistiche presenti nell'ambienti, per cui, se due o più proprietà sono frequentemente associate l'una all'altra nell'esperienza, le connessioni tra le unità che le codificano saranno rafforzate.
L'apprendimento per associazione consente di simulare molto bene in che modo possono svilupparsi alcune abilità percettive, ma non è in grado di simulare processi cognitivi più evoluti.
L'apprendimento guidato dall'errore
Retro-propagazione: durante il periodo di apprendimento, viene proposto un input e un target (output desiderato). Se l'output della rete non corrisponde al target, il primo viene modificato dallo sperimentatore, che indica alla rete quale sarebbe dovuto essere l'output corretto per quell'input.
La rete calcola la discrepanza tra output generato e output desiderato e usa questo errore per modificare i suoi pesi, in modo tale da non sbagliare più. Ciò provoca una modificazione di tutti i pesi, in modo che questi siano compatibili con l'output corretto, così da imparare a generare autonomamente l'output corretto per ogni input.
Elman ha simulato il compito che un bambino in età prescolare deve affrontare quando apprende le regole grammaticali che gli consentono di produrre in modo corretto le frasi della propria lingua (es: concordanza genere/numero tra sostantivi, aggettivi e predicati).
L'esperienza in corso viene interpretata alla luce dell'esperienza passata e, nello stesso tempo, le nuove informazioni modificano continuamente la struttura della conoscenza già esistente.