Metodologie di elaborazione e fusione di segnali biologici per applicazioni di e-learning

Sommario Esteso (Extended Summary) 
 6
I dati acquisiti su un campione numeroso di studenti sottoposti ad un protocollo ci consentiranno 
attraverso un approccio basato su un metodo statistico di combinazione e classificazione di estrarre 
un indicatore, che proietta lo stato emotivo dello studente all’interno di un’area di confidenza. 
I tre stati determinati verranno visualizzati attraverso un sistema real time che sarà utilizzato sia nei 
processi di formazione a distanza sincrona, che in quella asincrona; in questo modo il tutor potrà 
avere indicazioni sul grado di coinvolgimento emotivo nella fruizione dei contenuti da parte della 
classe virtuale. 
 
Introduzione 
 
L’ambito della ricerca coinvolge le tecniche di elaborazione dei dati e dei segnali biomedici, la 
psicologia per la definizione del protocollo sperimentale e la determinazione con tecniche validate 
dello stato emotivo dello studente e infine le tecnologie e metodologie per la didattica a distanza 
con particolare riferimento all’ambito e-learning. L’obiettivo principale della ricerca è quello di 
fornire delle tecniche quantitative per valutare le emozioni degli studenti durante il processo di 
apprendimento a distanza. Sono state quindi create delle particolari condizioni sperimentali e un 
protocollo ad hoc a cui si sono sottoposti degli studenti volontari. Obiettivo della fase sperimentale 
è stato quello di acquisire una serie di dati fisiologici e psicologici legati alla reazione emotiva degli 
studenti durante la fruizione di moduli di formazione a distanza. Le tecniche utilizzate per 
l’acquisizione dei segnali sono tutte non invasive; gli stimoli di e-learning per l’induzione degli stati 
emotivi nei soggetti sottoposti agli esperimenti sono stati progettati, in collaborazione con l’Istituto 
Sommario Esteso (Extended Summary) 
 7
delle Scienze dell’Uomo e dell’Ambiente dell’Università IULM, attraverso riflessioni di carattere 
psicologico e di carattere metodologico nell’ambito della formazione a distanza, a partire da 
precedenti esperienze nell’ambito universitario [ref. 2]. 
 
Affective computing e e-learning 
 
Diversi studi in letteratura hanno affrontato il problema della quantificazione di stati emotivi 
durante e-learning. Alcuni di questi lavori hanno ispirato questa ricerca. L’MIT svolge una serie di 
progetti in questo ambito sotto la conduzione della Prof.ssa Rosalind Picard [ref. 1]. Dei vari lavori 
svolti quello maggiormente ispiratore è legato al progetto “Combining Multiple Modalities to Detec 
Learner’s Interest” nell’ambito del quale cito [ref. 3]. Partendo da un sistema moltimodale [ref. 16].  
viene suggerito un approccio per la determinazione dello stato emotivo basato su classificatori e un 
blocco di combinazione per la determinazione dell’output. Questo approccio che rappresenta un 
modello di supporto alla decisione verrà seguito nella nostra ricerca partendo da differenti input di 
ingresso, quattro segnali biologici (GSR, BVP, ECG,  EEG), espressione facciale dell’utente e 
reportistica psicologica validata.  
Un altro lavoro ispiratore, che ci ha poi incanalato nello studio specifico dell’ambito dalla 
formazione  a distanza, è il [ref. 4] nel quale segnali distali periferici come GSR e BVP vengono 
utilizzati per arricchire il contenuto della comunicazione sincrona via chat. Inoltre una serie di 
risultati presenti in letteratura ci hanno permesso di definire il protocollo sperimentale di stimolo: in 
[ref. 6] vengono riportate le relazioni tra interfacce virtuali e reazioni emotive, un fondamentale 
Sommario Esteso (Extended Summary) 
 8
riferimento per costruire i LO (learning object) fruiti dal campione di soggetti; in [ref. 7] viene 
modellizzata la soggettività delle emozioni rispetto alla tecniche della HCI (Human Computer 
Interaction); in [ref. 8, 9] è possibile vedere come input di tipo posturale possono darci molte 
informazioni emotive del soggetto, che sta interagendo semplicemente con un computer, oppure che 
sta apprendendo attraverso un sistema interagente. 
Come quindi è facilmente immaginabile, le spiccate caratteristiche di interdisciplinarità del progetto 
hanno portato alla formazione di un team con esperienze trasversali sui tre ambiti principali della 
ricerca; il Dipartimento di Bioingegneria ha fornito le competenze nell’ambito del trattamento dei 
segnali biologici, il Centro METID del Politecnico ha fornito le competenze nelle metodologie e 
tecnologie innovative per i sistemi di e-learning, infine l’Istituto dell’Uomo e dell’Ambiente 
dell’università IULM di Milano ha permesso la validazione psicologica dei risultati ricercati. 
 
Protocollo sperimentale di acquisizione dati 
 
La definizione del protocollo sperimentale e la scelta della modellazione e della metodologia da 
adottare sono uno dei primi risultati intermedi successivi alla definizione approfondita dello stato 
dell’arte. Il progetto prevede una prima fase di pretest nella quale il protocollo sperimentale viene 
definito e affinato. Questa fase  porta a definire i seguenti tre differenti livelli: stimoli di e-learning, 
validazione psicologica, indicatori fisiologici per la determinazione oggettiva dello stato emotivo. 
Per quanto concerne la creazione dei corretti stimoli di e-learning in questa fase è importante creare 
gli stimoli digitali che lo studente dovrà fruire attraverso il computer. I contenuti e i tempi devono 
Sommario Esteso (Extended Summary) 
 9
essere studiati ad hoc per innescare la reazione desiderata [ref. 5, 7, 17]. La validazione 
dell’efficacia psicologica del test viene fatta utilizzando l’indice STAI (State Trait Anxiety 
Inventory). Abbiamo analizzato quattro stati emotivi denominati: relax, engagement, stress e 
performance. Nello stimolo di relax la reazione emotiva che si vuole innescare nello studente è 
quella del rilassamento; lo stimolo di engagement è rappresentata da un learning object che vuole 
coinvolgere lo studente rendendolo molto partecipe della fruizione (apprendimento partecipativo); 
lo stimolo di stress vuole sforzare lo studente e creargli una sensazione di frustrazione 
nell’apprendimento; nella fase di performance lo studente deve rispondere a delle domande sui 
moduli didattici e ne viene valutato il grado di apprendimento; infine una fase di baseline precede la 
somministrazione di questi stimoli e consiste nella registrazione dei parametri del soggetto senza 
che questo stia fruendo moduli didattici; quest’ultima fase è presa come riferimento. 
 
Fase sperimentale 
 
Il laboratorio è stato realizzato presso il Centro METID del Politecnico di Milano, il centro che si 
occupa delle attività e dei progetti di e-learning dell’Ateneo. L’attrezzatura con la quale è 
equipaggiato il laboratorio è costituita da: 
- due computer portatili, uno per la somministrazione degli stimoli e uno per la registrazione; 
- una periferica USB per l’acquisizione dei segnali fisiologici attraverso sensoristica applicata 
all’utente (un set completo di sensori completano la parte della periferica USB rendendola idonea al 
tipo di misurazioni desiderate); 
Sommario Esteso (Extended Summary) 
 10
- due web cam: una per il monitoraggio dell’espressione facciale dello studente e del contesto 
ambientale e una per la registrazione dell’interfaccia studente, ovvero quello che sta guardando in 
quel momento; 
- un software per l’acquisizione dei segnali: flessibilmente configurabile al fine di acquisire i vari 
segnali d’interesse visualizzandone l’andamento nel tempo ed eventuali valori istantanei delle 
grandezze monitorate, nonché i video in piccolo formato (320x240) e ragionevole frame rate (15 
fps) dell’espressione facciale dello studente e dell’interfaccia studente; 
- un software per l’elaborazione dei segnali. 
 
Metodologie di elaborazione dei segnali 
 
La fase di elaborazione dei risultati è iniziata nel pretest, al fine di individuare i parametri utili per 
definire l’indice in grado di determinare lo stato emotivo dello studente. L’elaborazione dei risultati 
riguarda sia i dati provenienti dalla reportistica psicologica che quelli provenienti dalle acquisizioni 
multimodali dei segnali fisiologici d’interesse (GSR, BVP, EEG ed ECG). Con un foglio di calcolo 
è possibile creare una procedura automatica a partire dalle risposte dell’utente, che fornisca un 
livello di coinvolgimento (da un valore minimo a un valore massimo con granularità variabile in 
funzione del test). A test eseguito sono disponibili una serie di indicatori sullo stato emotivo e 
cognitivo vissuto dall’utente durante l’esperienza. Nello specifico è stata fatta la scelta del report 
STAI (State Trait Anxiety Inventory) nel quale le domande a cui lo studente deve rispondere a valle 
sella fruizione dello stimolo sono 20 e la granularità è 4. A test effettuato, i dati riassuntivi sono 
Sommario Esteso (Extended Summary) 
 11
quattro indicatori e precisamente un dato emotivo, uno cognitivo, la somma dei due e il dato 
percentuale della prova. 
Questi dati discreti servono per mappare l’emozione vissuta dallo studente e vanno correlati con 
quelli provenienti dalle elaborazioni sui dati fisiologici. I dati dei segnali fisiologici acquisiti 
vengono elaborati al fine di ottenere medie, deviazioni standard e parametri spettrali (per EEG ed 
ECG). Questi dati saranno le variabili della funzione che stabilirà l’indice con il quale mappare 
oggettivamente la situazione emotiva dello studente. L’osservazione dell’espressione facciale viene 
utilizzata nella sola fase di pretest  al fine di validare la funzione indice ottenuta. 
Una prima visualizzazione dei risultati, discussione relativa e validazione è da far risalire alla 
successiva fase di pretest che è stata fondamentale per tarare il protocollo di sperimentazione sul 
quale poi si sviluppa la ricerca. In questa fase è avvenuta una prima validazione di massima sulla 
base della correlazione tra i risultati validati dalla psicologia e i risultati delle prime elaborazione 
dei segnali fisiologici. Nella fase successiva sperimentale di sviluppo del progetto l’output atteso è 
quello, partendo dai dati sperimentali individuati nel pretest, di tracciare un indicatore funzione in 
grado di fornire come risultato l’emozione vissuta dallo studente nella fruizione dello stimolo. 
Particolare importanza è rappresentata dalla metodologia adottata nell’elaborazione dei dati. Ogni 
segnale passa attraverso un blocco di classificazione che stabilisce con una certa percentuale qual è 
l’output emotivo (stress, relax, engagement) a quel punto le varie uscite multimodali arrivano in 
ingresso ad un classificatore che sulla base dei vari input fornisce un’unica uscita che stima con una 
percentuale il tipo di emozione vissuta dall’utente nella fruizione dello stimolo. Chiaramente 
essendo questo sistema caratterizzato da 4 blocchi di classificazione e un blocco di combinazione, 
Sommario Esteso (Extended Summary) 
 12
una politica di pesi sui quattro canali può essere applicata. Il singolo blocco inoltre legato al segnale 
può a sua volta essere condizionato da più di un ingresso in funzione delle elaborazioni considerate 
per quel segnale. 
 
Risultati e validazioni 
 
I principali risultati sono derivati dal riconoscimento delle emozioni che erano il soggetto di studio 
della ricerca. Attraverso l’elaborazione dei segnali GSR, BVP, ECG ed EEG è stato possibile 
identificare delle area di confidenza dei principali parametri derivati dai segnali quali media, 
deviazione standard nel caso dei segnali periferici,  bilancia simpato vagale nel caso del segnale 
ECG e spettro di potenza delle onde β (13-21 Hz) diviso onde α (8-12 Hz) nel caso del segnale 
EEG. Alcune difficoltà sono state riscontrate nella differenziazione degli stimoli quali engagement 
e stress nei quali è stato necessario prevedere un protocollo nuovo per identificare differenze 
significative nei parametri elaborati; ulteriori elementi relativi a questa fase vengono approfonditi 
nel paragrafo di questo sommario esteso dal titolo sviluppi futuri. 
Da un punto di vista delle validazioni il primo parametro di confronto è stato quello derivato 
dall’indagine psicologica, come verrà approfondito nel capitolo della tesi relativo a questa parte; 
questo confronto ha messo in forte correlazione i dati fisiologici e psicologici studiati. I parametri 
emotivi e cognitivi che emergono dall’analisi dello STAI hanno riportato lo stesso andamento dei 
parametri fisiologici ricavati da BVP, GSR e ECG. Più complesso risulta il ragionamento sul 
segnale EEG nel quale la concentrazione è avvenuta solo per la parte di spettro da noi 
Sommario Esteso (Extended Summary) 
 13
maggiormente indagata, che è quelle delle onde β (13-21 Hz) e α (8-12 Hz), che mette in evidenza 
la parte di attenzione e concentrazione degli studenti durante le fasi di apprendimento nel caso delle 
onde β e la parte di relax e deconcentrazione nel caso delle onde α. Nel complesso della ricerca 
svolta il segnale EEG è stato il più critico da elaborare e utilizzare per ragionamenti validativi; la 
ragioni principali per le difficoltà riscontrate sono essenzialmente di due tipi: la complessità del 
segnale EEG ricco di componenti in frequenza [ref. 10], rappresentanti contributi cognitivo ed 
emotivo derivanti dalla mente e la difficoltà di eseguire misurazioni su più soggetti, difficilmente 
confrontabili vista la difficoltà insita nella misurazione stessa. Infatti il controllo delle impedenze 
determina il successo di una buona acquisizione e la capacità di eseguire una misura bilanciata 
passa attraverso una significativa esperienza da parte dell’operatore nel posizionamento degli 
elettrodi. Tuttavia il segnale EEG ci ha portato a dei risultati molto significativi. 
 
Progettazione e implementazione sistema di riconoscimento emotivo 
 
In questo capitolo viene proposta la progettazione e l’implementazione di un sistema in grado di 
utilizzare i risultati trovati nella ricerca, nelle applicazioni di formazione a distanza sia sincrone, che 
asincrone. Nello specifico viene proposto un sistema basato su una semplice interfaccia a semaforo 
(verde, giallo e rosso)  in grado a partire dai segnali fisiologici acquisiti dal sistema di fornire in 
tempo reale un riscontro dello stato emotivo dello studente, che sta fruendo un learning object. 
Una elaborazione automatica, porta alla visualizzazione dell’emozione riscontrata: 
verde=engagement, giallo=relax, verde=stress. 
Sommario Esteso (Extended Summary) 
 14
Per quanto riguarda l’implementazione del sistema, questa è stata eseguita con le funzioni messe a 
disposizione del sistema di acquisizione della Tought Technology, dotato di un set di API in grado 
fare delle elaborazioni dei segnali acquisiti dal sistema Procomp Infinity, quello utilizzato nella 
ricerca per acquisire tutti i segnali. Il sistema nel complesso si presenta come un software eseguibile 
da un client in grado di registrare i segnali provenienti dai sensori applicati allo studente; il software 
quindi li elabora ed una interfaccia è in grado di visualizzare a livello locale lo stato emotivo vissuto 
in quel momento dallo studente; un sistema di interazione con webserver consente quindi la 
visualizzazione anche attraverso interfacce web del risultato dell’interazione studente computer al 
fine di visualizzare questo contributo sia a livello remoto che a livello di repository di server. 
Questo è necessario per associare le risposte emotive dello studente ad un LMS (Learning 
Management System) e ai contenuti (Learning Object) fruiti. 
 
Sviluppi futuri 
 
Nel capitolo degli sviluppi futuri vengono riportati i primi risultati riscontrati relativi ad uno studio 
parallelo in corso che ha lo scopo di meglio evidenziare le differenze tra stress ed engagement 
visibili solo su alcuni parametri nella ricerca appena svolta. Alcune elaborazioni in effetti eseguite 
sui parametri registrati erano rappresentate da valori di stress e engagement molto simili, soprattutto 
considerando i soli dati BVP e GSR; di fatto l’aggiunta poi di parametri ulteriori ricavati da ECG e 
EEG, ovvero, l’utilizzo di un approccio multimodale riusciva a discriminare le differenti emozioni. 
L’interesse a poter meglio discriminare le emozioni partendo da BVP e GSR e più in generale a 
Sommario Esteso (Extended Summary) 
 15
partire dai soli segnali periferici, è legata alla possibilità poi di produrre degli hardware economici 
interfacciabili al computer ed in grado di interpretare le emozioni dello studente senza richiedere da 
parte di questo uno sforzo insostenibile nel momento in cui si sottopone ad un percorso di 
formazione a distanza. 
L’impegno nel progetto di ricerca che ha portato alla costruzione di un sistema in grado di 
riconoscere tre emozioni di base attraverso un approccio multimodale che necessito di almeno tre 
segnali, è sicuramente un’ottima base di partenza per portare ad un sistema meno invasivo e meno 
costoso che possa riconoscere le tre emozioni di interesse o almeno due (stress e relax per esempio) 
con un impegno economico minimo; per esempio un mouse in grado di acquisire GSR e BVP, che 
poi elaborati con la funzione implementata alla quale sono state operate le opportune modifiche, 
possa portare ad identificare nel soggetto i due stati di interesse. 
Nel capitolo quindi vengono affrontate le tematiche di rilievo al fine di poter pensare come lavoro 
futuro questo possibile approccio. 
 
Conclusioni 
 
Questo progetto di ricerca ha presentato un metodo fortemente interdisciplinare per lo studio delle 
emozioni degli studenti durante il processo di formazione a distanza. Ad oggi le esperienze in 
questo settore sono fortemente limitate e l’esperienza che abbiamo acquisito negli ultimi due anni di 
ricerca nel settore dell’affective computing ci porta alle seguenti considerazioni.