Integrazione audio-visiva nella percezione di profili complessi di moto biologico

  
 
 
- 3 -
Saranno introdotti anche alcuni studi che hanno indagato i meccanismi 
con cui il cervello umano elabora percettivamente le informazioni 
riguardanti il movimento biologico di agenti umani, nonché ricerche 
orientate ad esaminare un possibile ruolo del significato di una scena in 
relazione alla sensibilità con cui i nostri sistemi sensoriali la 
percepiscono. 
Nella nostra vita quotidiana siamo continuamente chiamati a percepire 
l’ambiente che ci circonda, in buona parte popolato da altri esseri 
umani, che mettono in atto azioni dotate di particolari significati che 
dobbiamo essere in grado di comprendere, per poter agire di 
conseguenza. 
Uno degli obiettivi di questa tesi consiste nell’indagare se la nostra 
percezione assuma caratteristiche particolari e mostri meccanismi 
specifici quando siamo chiamati a riconoscere tramite una o più 
modalità sensoriali un altro essere umano che sta effettuando azioni 
complesse dotate di un ben preciso significato. 
Una ulteriore affascinante domanda si pone riguardo al modo in cui il 
nostro cervello possa utilizzare, in situazioni come quella appena 
descritta, informazioni provenienti da canali sensoriali differenti, come 
la vista e l’udito. Ci si può anche chiedere se la congruenza nelle 
informazioni che giungono al cervello da modalità sensoriali diverse 
  
 
 
- 4 -
influenzi in qualche misura la percezione. 
L’approccio della presente tesi ai problemi affrontati è di tipo 
sperimentale, secondo un’ottica psicofisica. Assume quindi una 
particolare rilevanza non soltanto la descrizione dei meccanismi di 
funzionamento dell’integrazione sensoriale, ma anche l’analisi 
quantitativa degli effetti osservati, che si è resa possibile grazie alle 
misurazioni sperimentali realizzate nel corso di questo lavoro. 
Sarà descritta una indagine psicofisica sull’integrazione di stimoli 
audio-visivi aventi caratteristiche di movimento biologico complesso. In 
particolare, è stata valutata la capacità di discriminare sequenze di ballo 
del tip-tap in condizioni unimodali e bimodali audio-visive. Ai soggetti 
venivano presentati filmati contenenti il movimento biologico di una 
ballerina che esegue passi di tip-tap. Tali filmati potevano essere 
abbinati o meno alla traccia audio corrispondente al ballo e, quando 
video e audio erano presentati insieme, essi potevano essere tra loro in 
fase oppure fuori fase. 
E’ stata misurata la sensibilità per ciascun soggetto in ogni condizione 
sperimentale. Si è così osservato che le prestazioni dei soggetti sono 
migliori quando essi ricevono informazioni sia acustiche che visive, 
rispetto a quando ricevono informazioni soltanto visive. Inoltre, 
abbiamo dimostrato che la presentazione in fase migliora ulteriormente 
  
 
 
- 5 -
le prestazioni dei soggetti rispetto alla presentazione fuori fase. 
Ciò ha permesso di ipotizzare l’intervento di meccanismi neurali di 
integrazione bimodale operanti con differenti strategie di integrazione 
multisensoriale, di tipo probabilistico in un caso e lineare nell’altro. 
Quando il compito è bimodale, il miglioramento nelle prestazioni 
rispetto al caso unimodale può essere interpretato in relazione alla 
quantità di informazioni sensoriali, secondo quanto predetto da un 
modello di integrazione probabilistico, in linea con risultati noti in 
letteratura. Tuttavia, in compiti con informazioni bimodali congruenti, 
abbiamo evidenziato un ulteriore e significativo vantaggio percettivo. A 
differenza di studi precedenti, nei quali l’effetto della congruenza audio-
visiva non era evidente, in questa ricerca abbiamo dimostrato l’esistenza 
di un significativo vantaggio percettivo derivante dalla sincronia tra 
informazioni visive ed acustiche. Tale vantaggio consiste in un aumento 
della sensibilità quantitativamente orientato verso quanto predetto da un 
modello di integrazione lineare. 
 
  
 
 
- 6 -
2. L’integrazione multisensoriale 
 
 
La nostra percezione dell’ambiente circostante e degli eventi che in 
esso si verificano è resa possibile dal fatto che il cervello è in grado di 
ricevere informazioni da differenti canali sensoriali, tra cui la visione, 
l’udito e il tatto. Queste informazioni necessitano di essere integrate per 
formare una percezione unica e coerente. 
Una delle domande più accattivanti e dibattute delle moderne 
neuroscienze cognitive riguarda il modo in cui il nostro cervello riesca 
ad effettuare tale integrazione multisensoriale, per dar luogo ad una 
percezione coerente dell’ambiente circostante. 
Nessun sistema di elaborazione delle informazioni, tecnico o biologico, 
è abbastanza potente da poter effettuare accuratamente una percezione 
completa utilizzando soltanto informazioni provenienti da un’unica 
modalità sensoriale. 
La capacità di utilizzare informazioni multisensoriali è una caratteristica 
fondamentale dei sistemi biologici. Gli esseri umani riescono, in molti 
casi, a raggiungere una percezione completa combinando o integrando 
le informazioni provenienti da diverse modalità sensoriali. 
 
  
 
 
- 7 -
2.1. Interazioni tra modalità sensoriali 
 
Storicamente, la percezione è stata vista e studiata come una 
funzione modulare, in cui differenti modalità sensoriali operavano in 
modo separato l’una dall’altra. 
Tuttavia, recenti studi comportamentali e biologici hanno mostrato 
come questo punto di vista sia inadeguato, suggerendo che le interazioni 
tra modalità diverse sono la regola e non l’eccezione nell’ambito del 
funzionamento dei meccanismi percettivi (Shimojo & Shams, 2001). Sia 
ricerche su animali (von Melchner et al., 2000), sia casi sperimentali di 
deprivazione sensoriale su soggetti umani (Uhl et al., 1991), mostrano 
con evidenza che il cervello umano elabora le informazioni con un 
sorprendente grado di plasticità crossmodale. Infine, dati ottenuti 
tramite tecniche di neuroimmagine sostengono l’ipotesi che in molte 
aree cerebrali, in precedenza ritenute unimodali, avvenga in realtà una 
combinazione di informazioni sensoriali provenienti da modalità 
distinte (Kayser et al., 2007). Ecco perché lo studio delle singole 
modalità sensoriali ha lasciato gradualmente il passo, nell’attuale 
panorama di ricerca, allo studio delle interazioni tra modalità sensoriali 
diverse. 
Studiare ogni singola modalità sensoriale separatamente dalle altre 
  
 
 
- 8 -
potrebbe essere giustificabile soltanto se avessimo la certezza che gli 
stimoli sensoriali vengono elaborati dai rispettivi sistemi in maniera 
indipendente l’uno dall’altro. D’altra parte, è difficile sostenere che le 
modalità sensoriali operino indipendentemente l’una dall’altra, come 
moduli distinti di un sistema percettivo globale. Vi sono in letteratura 
numerose evidenze, alcune delle quali saranno descritte più avanti, a 
favore del fatto che non esistono moduli sensoriali separati che 
elaborano singolarmente le informazioni provenienti dai canali 
periferici, ma piuttosto che esistono forti interazioni tra le diverse 
modalità sensoriali. 
Una distinzione nell’ambito dello studio delle interazioni multisensoriali 
va operata tra il concetto di combinazione sensoriale e quello di 
integrazione sensoriale (Ernst & Buelthoff, 2004). 
Sappiamo che il cervello umano percepisce l’ambiente circostante a 
partire da un flusso costante di informazioni sensoriali e genera un 
percetto unico e coerente del mondo esterno. Per fare questo, molteplici 
sorgenti di informazione sensoriale vengono continuamente analizzate e 
combinate. Spesso, l’informazione proveniente da un singolo canale 
sensoriale non è sufficiente a generare una percezione unica e coerente 
del mondo che ci circonda. Infatti sono numerose le situazioni in cui 
l’informazione che arriva tramite uno specifico sistema sensoriale 
  
 
 
- 9 -
contiene ambiguità tali da potersi prestare a differenti interpretazioni da 
parte del cervello umano. Risulta quindi necessario utilizzare una 
quantità di informazione addizionale, proveniente dallo stesso, ma più 
spesso da un differente canale sensoriale. L’informazione aggiuntiva 
permette di sciogliere l’ambiguità della percezione iniziale. In altre 
parole, il cervello raccoglie le informazioni provenienti da diversi canali 
sensoriali e le combina per risolvere ogni possibile ambiguità. Questa 
strategia è utilizzata dal nostro cervello per formare una percezione 
completa dell’ambiente circostante. La percezione è dunque 
multisensoriale: se una singola modalità non è sufficiente a generare una 
percezione completa, le informazioni provenienti da differenti modalità 
sensoriali possono essere combinate. L’effetto della combinazione delle 
informazioni provenienti da diverse modalità consiste in un aumento del 
contenuto informativo disponibile e dunque in una percezione più 
coerente e robusta degli stimoli ambientali. Quando il cervello umano 
utilizza informazioni provenienti da differenti modalità combinando 
segnali sensoriali non ridondanti si parla di combinazione sensoriale. 
Le interazioni tra segnali sensoriali ridondanti permettono di descrivere 
un’altra modalità di utilizzo delle informazioni sensoriali da parte del 
cervello umano, definita integrazione sensoriale. Spesso è disponibile 
più di un singolo contenuto informativo nella percezione di una 
  
 
 
- 10 -
caratteristica ambientale. Possono giungere a differenti sistemi 
sensoriali informazioni riguardanti un medesimo oggetto dell’ambiente 
che ci circonda e del quale si è chiamati a stimare una o più proprietà. 
In tal caso, l’informazione proveniente da diverse modalità sensoriali è 
ridondante, in quanto sono disponibili più informazioni riguardo ad una 
stessa caratteristica o proprietà di uno stimolo. Il cervello umano deve 
quindi integrare le informazioni sensoriali in modo da formare una 
percezione multisensoriale coerente. E’ interessante studiare i 
meccanismi che sottostanno a tale integrazione e indagare a quale 
livello tale integrazione viene effettuata. 
In alcuni casi, l’informazione proveniente da uno specifico canale 
risulta dominante rispetto a quella proveniente da uno o più sistemi 
sensoriali differenti, così che la decisione percettiva finale rispecchia in 
larga misura l’informazione percettiva ricevuta tramite il canale 
dominante. E’ interessante notare che in diverse situazioni il ruolo 
dominante è svolto da modalità differenti.  
In un classico esperimento sull’integrazione visuo-aptica (Rock & 
Victor, 1964), i soggetti dovevano giudicare la dimensione di un oggetto 
quadrato che poteva essere toccato e contemporaneamente guardato 
tramite una lente che lo faceva apparire rettangolare. Nella maggior 
parte dei casi, le risposte dei soggetti rispecchiavano ciò che essi 
  
 
 
- 11 -
vedevano, evidenziando un fenomeno di dominanza della visione noto 
come “cattura visiva”. 
Ciò non accade sempre in compiti crossmodali. Infatti, in un’altra 
circostanza sperimentale, alcuni soggetti furono sottoposti ad un 
compito nel quale dovevano dichiarare il numero di lampi luminosi 
percepiti durante un breve intervallo in cui venivano presentati quasi 
simultaneamente sia dei lampi luminosi che dei segnali acustici in 
differente quantità (Shams et al., 2000). Quando ai soggetti erano 
presentati in uno stesso intervallo un solo lampo luminoso 
accompagnato da due segnali acustici, essi riportavano frequentemente 
di aver percepito due lampi luminosi. Questo particolare tipo di 
integrazione crossmodale tra informazioni visive ed acustiche in 
contrasto tra loro, in cui l’esito percettivo è dipendente in maggior 
misura dalle informazioni uditive, è noto come “cattura uditiva”. 
Uno dei casi più noti in letteratura nel quale si evidenzia una chiara 
interazione audio-visiva è il cosiddetto “effetto McGurk” (McGurk & 
MacDonald, 1976). In questo effetto, un singolo fonema è identificato 
scorrettamente da un ascoltatore se questi può osservare, 
contemporaneamente al suono, una persona che effettua il movimento 
labiale corrispondente alla pronuncia di un diverso fonema.