Un'interfaccia percettiva basata su visione per il gaze tracking

Capitolo 1
Introduzione
Il gaze tracking, comunemente chiamato anche eye tracking (in qualche modo im-
propriamente, v. §1.3), è il processo di misurazione del punto osservato tenente
conto della posizione e del movimento dell’occhio (o meglio, di entrambi gli occhi),
ed eventualmente anche della testa. I dispositivi per effettuare questa misurazione
sono definiti eye tracker, e sono utilizzati nelle ricerche mediche e fisiologiche sul-
l’apparato visivo oltre che in quelle psicologiche relative ai processi cognitivi e per il
design di prodotti. Esistono molti metodi per effettuare questo tipo di misurazione,
diversi per costo, efficienza, invasività, dall’utilizzo degli infrarossi ai metodi basati
su elettrooculogramma [1].
1.1 Storia del gaze tracking
Fino al XIX secolo non esisteva un vero e proprio “studio dei movimenti degli oc-
chi”, se non nella forma assai limitata di una grossolana osservazione diretta. In
quest’epoca mancante di calcolatori (tanto più di schermi e videocamere), è degna
di nota la scoperta dell’oculista francese Louis Émile Javal [2], che si pone alle ra-
dici dell’eye tracking moderno. Nel 1879 egli constatò che la lettura non comporta
uno “scorrimento” regolare degli occhi lungo il testo (come si credeva in precedenza)
bensì una serie di piccole “soste”, dette fissazioni, e di rapidi movimenti tra queste,
detti saccadi (Fig. 1.1). Questa scoperta ha gettato le basi dei successivi studi che
ci portano fino ai giorni nostri, con le relative implicazioni mediche, psicologiche (su
quali parole ci si sofferma?), ecc.
3
4 CAPITOLO 1. INTRODUZIONE
Figura 1.1: Studio di saccadi e fissazioni durante la lettura [3].
I primissimi metodi per la misurazione del punto di sguardo erano piuttosto in-
vasivi (contatto diretto con l’occhio), sino al 1901, quando gli psicologi sperimentali
Dodge e Cline [4] utilizzarono per la prima volta la luce riflessa dalla cornea, regi-
strata su una lastra fotografica per rilevarne gli spostamenti. Nel 1905 entrarono a
far parte di questa evoluzione nientemeno che le neonate tecniche cinematografiche:
Judd, McAllister e Steel [5] elaborarono una tecnica che registrava il movimento
di una piccola lamina bianca posizionata sulla cornea. Negli anni successivi, anche
Edmund Huey [6] (autore del libro “The Psychology and Pedagogy of Reading”,
1908) utilizzò una sorta di lenti a contatto con un piccolo foro centrale, connesse ad
un puntatore che si muoveva in corrispondenza dei movimenti oculari. I successivi
sviluppi, per quanto riguarda la prima metà del ventesimo secolo, furono sempre
incentrati su combinazioni di tecniche cinematografiche e fotografiche (anch’esse in
evoluzione) per lo studio della riflessione corneale. Nell’immediato secondo dopo-
guerra (1947) l’eye tracking conobbe una fase importante [7]: Paul Fitts e i suoi
collaboratori diedero il via alla prima applicazione dell’eye tracking per l’ergonomia
(studio dell’interazione utente-prodotto), studiando i movimenti oculari di piloti
di aereo nell’osservazione di controlli e strumenti. L’anno successivo, Hartridge e
Thompson realizzarono il primo eye tracker “head mounted”; l’eye tracking si liberò
quindi del vincolo di immobilità della testa, con un dispositivo leggermente più in-
vasivo ma che poteva rivelarsi certamente utile a molti scopi, e che gettò comunque
una buona base per gli standard attuali. Sempre in questo periodo, un dispositivo
notevolmente meno invasivo fu realizzato da Guy Thomas Buswell all’Università di
Chicago. Esso utilizzava fasci di luce riflessi dall’occhio e registrati su una pelli-
cola. Grazie ad esso Buswell compì studi approfonditi nell’ambito della lettura e
visualizzazione di immagini specie relativamente all’apprendimento. Con l’arrivo
degli anni ’50, importanti ricerche furono svolte dallo psicologo Alfred L. Yarbus
(Fig. 1.2), ricerche che conobbero ulteriori espansioni negli anni ’70 e ’80, periodo
nel quale gli studi sul movimento oculare e sull’eye tracking rifiorirono con grandi
1.2. APPLICAZIONI DEL GAZE TRACKING 5
progressi sia nella tecnologia sia nella teoria psicologica riguardante i legami tra i
processi cognitivi e i movimenti oculari. Gran parte del lavoro fu focalizzato sulla
ricerca nell’ambito della psicologia e della fisiologia nel comprendere questi legami,
con particolare attenzione agli aspetti riguardanti la lettura.
Figura 1.2: Studio di Yarbus del 1967 sui movimenti oculari [3].
Negli anni ’70 si iniziò momentaneamente a trascurare l’utilizzo dell’eye tracking
per l’ergonomia, ritrovato poi a seguito di migliorie tecniche dei tracker, prima per
alcune applicazioni militari [9, 11], poi con il diffondersi dei personal computer, negli
anni ’80. A questo punto, i ricercatori iniziarono a studiare le possibili applicazioni
all’interazione uomo-macchina negli studi di usabilità e accessibilità.
1.2 Applicazioni del gaze tracking
Anche solo nella trattazione storica appena conclusa, si sono citate molteplici ap-
plicazioni dell’eye tracking, nei più svariati ambiti, anche interoperabili tra loro.
Un’applicazione molto importante, come detto, è l’ergonomia, intesa come studio
dell’interazione utente-prodotto al fine di migliorare il prodotto stesso. Recenti mi-
glioramenti nell’hardware e nel software lo hanno reso un approccio molto realistico
per la misura dell’usabilità [8], alla quale peraltro si prestano meglio i più recenti
dispositivi non invasivi. Esempi tipici sono quelli sullo studio di una pagina web o
dell’interfaccia grafica di un’applicazione, non limitandosi però al “dove” si guarda
ma considerando anche il numero e la durata delle fissazioni e il loro percorso, tutti
parametri utili alla valutazione dell’ergonomia e dell’usabilità (Fig. 1.3, 1.4).
6 CAPITOLO 1. INTRODUZIONE
Figura 1.3: Studio di saccadi e fissazioni su pagina web e relativa hotspot map [10].
Figura 1.4: Rappresentazione 3D della durata delle fissazioni su una pagina web
[11].
Siamo chiaramente nell’ambito degli studi sull’interazione uomo-macchina, dove
“macchina” non è necessariamente un computer, ma in senso lato può essere di ogni
genere, come ad esempio un mezzo di trasporto. Nella parte storica si è citato a più
riprese il campo aeronautico, ma si compiono molti studi di questo tipo anche in
quello automobilistico (Fig. 1.5).
Figura 1.5: Studio comportamentale su diversi tipi di soggetti in situazione di
pericolo guidando un’autovettura [3].
1.3. EYE TRACKING O GAZE TRACKING? 7
Altre applicazioni tra le principali sono quelle degli studi di carattere medico-
fisiologico e psicologico sul movimento oculare. In particolare, le prime sono speci-
fiche negli strumenti e nelle tecniche, che talvolta sono molto invasive e richiedono
molta precisione. Per la loro natura e scopo, esse esulano dagli obiettivi di que-
sta tesi. Ambiti che invece ci interessano sono principalmente quelli interattivi, sia
relativi a studi di psicologia ed ergonomia, sia, e soprattutto, interattivi in senso
stretto. Parliamo di veri e propri sistemi di puntamento e/o controllo basati sull’eye
tracking, a sé stanti o integrati con altri a seconda dei casi, che sono molteplici, ma
che principalmente si possono riassumere nei seguenti due:
• Utilizzo da parte di soggetti normodotati: ad esempio, un operatore che deve
lavorare con un sistema a schermo molto ampio (o addirittura multi scher-
mo) troverebbe vantaggi in termini di efficienza, praticità e tempo risparmiato
integrando il puntamento oculare con quello tradizionale.
• Utilizzo da parte di soggetti diversamente abili, affetti da patologie o disturbi
tali da impedire l’utilizzo di sistemi di puntamento tradizionali (es. SLA, lesio-
ni spinali o cerebrali, distrofia muscolare, sclerosi multipla): in questi casi gli
eye-tracker sono utilizzati per dialogare verbalmente o controllare dispositivi
di varia natura.
1.3 Eye tracking o gaze tracking?
E’ opportuno a questo punto un chiarimento su una terminologia che spesso è usata
ambiguamente o impropriamente, anche in quanto scritto finora nel presente lavoro.
“Eye tracking” in senso stretto significa appunto “tracciamento dell’occhio”, ovvero
la misura di posizione e rotazione dell’occhio rispetto al sistema di riferimento/mi-
surazione. Con “gaze tracking” intendiamo invece la determinazione del punto di
sguardo, a monte della quale tuttavia troviamo pressoché sempre un eye tracking
puro. Se il sistema di misurazione è montato sulla testa, oppure la testa ha una
posizione fissata, è semplicemente misurato l’angolo di rotazione dell’occhio rispetto
alla testa, dal quale molto banalmente si ricaverà il punto di sguardo, per cui in
questo caso possiamo considerare eye e gaze tracking come un unico processo. Se il
sistema di misurazione non è head-mounted ma “desktop”, con la testa che ha posi-
zione e orientamento variabili, il processo diventa più complicato e aver localizzato
l’occhio è cosa ben lontana dall’aver determinato il punto di sguardo; quindi eye e
gaze tracking si differenziano più fortemente. Ad ogni modo, si continueranno qui
ad usare indistintamente entrambi i termini, intendendo però sempre e comunque
la determinazione del punto osservato.
8 CAPITOLO 1. INTRODUZIONE
1.4 Tipologie di eye tracker
Per la vasta gamma di applicazioni viste nell’introduzione, le famiglie di eye tracker
che si sono sviluppate sono fondamentalmente tre [1, 11, 12]:
• Dispositivi strettamente a contatto con l’occhio, come lenti a contatto che inte-
grano delle componenti riflettenti o magnetiche, che consentono (fatta salva la
condizione di non “scivolare via” in maniera troppo marcata con il movimento)
misurazioni estremamente precise. Questi dispositivi sono per lo più utilizzati
nello studio degli aspetti strettamente psicologici del movimento oculare.
• Metodi basati sulle differenze di potenziale misurate con elettrodi posizionati
attorno agli occhi; più precisamente abbiamo un polo positivo a livello della
cornea e uno negativo a livello della retina. Il segnale elettrico derivante è
chiamato elettrooculogramma (EOG). Sono in grado di misurare movimenti
anche ad occhi chiusi e vengono utilizzati nella ricerca medica (es. rilevamento
dei movimenti oculari quotidiani, studio della fase REM del sonno).
• Dispositivi basati su metodi ottici non a contatto con l’occhio: utilizzano
videocamere e/o emettitori e sensori opportuni per stimare la rotazione e il
movimento degli occhi. E’ immediato riscontrare quanto siano molto meno
invasivi rispetto ai precedenti.
1.4.1 Dispositivi basati su metodi ottici
Quest’ultima categoria comprende gli eye tracker usati nell’ambito multimediale e
HCI per determinare il punto osservato. Ne abbiamo varie tipologie [1, 12]:
• Sistemi head-rest: il tracking avviene in un cosiddetto “ambiente controllato”,
ovvero con un limitato (se non nullo) movimento della testa e parametri co-
me illuminazione, distanza, ecc. prefissati, o meglio, “propri” del dispositivo.
Permettono di campionare ad alte frequenze e di rilevare movimenti oculari e
spostamenti dello sguardo molto limitati (dell’ordine di frazioni di grado). E’
evidente però che sono fortemente limitativi (Fig. 1.6).
1.4. TIPOLOGIE DI EYE TRACKER 9
Figura 1.6: Esempio di sistema head-rest [12].
• Sistemi head-mounted: in questi sistemi ci si libera del vincolo di movimento
della testa, o meglio, si può tenerne conto separatamente (se necessario) in
quanto l’intero apparato è fissato alla testa (Fig. 1.7).
Figura 1.7: Esempio di sistema head-mounted [13].
• Sistemi con videocamera remota: è la soluzione più interessante, la meno
invasiva in assoluto, in quanto naturale e senza nessuna intrusione verso il
soggetto o l’ambiente. In questi sistemi è però necessario localizzare gli occhi
all’interno dell’input video, talvolta previa localizzazione del viso, a seconda
di quali metodi si utilizzano.
1.4.2 Metodi ottici
Laprincipaledistinzionepuòesserefattatrametodi“attivi” e“passivi”, perilmotivo
che sarà meglio evidenziato in seguito; nel frattempo vediamo quali sono i principali
esponenti delle due categorie:
• Metodi che sfruttano la riflessione corneale (Fig. 1.8). Si tratta di metodi
attivi. Sono basati sulla riflessione di un fascio di luce infrarossa da parte
dellacornea, riflessionelacuivariazionevieneelaborataperstimarerotazionee
posizione degli occhi. Non occorre rilevare viso e occhio completo. Tuttavia, la
più grossa limitazione alla diffusione di questi metodi è il costo non indifferente