Introduzione
Capitolo 1. Introduzione
Introduzione
1.1 Introduzione
La tecnologia multitouch è ancora considerata come qualcosa di nuovo e di „hi-tech‟ poiché non è
ancora commercializzata al pubblico su vasta scala.
Eppure molti grandi display interattivi sono già stati collocati in spazi pubblici. Finora la
maggior parte di applicazioni fornite su display ha come scopo principale l‟intrattenimento o la
pubblicità. Ad esempio, il display multitouch installato all‟Hard Rock Cafè [Digital Obscura, 2011]
permette agli ospiti di trovare gli oggetti di proprietà degli altri Hard Rock Cafè dislocati nel
mondo, esplorare le immagini degli interni ed esterni delle loro sedi, etc [Microsoft, 2011]. Il
CityWall è un altro esempio di display multitouch installato in una strada pubblica di Helsinki
[Peltronen et al., 2008]: le persone possono interagire con immagini scaricate da flickR [FlickR,
2011]. I magic mirrors [D. Michelis et al., 2011] (specchi magici) sono quattro schermi installati a
Berlino, che mostrano l‟immagine speculare delle persone e l‟ambiente di fronte a loro, applicando
effetti ottici che cambiano in base ai gesti che le persone compiono davanti a questi specchi [Müller
J. et al., 2010].
I ricercatori e i tesisti dell‟IVU Lab di Bari stanno sviluppando applicazioni che cercano anche
delle risposte alla domanda riportata sul titolo della tesi: “Schermi multitouch in spazi pubblici: solo
pubblicità o anche servizi utili?”; sono, infatti, orientati allo sviluppo di applicazioni più funzionali
in contesti come il patrimonio culturale [Ardito C. et al., 2009] [Desolda G. 2009], il turismo
[Ardito C. et al., 2010] ed eventi pubblici. In altre parole, l‟obiettivo di tali applicazioni è di andare
oltre il puro divertimento, offrendo agli utenti la possibilità di recuperare informazioni o eseguire
operazioni come la definizione del proprio itinerario turistico, prenotando un ristorante o un evento
specifico, fornendo giochi a supporto dell‟apprendimento di concetti relativi ai beni culturali.
Queste applicazioni sono state valutate preliminarmente con alcuni utenti finali nel nostro
laboratorio. L‟IVU lab adesso sta pianificando ed eseguendo valutazioni più estese e complete di
queste applicazioni sul campo, per comprendere meglio il loro impatto in situazioni reali. La
valutazione in laboratorio, infatti, troppo spesso non basta a valutare tutti gli aspetti di un sistema
perché, com‟è noto dalla letteratura, “c‟é un‟enorme differenza tra i risultati ottenuti in laboratorio e
quelli ottenuti sul campo pur utilizzando la stessa configurazione”[Ojala et al., CHI 2011].
Metodi di valutazione che coprono tutti gli aspetti dei display multitouch ad oggi non sono
presenti e per questo l‟IVU Lab sta lavorando a un framework per la valutazione degli schermi
multitouch [Ardito C. et al., 2011] che approfondisce le questioni specifiche rilevanti per la
valutazione dei display installati in luogo pubblico come lo spazio fisico in cui è collocato, le sue
dimensioni e le applicazioni fornite. Tali fattori influenzano direttamente le altre variabili
comportamentali e psicologiche: interazione di gruppo o individuale, condivisione dello spazio
d‟interazione, proprietà dei contenuti mostrati, movimento delle persone vicino al display, etc.
5
Introduzione
1.2 Motivazioni
Nonostante il diffondersi delle tecnologie tattili, ancora poche applicazioni sono realmente in grado
di permettere agli utenti la realizzazione di compiti complessi o che sfruttino realmente i benefici
della tecnologia multitouch [Koch M. et al., 2009]; infatti, i prodotti che sono presenti sul mercato,
molto spesso non sono altro che una trasposizione dei classici software con tipica interfaccia
grafica, da utilizzare però con le mani; lì dove invece l‟interazione con i software cerca di sfruttare
al meglio le capacità del multitouch ottenendo il massimo rendimento da gesti diversamente
complessi, il risultato è spesso un software banale, commercialmente non produttivo e soprattutto
non capace di ammortizzare i costi che la tecnologia in oggetto deve sostenere [Czerwinski M. et
al., 2003] [Veenstra M. et al., 2011] [Czerwinski, M. et al., 2003] [Klopping I.M. et at., 2004].
Ciò che quindi si deve cercare di realizzare è far avvicinare questi due punti ancora molto
distanti: da un lato bisogna creare applicazioni più complesse e realmente utili, dall‟altra ci si deve
sforzare di far sì che questi prodotti sfruttino concretamente le potenzialità di questi schermi, che
non si limitino solo al poter toccare punti dello schermo o trascinare oggetti, ma prevedano la
possibilità di scalare e ruotare facilmente gli oggetti, creare gesti personalizzati [Wobbrock J.O. et
al., 2009] adatti ai vari contesti d‟uso (in modo da essere intuitivi ai vari utilizzatori), porre più mani
contemporaneamente sullo schermo, essere usati da diversi utenti nello stesso istante e tanto altro.
Per il raggiungimento di tali obiettivi, è necessario un attento e accurato percorso di ricerca e
sperimentazione.
1.3 Contributi principali
Il mio lavoro di tesi è il proseguimento di un‟attività cominciata con la tesi triennale e proseguita
nell‟arco del corso di laurea magistrale con approfondimenti e progetti di vario tipo. Durante questo
periodo, ho svolto un approfondimento presso il laboratorio IVU di Bari sotto la supervisione dei
suoi ricercatori, lavorando con una nuova tecnologia multitouch basata su schermi led ad alta
risoluzione e rilevamento dei tocchi delle mani a tecnologia agli infrarossi. Il tutto è avvenuto
collaborando con altri tesisti del laboratorio IVU di Brindisi, allo scopo di creare una suite di
applicazioni utilizzabili ai congressi, con lo scopo di renderli anche riutilizzabili in altre occasioni
analoghe, personalizzandoli in base alle diverse esigenze secondo gli approcci attuali dell‟end-user
development.
Oltre allo studio di schermi multitouch e delle loro applicazioni, durante il mio lavoro di tesi
ho creato l‟applicazione chiamata „Interactive Program‟, capace di visualizzare in modo efficace il
programma di un congresso, varie informazioni dettagliate come ad esempio contenuti testuali che
descrivono le varie presentazioni, contenuti multimediali come video e foto riguardanti congressisti
o articoli, collegamenti tramite browser multitouch alle pagine più importanti degli autori e altro.
Inoltre, per favorire l‟utilizzo di più applicazioni contemporaneamente in condizioni così particolari
6
Introduzione
come quelle di un congresso dove c‟è bisogno di molta velocità, ho progettato e implementato una
soluzione per eseguire contemporaneamente più applicazioni passando tra esse in maniera facile,
rapida e affidabile.
1.4 Outline della tesi
La tesi è organizzata come segue:
Il capitolo 2 riporta lo stato attuale delle tecnologie multitouch, evidenziandone aspetti e
differenze
Il capitolo 3 descrive il framework MT4J, utilizzato per lo sviluppo delle nostre
applicazioni
Il capitolo 4 descrive „Interactive Program‟, un‟applicazione per visualizzare il
programma di un congresso e relativi contenuti, presentando anche la soluzione proposta
per eseguire diverse applicazioni sullo stesso schermo favorendo tra loro un rapido
passaggio
Il capitolo 5 descrive la sperimentazione sul campo della suite prodotta dall‟IVU Lab di
Bari e Brindisi avvenuta durante il congresso IS-EUD 2011.
Il capitolo 6 riporta i dettagli della progettazione user-centered di “Interactive Program”.
7
Tecnologie multitouch
Capitolo 2. Tecnologie multitouch
8
Tecnologie multitouch
2.1 Introduzione
La tecnologia multitouch ha origini negli anni „60 quando, presso i laboratori dell‟università
dell‟IBM, prendevano vita i primi prototipi di tecnologia touch-screen, quindi quasi cinquanta anni
prima della vera commercializzazione di massa di questa tecnologia [Woo L.J., 2011] [Desolda G.
2009].
A oggi, esistono diverse tecnologie hardware [Nanomarkets 2010] per rendere gli schermi
capaci di rilevare i tocchi delle mani e al momento solo cinque di queste possiamo definirle stabili:
1) FTIR (Frustated Total Internal Reflection).
2) Rear/Front DI (Rear/Front Diffused Illumination).
3) LLP (Laser Light Plan).
4) LED-LP (Led Light Plane).
5) DSI (Diffused Surface Illumination).
Tutte queste tecniche largamente utilizzate nel campo delle tecnologie multitouch tendono a
sfruttare l‟utilizzo di camere per il rilevamento dei tocchi.
Altre tecnologie meno utilizzate, invece, usano sensori di prossimità e sensori acustici,
particolari soluzioni capacitive (iPhone), resistive, rilevamento della pressione, etc. Molto spesso,
inoltre, queste tecniche sono combinate per migliorare i risultati in termini di precisione di
rilevamento dei tocchi.
Ciò che però rende queste ultime soluzioni limitatamente utilizzate si giustifica per diversi
motivi: la precisione scarsa come nel caso dei sensori acustici e gli elevati costi di produzione nel
caso di schermi capacitivi e resistivi per grandi superfici.
2.2 Tecnologie ottiche
Le soluzioni multitouch ottiche sono quelle basate su video-camera (o più semplicemente camera) e
sono adottate nella maggior parte dei dispositivi tattili, soprattutto per gli schermi di medie e grandi
dimensioni. La ragione che sottende tale successo della tecnologia ottica è da ricercare in diversi
fattori: in primis il costo molto contenuto per la realizzazione, poi la scalabilità poiché è molto
semplice creare schermi sempre più grandi senza troppi sforzi e in ultimo l‟indiscussa facilità di
costruzione [JEFFERSON, Y.H. 2005].
FTIR, FDI, RDI, LLP e DSI sono esempi di sistemi di questo tipo. Ognuna di queste tecniche
ha come comune denominatore la presenza di un sensore ottico, tipicamente una video-camera agli
infrarossi, una sorgente di luce infrarossa e uno schermo su cui visualizzare le immagini come ad
esempio schermi con retro-proiettore o LCD.
9
Tecnologie multitouch
2.3 Tecnologia Frustated Total Internal Reflection (FTIR)
Il nome FTIR è stato adottato dalla comunità del multitouch per descrivere quella tecnologia ottica
sviluppata nel 2005 da Jeff Han [Jefferson Y.H., 2005]. Il nome nasce dalla condizione presente in
certi materiali (esempio plexiglass di copertura dello schermo multitouch) nei quali la luce entra da
un altro materiale (vetro del laser infrarosso) con un indice di refrazione molto alto, a un angolo
d‟incidenza maggiore di una soglia prefissata. Questa soglia dipende dall‟indice refrattivo di
entrambi i materiali ed è noto come angolo critico che può essere calcolato matematicamente con la
legge di Snell. Quando questo accade, nessuna refrazione occorre nel materiale, e il fascio di luce è
totalmente riflesso.
Il metodo di Han usa questo principio, illuminando l‟interno di una lastra di materiale acrilico
(esempio il plexiglass) con luce infrarossa che rimane intrappolata all‟interno della lastra. Quando
l‟utente pone a contatto la mano con la lastra, i raggi infrarossi vengono „frustati‟ fuori da questa e
quindi la riflessione non è più totale in quel punto. Questa luce „frustata‟ è proiettata verso il lato
opposto al punto di contatto con l‟utente, dove c‟è una video-camera capace di rilevare i fasci di
luce prodotti. La camera trasferisce poi questi fotogrammi a un software per farli interpretare come
gesti.
Figura 1: Schema del FTIR
2.4 Tecnologia Diffused Illumination (DI)
Questa tecnologia può essere implementata in due modi: frontalmente (Front Diffused Illumination)
e posteriormente (Rear Diffused Illumination). Entrambe le tecniche condividono lo stesso
10
Tecnologie multitouch
principio, cioè il contrasto tra l‟immagine rilevata dalla video-camera e l‟ombra delle dita quando
vengono a contatto con la superficie.
2.4.1 Front Diffused Illumination (FDI)
Nel caso del FDI, la luce ambientale o meglio un fascio di luce infrarossa illumina la superficie
dello schermo; posteriormente è posta una video-camera che rileva gli infrarossi come in FTIR.
Quando un oggetto o un dito tocca la superficie, un‟ombra è creata in prossimità del punto di
contatto.
Figura 2: Front Diffused Illumination
2.4.2 Rear Diffused Illumination (RDI)
Secondo quanto sarà grande la superficie dello schermo, è molto importante ottenere
un‟illuminazione uniforme con le sorgenti luminose infrarosse installate posteriormente allo
schermo. Se l‟illuminazione non è omogenea, in alcune aree dello schermo le dita saranno rilevate
meglio, in altre peggio; in casi estremi si potrebbero avere zone mai rilevabili o punti in cui c‟è
talmente troppa illuminazione che anche le ombre o le luci ambientali potrebbero essere confuse
con le dita.
11
Tecnologie multitouch
Figura 3: Rear Diffused Illumination
2.5 Tecnologia Laser Light Plane (LLP)
Un fascio d‟infrarossi è proiettato proprio sopra la superficie formando un piano di luce laser alto
circa 1 mm.
I laser infrarossi rappresentano un modo facile ed economico per creare schermi multitouch
usando la metodologia LLP. Tradizionalmente c‟è bisogno di un numero di laser non superiore a 4,
posti negli angoli dello schermo. Per il resto, sia la superficie sia la video-camera sono analoghe alle
tecnologie in precedenza descritte.
Figura 4: Laser Light Plane
12