Applicazioni di mixed reality su PDA

Capitolo 1
Introduzione generale
1.1 Un nuovo approccio per la creazione di ambienti
sintetici interattivi
Negli anni ‘70, in seguito all’introduzione nel mercato informatico dei primi ela-
boratori con una rudimentale interfaccia grafica, e successivamente negli anni ‘80,
periodo in cui furono prodotte le prime workstation espressamente dedicate all’e-
laborazione grafica (SGI), molti ricercatori intravidero la possibilità di creare degli
ambienti tridimensionali immersivi del tutto simili alla realtà ma totalmente sintetici
dando origine al ramo dell’informatica oggi chiamato realtà virtuale.
Successivamente, negli anni ‘90 ci si accorse che nonostante la disponibilità di
sistemi di elaborazione sempre più potenti, lo sviluppo di tali ambienti virtuali, al
fine di una maggiore accuratezza, era limitato da due principali fattori: la necessità
di disporre di modelli del mondo reale sempre più dettagliati e complessi, anche per
la simulazione di oggetti secondari rispetto alla scena, e la mancanza di trasduttori
elettronici in grado di eccitare adeguatamente tutti i sensi degli attori coinvolti nella
simulazione.
Si constatò inoltre che esistono moltissime applicazioni pratiche in cui non vi è la
necessità di simulare interamente un ambiente piuttosto di miscelare le informazioni
che giungono dal mondo reale con le informazioni elaborate dal sistema informatico.
Nacque così un nuovo ramo dell’informatica denominato mixed reality.
1.2 Milgram Reality -Virtuality Continuum
Nel 1994 Milgram [2, 3] descrisse una completa tassonomia in grado di individuare
esattamente come sono relazionate la realtà virtuale e la mixed reality.
1
1 – Introduzione generale
Milgram nella sua tassonomia definisce i sistemi mixed reality quei sistemi che
si frappongono tra quelli puramente reali e quelli puramente virtuali.
La mixed reality rappresenta quindi gli ambienti in cui la realtà virtuale, sinte-
tizzata con gli elaboratori, viene in qualche modo composta con il mondo reale. Se
in tale composizione l’aspetto predominante è rappresentato dalla realtà virtuale si
parla di virtualità aumentata; viceversa si parla di realtà aumentata nel caso in cui
il mondo reale rappresenta il fattore predominante.
Il risultato della classificazione di Milgram viene riepilogato nella figura 1.1
attraverso il diagramma del continuum tra mondo reale e virtuale.
Figura 1.1. Continuum reale - virtuale di Milgram
Attualmente sia i sistemi a virtualità che quelli a realtà aumentata vengono
ampiamente utilizzati per la creazione di prodotti commerciali; ciò nonostante i primi
hanno trovato un naturale sviluppo principalmente nel settore dell’intrattenimento
a differenza dei sistemi a realtà aumentata che si stanno rilevando degli strumenti
efficaci in molteplici fasi di diversi settori produttivi.
1.3 Milgram e la tassonomia dei sistemi di visualiz-
zazione per la mixed reality
In un generico sistema mixed reality i dispositivi di visualizzazione rappresentano
di norma la periferica principale per la composizione del mondo reale col mondo
virtuale.
Milgram [2] individua nella sua tassonomia sei diverse tipologie di sistemi mixed
reality che differiscono essenzialmente per tre principali fattori: il grado di immer-
sione offerto dal sistema, il metodo di composizione utilizzato (ottico o digitale) e il
grado di realismo reso.
Vengono di seguito brevemente descritte le sei diverse tipologie di sistemi mixed
reality.
2
1 – Introduzione generale
1. visualizzazione basata su monitor non immersivi. Questi sistemi permettono la
composizione digitale o elettronica dell’ambiente reale con l’ambiente virtuale.
I vantaggi principali sono il basso costo e la possibilità di generare in tempo
reale la composizione, mentre il principale svantaggio risiede nello scarso senso
di immersione offerto all’utente e uno scarso senso della profondità dell’am-
biente generato. Per ottenere un sistema maggiormente immersivo sono allo
studio alcuni tipi di monitor in grado di rendere una visione stereoscopica.
Al fine di fornire un accesso all’ambiente generato da questi sistemi viene
utilizzato solitamente il paradigma di finestra sul mondo (paradigma WOW1)
o quello delle lenti magiche ;
2. visualizzazione attraverso monitor immersivi. Questi sistemi permettono un
maggior grado di immersione nell’ambiente in quanto il monitor viene posto
davanti agli occhi dell’utente attraverso l’utilizzo di un casco o di un paio di
occhiali. Questi sistemi vengono nominati HMD2;
3. visualizzazione attraverso HMD parzialmente opachi. Questi sistemi sono in
grado di generare una composizione ottica del mondo reale col mondo virtuale
e hanno il grande vantaggio di non introdurre nessun tipo di alterazione alle
dimensioni del mondo reale;
4. visualizzazione con l’utilizzo di monitor HMD come nel punto precedente ma
completamente opachi. In questo caso le immagini vengono ottenute grazie
alla composizione digitale o elettronica; ciò nonostante anche per questi dispo-
sitivi si garantisce un rapporto unitario tra le dimensioni del mondo reale e le
dimensioni del mondo composto;
5. ambienti di visualizzazione generati interamente dai sistemi di elaborazione e
completamente immersivi in cui le sequenze del mondo reale vengono usate
come texture degli oggetti tridimensionali. In questo caso gli oggetti reali non
interferiscono con gli oggetti del mondo virtuale.
6. ambienti di visualizzazione generati interamente dai sistemi di elaborazione e
parzialmente immersivi in cui alcuni oggetti del mondo reale possono avere un
ruolo o interferire con gli oggetti del mondo virtuale.
La classificazione di Milgram deve la sua origine a due esigenze specifiche: la pos-
sibilità per uno sviluppatore di individuare in modo semplice e veloce il paradigma
di visualizzazione corretto per l’implementazione del proprio lavoro e la possibilità
1dall’inglese Window On World
2dall’inglese Head Mounted Display
3
1 – Introduzione generale
per un utilizzatore di un generico sistema mixed reality di individuare a priori quali
sono le caratteristiche fornite dal sistema in esame.
A tale proposito è possibile constatare che nei sistemi {1,2,4} il mondo reale
rappresenta un fattore predominante rispetto al mondo virtuale in contrapposizione
ai sistemi {5,6} in cui il fattore predominante di visualizzazione è rappresentato dal
mondo virtuale.
In alcuni sistemi {3,6} il mondo reale viene visualizzato direttamente (attraverso
l’aria o gli occhiali) in contrapposizione ai sistemi {1,2,4,5} in cui la scena reale viene
digitalizzata ed elaborata prima di essere visualizzata.
Considerando il punto di osservazione dell’utente il sistema {1} offre un grado di
immersione praticamente nullo in contrapposizione ai sistemi {2,3,4,6} che offrono
un elevato grado di immersione.
Infine per i sistemi {3,4,6} è obbligatorio garantire un accurato rapporto unitario
tra le dimensioni e le proporzioni del mondo visualizzato con quelle del mondo reale
mentre per i sistemi {1,2} questo fattore è meno critico.
Il lavoro presentato in questo documento appartiene essenzialmente alla categoria
{5} in cui la scena virtuale viene aumentata attraverso l’utilizzo della sequenza video
proveniente dal mondo reale convertita in texture. L’aspetto innovativo è invece
rappresentato dall’utilizzo del paradigma WOW caratteristico dei sistemi {1} per
l’accesso all’ambiente mixed reality.
1.4 Principali differenze tra la Virtual Reality e la
Mixed Reality
La realtà virtuale è un campo della ricerca informatica in cui confluisce un vasto
spettro di idee. Essa definisce un ombrello al di sotto del quale molti ricercatori e
compagnie danno espressione ai loro lavori. Questa frase è stata coniata da Jaron
Lanier, il fondatore della VPL Research, una delle prime compagnie3 che si è oc-
cupata della commercializzazione di sistemi informatici per lo sviluppo della realtà
virtuale.
Il termine realtà virtuale è stato invece definito come “un ambiente interattivo
e tridimensionale in cui una persona viene immersa, interamente generato da un
sistema di elaborazione” [1].
La definizione di realtà virtuale è basata quindi su tre punti cardine.
Il primo punto cardine è che l’ambiente generato dall’elaboratore deve essere
tridimensionale e garantire un elevato livello di realismo con conseguente dispendio
di notevoli risorse computazionali.
3
la VPL Research è stata fondata nel 1984
4
1 – Introduzione generale
Il secondo punto cardine è che l’ambiente generato deve fornire dei meccanismi
attraverso i quali l’utente può interagire con gli altri oggetti della scena.
Infine l’ultimo punto cardine richiede la creazione di un ambiente totalmente
immersivo in cui la persona che vi entra avverte un forte senso di appartenenza
all’ambiente stesso.
La definizione di realtà virtuale inoltre permette l’implementazione di ambienti
che possono non rispettare le leggi fisiche del mondo reale con l’unico vincolo di
mantenere all’interno dello stesso ambiente un elevato grado di coerenza alle nuove
leggi implementate. A tale proposito alcuni complessi sistemi di realtà virtuale
prevedono una fase iniziale di addestramento rivolta agli utenti con lo scopo di
evidenziare quali sono le leggi fisiche che regolamentano l’ambiente virtuale e quali
sono i metodi per interagire con esso.
Considerando quanto affermato in precedenza ci si rende conto che la realtà
virtuale genera delle esperienze totalmente dissociate dal mondo reale, in netto con-
trasto con la mixed reality. La mixed reality infatti miscela le informazioni che
giungono dal mondo reale con quelle generate tramite sistemi di elaborazione al fine
di fornire un’esperienza più ricca possibile.
L’utente, in genere, avverte delle notevoli differenze nell’utilizzo dei sistemi mixed
reality rispetto all’utilizzo dei sistemi di realtà virtuale.
La prima notevole differenza per l’utente è rappresentata dalle modalità con cui
gli attori della scena interagiscono con il sistema. Nei sistemi di realtà virtuale il
movimento dell’utente nel mondo reale viene rilevato al solo fine di generare una
qualche forma di interazione con il sistema virtuale e non è correlato al significato
della stessa azione nel mondo reale. Nei sistemi mixed reality vi è quasi sempre
una corrispondenza tra le azioni che si verificano nel mondo reale e quelle che si
verificano nel sistema elaborato.
La seconda notevole differenza per l’utente viene avvertita nei sistemi che hanno
come scopo lo svolgimento di attività nel mondo reale (si pensi ad esempio alla
riparazione di un motore): per tali sistemi un approccio di tipo mixed reality risulta
molto più intuitivo e immediato poichè l’utente si può posizionare direttamente nel
luogo in cui l’operazione deve essere eseguita.
L’ultima notevole differenza per l’utente risiede nella constatazione che i siste-
mi mixed reality sono di norma ben tollerati fin dalle prime esperenze grazie alla
mancanza di totale estraneazione col mondo reale in contrapposizione ai sistemi di
realtà virtuale che spesso inducono negli utenti uno stato generalizzato di malessere
molto simile al “mal d’aereo”.
Per lo sviluppatore l’implementazione di questi due sistemi comporta approcci
abbastanza diversi.
Nei sistemi di realtà virtuale lo sviluppatore è in grado di determinare in qualsiasi
istante la posizione relativa degli attori della scena, le possibili collisioni e occlusioni;
quindi tutte le risorse vengono impiegate per la creazione di un ambiente realistico.
5
1 – Introduzione generale
Nei sistemi mixed reality lo sviluppatore è in generale a conoscenza di dove sono
collocati gli oggetti virtuali della scena, mentre la collocazione degli oggetti reali
è un processo molto più critico. L’implementazione di questi sistemi richiede una
profonda conoscenza dell’ambiente reale in cui la scena si svolge e la determinazione
esatta della posizione degli oggetti reali oltre alla loro dinamica di movimento.
Il principale fattore critico per i sistemi mixed reality risiede nella necessità di
miscelare in modo assolutamente preciso i dati provenienti dal mondo reale con
quelli provenienti dal sistema elaborato; qualsiasi imperfezione infatti si traduce per
l’utente in una sensazione di incoerenza della scena.
I sistemi mixed reality sono per la quasi totalità sistemi che devono rispondere in
tempo reale agli input forniti dal mondo reale: in questo contesto assume particolare
importanza una elevata reattività del sistema agli stimoli del mondo reale piuttosto
che un elevato grado di dettaglio delle scene generate.
Infine i sistemi mixed reality, interagendo direttamente con il mondo reale, pos-
sono generare nell’utente un’esperienza completa pur senza disporre di trasduttori
elettronici in grado di stimolare completamente i sensi umani.
1.5 Sistemi generici di mixed reality
Riepilogando, un generico sistema di mixed reality è composto dagli elementi rap-
presentati in figura 1.2. Tale schema generale utilizzato con un sistema di visualiz-
zazione basato su schermo assume invece la forma illustrata in figura 1.3.
Quando lo schema generale viene invece applicato ad un sistema di visualizzazio-
ne basato su monitor HMD opachi il risultato è visibile in figura 1.4. In questo caso
assume fondamentale importanza per una corretta sovrapposizione delle differenti
sorgenti video il rilevamento esatto della posizione della testa dell’utilizzatore e della
direzione del suo campo visivo, piuttosto che la posizione della telecamera.
Infine, se il sistema di visualizzazione è rappresentato da un monitor HMD
non completamente opaco lo schema si semplifica notevolmente come rappresen-
tato in figura 1.5 mantenendo comunque la necessità di un corretto rilevamento
della posizione della testa dell’utilizzatore e della direzione del suo campo visivo.
1.6 Il sistema mixed reality ideale
L’elevato numero di applicazioni pratiche illustrate più avanti in questo capitolo
rappresentano un importante stimolo allo sviluppo di nuovi sistemi mixed reality.
Queste applicazioni e i numerosi studi che vengono attualmente svolti in diversi
centri di ricerca permettono l’individuazione delle caratteristiche ideali richieste da
un generico sistema mixed reality interattivo.
6