Ricostruzione 3d di volti a partire da stereo-coppie di immagini acquisite con fotocamere calibrate

2 INDICE
epipolare (geometria multi-vista), viene inoltre descritta l operazione di retti ca
delle immagini che consente di ridurre le problematiche di corrispondenza e ri-
costruzione. Nel capitolo 4 vengono descritti gli algoritmi di corrispondenza fra
i punti delle immagini della coppia stereo. Nel capitolo 5 vengono presentati gli
algoritmi di ricostruzione tridimensionale dei volti e di applicazione della tessitu-
ra. In ne il capitolo 6 mostra e commenta i risultati ottenuti dall intero sistema di
ricostruzione implementato.
Capitolo 1
Introduzione
In questo capitolo viene analizzato il problema della ricostruzione tridimensio-
nale, vengono elencati alcuni degli algoritmi di ricostruzione proposti dalla comu-
nit‘a di ricerca e viene descritto l algoritmo implementato fornendone una visione
d insieme.
1.1 Descizione del problema
Il problema di ricostruzione, che in questa tesi vuole essere affrontato con il
vincolo di minimo costo realizzativo, prevede la riproduzione al calcolatore di una
super cie osservata nel mondo reale. In particolare si affronta il problema di rico-
struire in tre dimensioni il volto di una persona, fotografata da un certo numero di
fotocamere (almeno due), e adeguatamente posizionata in un set fotogra co.
Il soggetto, di cui si vuole ricostruire il volto, viene fotografato contempora-
neamente da tutte le fotocamere del set di ripresa. L unico strumento a disposi-
zione per la ricostruzione del volto sono le immagini stereoscopiche scattate dalle
fotocamere.
Le fotocamere sono posizioante a raggiera intorno al soggetto, consentendo
l acquisizione di immagini a differenti angolazioni; in particolare sono previste:
• tre fotocamere per le acquisizioni a grande disparit‘a: ovvero acquisizioni in
cui l angolo fra le fotocamere ‘e elevato e le immagini differiscono molto fra
loro;
• cinque fotocamere per le acquisizioni a minore disparit‘a, in cui si ha un
angolo minore fra le fotocamere e le immagini si somigliano maggiormente.
Il posizionamento delle fotocamere viene eseguito manualmente al  ne di in-
quadrare al meglio il soggetto, non viene effettuata nessuna misurazione che possa
de nire in maniera precisa la posizione geometrica delle fotocamere. Vengono
utilizzate le immagini acquisite per ottenere le informazioni spaziali di cui si ha
3
4 CAPITOLO 1. INTRODUZIONE
 
 
 
 
 
 
Figura 1.1: Il set di acquiszione delle immagini che ritraggono il soggetto a
differenti angolazioni
bisogno. Le acquisizioni delle immagini relative al soggetto prevedono una vista
frontale e due viste laterali
1
.
Una volta allestito il set ‘e possibile acquisire una serie di immagini con cui
calcolare le posizioni, gli orientamenti e le caratteristiche ottiche delle fotocamere.
Successivamente ‘e possibile catturare le coppie stereo che ritraggono i soggetti.
Le immagini acquisite costituiscono l unico input del sistema, da esse si vuole
ottenere l approssimazione della super cie del volto del soggetto. Si vuole anche
rappresentare il volto in tre dimensioni con la tessitura adeguatamente applicata.
Gli output del sistema sono quindi costituiti dall insieme di punti dello spazio che
descrivono la super cie, dalle associazioni fra i punti che de niscono i triangoli, e
dalle coordinate di mappatura della tessitura.
1.1.1 Applicazioni pratiche della ricostruzione 3d
La ricostruzione tridimensionale di punti, percorsi e super ci presenti nel mon-
do reale ‘e alla base di moltissime tecnologie, in continua e rapida evoluzione so-
prattutto in questi ultimi anni. In particolare molti sistemi di automazione indu-
striale si affidano alla computer-vision per poter svolgere i propri compiti. Alcuni
esempi di applicazioni sono descritti in [1], molti altri possono essere facilmente
trovati soprattutto nel campo del controllo automatizzato della qualit‘a del prodotto.
La ricostruzione tridimensionale di volti, se accurata, consente di effettuare
calcoli e misurazioni biometriche che descrivono il soggetto: con esse ‘e possibile
migliorare considerevolmente gli algoritmi di indicizzazione e ricerca dei soggetti
in una base di dati contenente volti; inoltre ‘e possibile effettuare confronti pi‘u
efficaci fra volti semplicemente:
1. stimando la posa del soggetto nell immagine di ricerca;
1
Nel caso in cui si utilizzano cinque angoli di acquisizione si hanno due fotocamere per lato
generando una disparit‘a minore fra coppie di immagini contigue.
1.2. TECNICHE PROPOSTE DALLA COMUNIT
‘
A DI RICERCA 5
2. generando, per ogni soggetto memorizzato nella base di dati, un immagine
che lo ritrae nella posa stimata al passo precedente;
3. effettuando in ne il confronto diretto
2
fra le immagini ottenute dalla base di
dati e la foto iniziale del soggetto da cercare.
Oltre alla biometria vi sono moltissimi altri campi di applicazione della rico-
struzione tridimensionale di volti, per esempio la realizzazione di videoconferenze
tridimensionali come descritto in [14], oppure per semplici scopi ludici.
Un evoluzione della ricostruzione di super ci tridimensionali a partire da cop-
pie stereo di immagini ‘e la ricostruzione di ambienti da riprese video: si pu‘o imma-
ginare ad esempio un turista che riprende un monumento di suo interesse e che, a
partire dal  lmato catturato, genera una ricostruzione tridimensionale integrale del
monumento stesso per poter osservare con pi‘u calma i dettagli di interesse. Una
di queste tecniche ‘e descritta in [26], in particolare in questo articolo si propone
un metodo che consente di ricostruire un modello tridimensionale di ambienti a
partire da una serie di video acquisiti manualmente, come nell esempio del turista.
1.2 Tecniche proposte dalla comunit‘a di ricerca
La comunit‘a di ricerca ha proposto numerose tecniche di ricostruzione tridi-
mensionale di super ci e di interi oggetti a partire da misurazioni effettuate su di
essi. In genere vengono utilizzati strumenti molto costosi e so sticati: per esempio
gli scanner a raggi X utilizzati negli ospedali per le tac sono in grado di acquisire
informazioni relative persino ai dati di densit‘a in tutto il volume del soggetto su cui
l esame viene eseguito. Alcune tecniche proposte, come quelle descritte in [30] e
[2], utilizzano degli scanner laser che evidenziano le posizioni tridimensionali dei
punti sulla super cie. In [4] viene utilizzata una tecnica di ricostruzione stereosco-
pica che sfrutta dei punti del volto evidenziati da una griglia di marcatori ottenuti
con dei raggi laser.
Molte delle tecniche presentate sono troppo costose, esse quindi non rientrano
nello scopo di questa tesi. Altre metodologie risultano troppo scomode da attuare
per l utilizzatore: ad esempio nelle acquisizioni ad infrarossi si devono applicare
sul volto dei piccoli cerotti realizzati appositamente per consentirne la localizzazio-
ne da parte dei sensori. In [22] [18] [10] viene proposta una tecnica di ricostruzione
basata su una coppia stereo di immagini e sulla corrispondenza fra punti, i risul-
tati sono molto buoni e non servono altri strumenti oltre alle immagini acquisite;
purtroppo le risorse computazionali richieste sono molto elevate e non consentono
di effettuare la ricostruzione su un comune calcolatore a basso costo. In ne al-
cune tecniche, come quella proposta in [31], consentono di generare dei risultati
soddisfacenti con costi abbastanza ridotti, esse prevedono per‘o l utilizzo di stru-
2
Con il termine  confronto diretto si vogliono indicare tutti gli algoritmi di confronto fra volti
studiati appositamente per l indicizzazione e la ricerca di soggetti in una base di dati di identit‘a.
6 CAPITOLO 1. INTRODUZIONE
menti esterni (in questo caso un tornio) che rendono particolarmente complicata la
mappatura della tessitura sulla mesh.
In questa tesi non si propone un algoritmo innovativo, si delinea semplicemen-
te un percorso che consente di ottenere una ricostruzione tridimensionale a basso
costo, si indicano inoltre gli strumenti e le tecniche che in futuro potranno portare
alla ricostruzione 3d accurata con richieste computazionali sufficientemente basse
da poter essere effettuata in tempo reale. Gli algoritmi descritti in questa tesi sono
applicabili ad una pi‘u vasta gamma di problemi e possono essere facilmente utiliz-
zati in altri ambiti. Ogni algoritmo viene presentato assieme alla descrizione delle
sue applicazioni e delle sue caratteristiche computazionali e qualitative. Per ogni
algoritmo vengono riportati i riferimenti alle metodologie proposte dalla comunit‘a
di ricerca, ove possibile sono stati eseguiti anche dei confronti diretti.
1.3 L algoritmo proposto
L algoritmo descritto in questa tesi ‘e molto sempilce dal punto di vista concet-
tuale: esso si propone come una linea guida da seguire per ottenere la ricostruzione
tridimensionale a basso costo. In questa trattazione vengono dichiarate le scelte
effettuate, vengono descritte in maniera dettagliata le problematiche osservate e
proposte delle soluzioni. La speranza ‘e quella di poter migliorare nel futuro l algo-
ritmo complessivo, per ottenere maggiore accuratezza e minore richiesta di risorse
computazionali.
L algoritmo proposto si pu‘o scomporre in tre fasi distinte:
calibrazione: In questa fase vengono determinati i parametri intrinseci delle sin-
gole fotocamere, ovvero le caratteristiche ottiche quali la distanza focale ed il
centro ottico; inoltre vengono valutati i parametri estrinseci, quali la posizio-
ne e l orientamento nello spazio. Questi parametri consentono di descrivere
in maniera precisa il set di acquisizione, grazie ad essi si possono utilizzare
le misurazioni effettuate sulle immagini per calcolare le misure reali.
ricerca delle corrispondenze: In questa fase si deve costruire un insieme di cop-
pie di punti corrispondenti, ovvero le coppie di punti del piano immagine
che sono proiezione dello stesso punto della scena.
ricostruzione: In questa fase le coppie di punti vengono utilizzate per ricostruire
la posizione nello spazio dei punti del volto, viene inoltre costruita la me-
sh triangolando i vertici ricavati
3
. In questa fase viene anche applicata la
tessitura.
La fase di corrispondenza fra punti viene a sua volta preceduta da una fase di
retti ca delle immagini, questa consente di sempli care l algoritmo di corrispon-
denza stesso.
3
I punti vengono associati in triplette formando dei triangoli nello spazio, viene scelto il triangolo
perch‘e non offre ambiguit‘a: infatti tre punti non allineati identi cano, nello spazio tridimensionale


3
, uno ed un solo piano.
1.3. L ALGORITMO PROPOSTO 7
Calibrazione delle
fotocamere
Parametri di calibrazione
delle fotocamere
Rettifica delle
immagini
Corrispondenza
stereo fra punti
Ricostruzione 3d,
triangolazione e texturing
Coppie di punti
corrispondenti del volto
Immagini del
soggetto
Immagini delle
scacchiere
Ricostruzione 3d
del volto
trasformazioni e nuovi parametri
Immagini rettificate,
Figura 1.2: L algoritmo proposto ‘e molto semplice e lineare e non vuole essere
una tecnica innovativa quanto una linea guida da seguire nella modellazione di
algoritmi sempre pi‘u accurati ed efficienti.
La  gura 1.2 mostra una schematizzazione grossolana dell algoritmo di rico-
struzione a partire dalle coppie stereo; molte possibili varianti di questo schema,
esplorate in questa tesi, non sono esprimibili in un diagramma chiaro, per questo
motivo sono state descritte capitolo per capitolo. Si osservi come gli unici input
del sistema siano effettivamente le immagini, e come da esse vengano ricavate tutte
le informazioni necessarie per la ricostruzione.
Un dettaglio non riportato nello schema, ma assolutamente fondamentale per
la ricostruzione dei volti, ‘e l esigenza di un algoritmo di localizzazione dei volti
stessi con cui sia possibile limitare l area di ricerca delle corrispondenze fra punti;
esso serve anche per consentire una scelta pi‘u adeguata dei punti di cui cercare la
corrispondenza. In particolare sono stati utilizzati direttamente i risultati degli al-
goritmi descritti in [16] per la localizzazione dei volti, inoltre gli algoritmi descritti
in [17] per la localizzazione delle regioni contenenti gli occhi, il naso e la bocca
consentono di ricavare e sfruttare la conoscenza della geometria dei volti.
Gli algoritmi descritti in [17] consentono di localizzare, sui volti, dei punti
aventi una semantica particolare; essi descrivono per esempio gli occhi, identi -
cano la punta del naso, la posizione delle sopracciglia e la bocca. Questi punti
prendono il nome di  ducial-points e consentono di identi care in maniera ap-
prossimata i massimi ed i minimi della super cie del volto. Anche se la ricostru-
zione della super cie, a partire da questi soli punti, non ‘e sufficientemente accu-
rata, sicuramente essi consentono di sempli care di molto il delicato compito di
corrispondenza offrendone una prima approssimazione.
Capitolo 2
La calibrazione delle fotocamere
Il primo problema, da affrontare in qualunque applicazione di computer vision
in cui vengano analizzate immagini che ritraggono la realt‘a, ‘e la calibrazione delle
fotocamere utilizzate. Calibrare una fotocamera signi ca determinare i parametri
intrinseci ed estrinseci che ne descrivono le caratteristiche ottiche, la posizione
e l orientazione nello spazio. In questo capitolo viene affrontata la problematica
della calibrazione e vengono descritti gli algoritmi adottati.
2.1 Il modello pin-hole delle fotocamere
Per elaborare le coppie stereo di immagini, al  ne di ottnere i punti tridimen-
sionali con cui rappresentare il volto, bisogna de nire un modello geometrico che
descriva formalmente l apparato di acquisizione utilizzato. Una fotocamera pu‘o
essere descritta in maniera semplice tramite un modello ben conosciuto detto pin-
hole camera: in questo modello, descritto ampiamente in [37] e [41], si ha un
punto detto centro di proiezione che de nisce la posizione della fotocamera, una
delle rette passanti per il centro di proiezione prende il nome di asse principale
e de nisce la direzione di ripresa della fotocamera, in ne un piano perpendico-
lare all asse principale de nisce l orientazione della fotocamera e ne descrive le
caratteristiche ottiche.
La  gura 2.1 mostra una fotocamera stilizzata che acquisisce un immagine su
cui ‘e ritratto un singolo punto P. La fotocamera ‘e posizionata nello spazio nel
centro di proiezione FC, detto anche centro focale, nel punto FC convergono le
rette di proiezione dette raggi ottici: ovvero quelle rette che modellano il percorso
dei raggi luminosi.
Per sempli care i calcoli conviene riferirsi alle entit‘a geometriche riprese dalla
fotocamera rispetto al sistema di riferimento CRF da essa de nito: il Camera Refe-
rence Frame. Il sistema di riferimento della fotocamera ha l origine nel centro di
proiezione ed orienta l asse Z nella direzione di osservazione, questo asse prende il
nome di asse ottico o asse centrale ed interseca il piano immagine, ovvero il piano
su cui l immagine si forma, in un punto detto centro ottico o punto centrale.
9