Sintesi di viste da contenuti stereoscopici non calibrati.

Scopo della tesi
Il sempre crescente interesse per i contenuti video tridimensionali, in particolare nel campo della distribuzione e fruizione in ambito domestico, ha generato la necessità di progettare nuove ed innovative applicazioni che possano migliorare la qualità dell’esperienza visiva, rendendola sempre più coinvolgente ed immersiva ad una vasta platea di utenti dalle esigenze molto variegate.
Il presente lavoro di tesi, svolta in collaborazione con la STMicroelectronics S.r.l., è rivolto allo studio e realizzazione di una metodologia per la generazione di viste virtuali a partire da contenuti video non calibrati, che può trovare applicazione finale nel campo della 3DTV, in particolare per adattare l'effetto 3D ai moderni TV sia in termini di profondità che di posizionamento relativo al piano del display. Lo stesso algoritmo può altresì essere utilizzato per la realizzazione della cosiddetta “free viewpoint TV”, cioè la possibilità data all’utente di scegliere arbitrariamente il punto di vista da cui godersi la scena, nonché per l’adattamento dei contenuti tridimensionali ricevuti ai formati “multiview” richiesti dai nuovi display 3D autostereoscopici, che non necessitano di occhiali.

Breve descrizione dell’algoritmo implementato
Come anticipato, l' ambito di ricerca nel quale si situa questa tesi in azienda è il 3DTV, cioè la trasmissione, codifica e rendering di video 3D per la televisione del futuro.
L'algoritmo implementato in c++ con il supporto della libreria open source OpenCv 2.2 comprende i seguenti passi:
1. Estrazione delle corrispondenze SIFT1 dalle due immagini in input.
2. Stima della matrice fondamentale tra le due viste tramite il RANSAC2.
3. Minimizzazione su un certo numero di corrispondenze della funzione di riproiezione per la costruzione delle omografie rettificanti delle due immagini.
4. Rettifica delle due immagini ed estrazione delle relative mappe di disparità associate.
5. Costruzione delle camere virtuali sulla traiettoria tra le due camere.
6. Rendering di due sequenze di immagini sulla traiettoria stimata e fusione delle due traiettorie per il riempimento delle occlusioni.
Tale algoritmo riceve in ingresso le due immagini e come parametri di funzionamento vengono fornite 3 soglie:
1. TRESHOLD_SIFT per l' estrazione dei descrittori SIFT.
2. OUTLIERS_TRESHOLD per scartare le corrispondenze che hanno un errore di riproiezione maggiore di tale soglia.
3. DISP_MAX. Massima disparità stimabile sui pixel delle due immagini.
Contributi e risultati
I contributi implementativi da me riportati riguardano:
1. L'estrazione dell' epipolo associato ad una vista.
2. L'estrazione dei valori di parallasse dalle depth map.
3. Il centering delle omografie all'infinito,cioè la rotazione e traslazione dei piani immagine delle due camere.
Le immagini sintetizzate, seppur di buona qualità, presentano errori principalmente dovuti all'estrazione delle corrispondenze SIFT, mappe di disparità stimate e complessità geometrica della scena, criticità che vengono affrontate e discusse nel Capitolo 4. Inoltre l'implementazione in c++ risulta stabile, nel senso che a stessi parametri di ingresso restituisce gli stessi risultati, nonostante l'uso del SIFT e RANSAC che sono algoritmi intrinsecamente non deterministici.