Streaming multimediale per lo studio degli effetti di asincronismo audiovisivo nell'esecuzione musicale

L'obiettivo dell'esperimento presentato in questo elaborato è di verificare gli effetti della latenza, cioè il ritardo nella trasmissione, di un flusso video che consente a due musicisti (due percussionisti, in particolare) di suonare contemporaneamente osservandosi solamente attraverso un monitor da computer.
Nell'esecuzione di un brano musicale infatti il contatto visivo soprattutto nei batteristi è fondamentale per la sincronizzazione e per suonare a tempo.
Molti studi anche recenti hanno messo in risalto l'abilità del cervello umano di compensare un certo ritardo tra audio e video, riuscendo comunque a percepire la correlazione tra i due stimoli. In questi esperimenti però sono stati utilizzati particolari video a punti di luce (ottenuti catturando ed elaborando i movimenti di percussionisti jazz professionisti) in cui l'audio era volontariamente ritardato o anticipato di alcuni millisecondi rispetto al video: lo scopo di questo lavoro invece è di misurare l'influenza dell'informazione visiva rispetto a quella uditiva nell'esecuzione dal vivo.
Il problema tecnico principale dunque è quello di riuscire a ottenere una trasmissione delle immagini con la minore latenza possibile in modo da poterla poi incrementare artificialmente fino a raggiungere il limite oltre al quale l'esecuzione diventa impossibile.
Per ottenere questo risultato sono stati testati vari scenari possibili, sia scegliendo tra software commerciali o open source, sia modificando il tipo di collegamento di rete con cui i due computer addetti alla trasmissione del video comunicavano tra di loro.
I risultati ottenuti (latenza di circa 100 ms) hanno consentito a due batteristi di eseguire un brano improvvisato dal vivo anche se la sincronizzazione visiva era in ritardo. Successivamente si è provveduto ad aumentare il ritardo e a riscontrare gli effetti che esso produceva nella prestazione.
Seppur in accordo con gli studi sull'asincronismo audiovisivo che hanno fornito le premesse per l'esperimento, i risultati hanno messo in evidenza alcuni aspetti che non erano stati previsti: i batteristi infatti hanno mostrato una tendenza naturale ad ignorare lo stimolo visivo in ritardo affidandosi solamente a quello uditivo, probabilmente a causa della loro pratica con lo strumento che prevede proprio di concentrare l'attenzione sul ritmo per sincronizzarsi e suonare a tempo.
Un altro aspetto interessante è quello relativo alla percezione del ritardo come un entità discreta: durante le esecuzioni, nonostante le variazioni di velocità e di latenza, i batteristi hanno mostrato di accostare il ritardo agli accenti principali del ritmo, sebbene i corrispondenti tempi esatti fossero anche molto diversi.
L'esperimento quindi può fornire ulteriori spunti di approfondimento sia in campo psicoacustico che neurocognitivo, oltre a possibili sviluppi nell'implementazione tecnica utilizzata allo scopo di ridurre ulteriormente il ritardo e di allargare su più ampia scala la trasmissione dei flussi multimediali che in questo caso è rimasta solamente locale.