Ubik - Sistema di conversione di interfacce grafiche in interfacce audio

Analizzata l’interfaccia grafica e i suoi aspetti principali, la classificazione del suono di sistema e la chiave di volta progettuale di una interfaccia sonora, si hanno a disposizione tutti gli strumenti per affrontare la progettazione di un sistema di conversione da interfaccia grafica a interfaccia audio. Paro quindi del progetto Ubik.

In diversi punti della trattazione ho fatto esempi di tale conversione, ma ci si chiede come possano essere realizzate tecnicamente, come è possibile trasformare un’intera interfaccia grafica in suono in modo da poterne fruire in tempi celeri? Dovremmo riscrivere intere interfacce per conseguire con successo il nostro obiettivo? Questo non è sempre detto.
Di sicuro in una prima fase di progetto ci servirà avvicinarci all’interfaccia in modo analitico con i nostri occhi, esplorando le possibilità di lettura, capendo i pattern ricorrenti di ogni pagina, insomma, adoperando una catalogazione e un riordine delle informazioni e dei processi. Bisogna poi fare lo sforzo di ascoltare con le orecchie questi elementi, sentire le funzioni, le parole, creare nuovi equilibri ed ecosistemi sonori. Ma questo lavoro ha un fine ulteriore, ossia quello dell’educazione ad una intelligenza artificiale.

Una volta compreso, universalizzato e semplificato il processo di conversione – che sarà raccontato più avanti, da qui in poi tratterò principalmente del supporto strumentale tecnologico di Ubik – sarà affidato a una intelligenza artificiale che sarà capace, capendone i meccanismi, di fare ciò che facciamo noi, tentando di “far suonare” un pulsante di avvio o una barra di ricerca.

Ad oggi le intelligenze artificiali sono capaci di fare questo ed altro, ma bisogna avere chiaro in mente quali strumenti mettergli a disposizione per svolgere al meglio il lavoro, oltre che a un asset predisposto e il più possibile ricco di riferimenti a cui attingere, specialmente durante la sua fase di addestramento iniziale. Questo asset, come già preannunciato, sarà creato da noi stessi con più tipologie di interfacce possibili, elementi grafici, bottoni e testi tutti da convertire. Più questa parte sarà approfondita, più il risultato di conversione da parte dell’AI risulterà efficiente.

A questo punto ci si deve porre una domanda importante, come possiamo automatizzare un processo di conversione? Secondo quale sintassi? Le interfacce in linea generale sono costituite da un background, da dei contenuti grafici e testuali, con cui si può più o meno interagire. Questi elementi, costantemente presenti all’interno delle GUI, possono assumere un significato ed essere espresse in maniera ricorrente, ognuna con il proprio canale di comunicazione in un ordine gerarchico delle informazioni che derivano da un’analisi del codice, da una vera e propria lettura grafica dell’interfaccia adoperata dall’intelligenza, o da entrambi. La conversione potrebbe avvenire associando ai background un suono di ambiente, a ogni elemento grafico un microsuono e a ogni testo una voce che ne legge il contenuto.

In una fase in cui l’ordine e le gerarchie sono stati stabiliti e ogni informazione associata a un canale di comunicazione, va compreso come esprimere tecnicamente queste informazioni. Per quanto riguarda musica e microsuono è necessario trovare una tecnologia che riesca a convertire l’elemento grafico nel suo corrispettivo sonoro in modo efficace e veloce, che possa anche rendere automatizzato l’intero processo restituendo un suono apprezzabile, estetico e comprensibile all’utente. Si apre una piccola parentesi di approfondimento sulla storia e i principi di relazione tra immagine e suono.

***
Questa curiosità di convertire l’immagine, il colore e la forma in un suono non è una novità. Uno dei primi esperimenti di conversione immagine-suono è stata adoperata da Laszlo Moholy Nagy con il suo ABC in Sound/Tönendes ABC nel 1933. Ritenuto perduto per anni e recuperato poi dai curatori della BFI, questo film combina geometrie e trame astratte per creare una colonna sonora visibile, un lavoro compiuto con un processo sinestetico e di lettura sensoriale dell’immagine dove la lettera, il pattern, la geometria in movimento vengono suonati nella loro apparente pronuncia attraverso la sintesi sonora.

Questo esperimento apre la pista a ulteriori sperimentazioni da parte di altri registi, tra cui spicca Norman McLaren. A partire dagli anni Cinquanta, il regista scozzese naturalizzato canadese ha esplorato tutte le tecniche possibili nel campo dell’animazione con
un’attenzione puntigliosa all’aspetto compositivo in relazione al suono, molto spesso utilizzando la forma per accompagnare il suono e non il contrario come accade solitamente.

È inventore di numerosissime tecniche sperimentali che man mano ha portato ai massimi livelli espressivi: forme di disegno su pellicola, animazione di esseri umani (pixillation) e di oggetti (stop-motion), tecniche di sovraimpressione animata, pittura e ritagli su pellicola (ottenuta graffiandola e incidendola per creare effetti stereoscopici). Ma rilevante alla trattazione del mio lavoro di ricerca, è l’ideazione della tecnica del suono animato, che consiste nel disegnare direttamente su pellicola nella zona destinata all’incisione della colonna sonora.