Notre Dame tiene una ‘orquesta fantasma’ con sonido 3D

Cuando la catedral de Notre Dame de París cumplió 850 años, su orquesta realizó una temporada especial entre 2012 y 2013 en la que tocó La Vierge (La virgen), una ópera del siglo XIX compuesta por Jules Massenet. Solo un número muy limitado de privilegiados pudo disfrutar del espectáculo ofrecido por una gran orquesta, dos coros y varios músicos y solistas en los balcones superiores de la catedral, pero una tecnología que combina realidad virtual y sonido tridimensional lo ha vuelto accesible a todos los públicos. El resultado es un vídeo inmersivo en el que el espectador puede moverse por Notre Dame y, según avanza por la catedral o gira la cabeza, escucha el audio adaptado a la acústica de cada rincón del edificio. 

Más información

Google añade sonido 3D a sus gafas de realidad virtual de cartón

El futuro será en 3D

"Es como volar en una alfombra mágica", describe Brian Katz, principal responsable del proyecto y director de investigación del CNRS en el Instituto Jean Le Rond d'Alembert. Katz estuvo en el concierto original y, mientras caminaba por el recinto, observó cómo la acústica de la actuación cambiaba "dramáticamente" según se movía. Para reproducir esa experiencia, el experto utilizó una grabación de la ópera hecha por el Conservatorio de París y creó modelos 3D de la arquitectura, las texturas superficiales y la acústica de Notre Dame. La base del proyecto es, sin embargo, el audio binaural, una técnica para la espacialización del sonido que es la más cercana a la escucha de la vida real.

Ese tipo de reproducción intenta imitar todas las señales acústicas para la localización de los sonidos, reproduciendo la señal correspondiente en la entrada de los dos canales auditivos del oyente. Katz explica que el filtrado acústico del sonido depende de la morfología de la cabeza y de las orejas de cada individuo, pero es el efecto combinado de las diferentes señales lo que permite escuchar de manera realista a un músico en cualquier parte de la catedral como si uno estuviera realmente allí. "La intención no era hacer una copia exacta de la actuación, con una recreación visual de toda la orquesta, por eso elegimos la metáfora de una orquesta fantasma para resaltar que estamos viendo el pasado, destellos acústicos de una actuación histórica", cuenta el experto.

Katz considera que el audio 3D es un tema candente de la realidad virtual, tanto para la investigación académica como industrial, y sostiene que la siguiente etapa en el desarrollo de esa tecnología es la reproducción de audio personalizada, es decir, una renderización que coincida con los detalles anatómicos (formato de la cabeza y oído) de cada persona. "La importancia de las interacciones multimodales, entender cómo las señales visuales y auditivas se equilibran en la percepción espacial, es clave para la realidad virtual y el sentido de inmersión", explica. 

A raíz del proyecto en Notre Dame, realizado en colaboración con los programas FUI-BiLi (Binaural Listening) y ANR-ECHO, el experto prevé nuevas aplicaciones para el sonido binaural, como la creación de escenas virtuales de audio para explorar cómo las personas con discapacidades visuales entienden y recuerdan los espacios arquitectónicos. Katz y su equipo también pretenden aplicar la metodología usada en la catedral parisina en entornos multimodales más complejos, como la reproducción de obras teatrales.