Así funciona el ‘shazam del arte’

La organización Smartify tiene como propósito enriquecer las visitas a museos y centros de arte aplicando tecnologías de reconocimiento de imagen y de realidad aumentada. Esta combinación permite que los visitantes tengan acceso a información adicional y multimedia acerca de la obra que tienen delante en cualquier momento y en cualquier lugar, directamente en la pantalla de su teléfono móvil. 

Más información

Museos de España, mucha gana de tecnología y poco arte tecnológico

El ‘Shazam’ que, en vez de canciones, identifica terremotos

La realidad aumentada consiste en potenciar la realidad añadiendo en tiempo real información digital que se hace visible bien a través de una pantalla (como la del teléfono móvil, la forma más habitual) o proyectando la información sobre objetos reales. La realidad aumentada guarda cierto parecido con la realidad virtual, excepto porque integra la experiencia virtual con el espacio físico que rodea al espectador. 

Para conseguir esto de forma que resulte funcional (y también de algún modo creíble) el teléfono móvil tiene que ser capaz reconocer dónde se encuentra físicamente e idealmente también entender lo que la cámara del teléfono móvil está captando en cada momento. En el caso de la tecnología desarrollada por la organización Smartify, se trata de un sistema de procesamiento de imagen en tiempo real y a alta velocidad que reconoce la obra de arte (cuadro, escultura u objeto) hacia la que el espectador está dirigiendo la cámara de su móvil. Una vez detectada la obra el sistema ofrece al usuario información relacionada, incluyendo críticas y comentarios, historia, vídeos o información biográfica sobre el autor. 

El funcionamiento de Smartify es similar al de la conocida aplicación de reconocimiento musical Shazam. La app Shazam (disponible para móviles) devuelve el título y el autor de casi cualquier canción al momento: basta con que la aplicación escuche” unos pocos segundos para reconocer de qué composición musical se trata. 

Smartify también toma una muestra de la obra en cuestión y la envía a los servidores que procesan la imagen y deciden de qué objeto o pintura se trata. Shazam generalmente funciona aunque haya ruido de ambiente o aunque la muestra de audio sea de poca calidad, y del mismo modo un sistema de reconocimiento de imagen tiene que ser lo suficientemente sofisticado como para detectar qué hay en la imagen captada con el teléfono independientemente de cual sea la calidad de la cámara, del ángulo de la foto o de la iluminación del objeto. 

Lo anterior es posible porque, en general, los sistemas de reconocimiento de imagen no comparan una fotografía de muestra con otra que sea igual o muy parecida. En cambio, comparan una muestra de la imagen tomada por el usuario con muchas imágenes de todo tipo identificadas previamente. Los programas informáticos determinan con cual de esas imágenes conocidas se corresponde la muestra tomada aunque la fotografía no sea exactamente igual. Este método supone además que el sistema aprende por sí mismo, mejorando cuanto más se utiliza: cuando el ordenador acierta se suma un punto positivo que acelera y mejora su capacidad de respuesta para identificar las muestras siguientes. 

Cada vez más instituciones de arte utilizan la tecnología para proporcionar información multimedia y detallada sobre las obras expuestas, con el fin de mejorar la visita, enriquecer la experiencia de disfrutar del arte y también para hacerla accesible. La tecnología tiene la capacidad de facilitar el acceso al conocimiento y a la cultura de personas con necesidades específicas de aprendizaje y comunicación e incluso puede describir con palabras (texto o voz) el contenido de una imagen (como la de un cuadro) para aquellos usuarios que tengan problemas de vista o ceguera. 

Una ventaja adicional de Smartify, explican en New Scientist, es que su funcionamiento no se basa en la localización del usuario (no depende de que esté físicamente en un museo o en una galería) sino que puede utilizarse dirigiendo la cámara del móvil hacia una postal, una fotografía en un libro, una reproducción en un póster o un cuadro, o puede tratarse de una obra expuesta en la calle. El objetivo es acercar el arte al público a través de la realidad virtual y de la realidad aumentada, “dos escenarios futuros para la difusión de historias y de contenidos”, dicen en Smartify. “Y los museos son los cronistas definitivos de la historia de la humanidad”.