Avatars speaking sign language
Researchers of Autónoma University of Madrid have developed a new computer tool that generates sign language messages from written text and voice, by integration of body language properties in a virtual character. The system could be of great help to people with hearing impairment.
A new computer program is able to automatically generate sign language messages from written text or voice signals. This is an innovative technology within the study field of human-computer interaction, since it integrates elements of the so called ‘body language’ through an avatar (virtual character) that calculates arms and hands movements as well as body position and facial expression in order to represent signed messages.
This program will be a tool of great use for people with hearing impairment, especially for those who were born deaf or became deaf at an early age; in these cases, the poor reading understanding prevents them from getting information out of any text and the only means of communication is sign language.
The original work of the Human Computer Technology Laboratory (HTCLab) research group has been published in the International Journal of Human-Computer Studies. This group of the Escuela Politécnica Superior of Universidad Autónoma of Madrid has been working on supporting technologies for disabled people for more than ten years.
Sign language and paralinguistic communication
Just as it happened with the first voice synthesizers, sign language messages represented by virtual characters can be perceived as robotic and artificial. In order to improve this perception, researchers of the HTCLab are further working on the integration of the message paralinguistic elements, such as tone, speed or intensity, that transmit additional information. This would allow the receptor to know the emitter state of mind how it affects the received message.
The election of elements that can be integrated is not simple. Since the body itself is used to generate the signed message, an inadequate change in the ‘body language’ could modify the message. For instance, clenched fists can be perceived as an aggressive attitude. If the hand position is changed to express emotions, the sign and its meaning is also changed. In short, including emotional information in the message may imply the modification of its content, thus loosing the main objective of language, which is to communicate.
In its work, the HTCLab shows that certain modifications can be included in the synthesis of the sign language to transmit paralinguistic information without modifying the message. This has been achieved by researchers after several versions of the same message as can be seen in the figure: a first version with bigger tension, a second in a more relaxed form, both coming from a third neutral version. These modifications are based in the study of muscular tension, speed and acceleration of muscles and facial expressions.
Crean un avatar que se expresa en lengua de signos
Un equipo de la Universidad Autónoma de Madrid ha desarrollado una herramienta informática que genera mensajes en lengua de signos a partir de textos y voz, integrando características del lenguaje corporal mediante un personaje virtual. El sistema podría ser de gran ayuda para las personas con discapacidad auditiva.
Un nuevo programa informático es capaz de generar de manera automática mensajes en lengua de signos a partir de textos escritos o señales de voz. Se trata de una tecnología innovadora dentro del campo que estudia la interacción persona-computador, pues integra elementos del llamado “lenguaje corporal” a través de un avatar (personaje virtual) que calcula tanto los movimientos de brazos y manos como la postura corporal y la expresión facial para representar los mensajes signados.
Este programa será una herramienta de gran utilidad para personas con discapacidad auditiva, especialmente para las que nacieron con sordera o la adquirieron en una edad muy temprana; casos en los que la baja comprensión lectora impide obtener información de cualquier texto y la única vía de comunicación es la lengua de signos.
El trabajo que ha dado lugar a este desarrollo fue publicado en la revista International Journal of Human-Computer Studies por el grupo de investigación Human Computer Technology Laboratory (HTCLab). Este grupo, que pertenece a la Escuela Politécnica Superior de la Universidad Autónoma de Madrid (UAM), lleva más de diez años trabajando en tecnologías de apoyo para personas con diferentes discapacidades.
Lengua de signos y comunicación paralingüística
Tal y como sucedía con los primeros sintetizadores de voz, los mensajes en lengua de signos representados por personajes virtuales pueden percibirse robóticos y artificiales. Para mejorar esta percepción, los investigadores del HTCLab vienen trabajando en la incorporación de elementos paralingüísticos: elementos como el tono, la velocidad o la intensidad que acompañan al mensaje y transmiten información adicional, permitiendo que el receptor del mensaje conozca el estado anímico del emisor y su relación con el contenido que está recibiendo.
La elección de qué elementos pueden integrarse no resulta sencilla. Dado que el propio cuerpo se utiliza para generar el mensaje signado, un cambio inadecuado motivado por el “lenguaje corporal” podría modificar el mensaje. Por ejemplo: los puños cerrados se perciben como una actitud agresiva. Si se cambia la forma de la mano para expresar emociones, se cambia a la vez el signo y también su significado —es equivalente a que si para expresar enfado cambiásemos todas las “a” por “o” (una “casa” con enfado se convertiría en un “coso”)—. En suma, incluir información emocional en el mensaje implicaría modificar el contenido del mismo, perdiendo así el objetivo primordial del lenguaje, que es comunicar.
En su trabajo, el HTCLab demuestra que se pueden incluir ciertas modificaciones en la síntesis de lengua de signos para transmitir información paralingüística sin modificar el mensaje. Esto es algo que los investigadores han logrado al generar varias versiones de un mismo mensaje: una primera en la que éste se presenta con mayor tensión, y una segunda en la que se presenta con mayor relajación; ambas a partir de una representación neutra. Estas modificaciones se basan en el estudio de la tensión muscular, la velocidad y aceleración en los movimientos y las expresiones faciales.
Referencia bibliográfica: Fernando López-Colino y José Colás. Synthesizing mood-affected signed messages: Modifications to the parametric synthesis, en: International Journal of Human-Computer Studies, vol. 70, nº 4 (abril de 2012).
Tu suscripción se está usando en otro dispositivo
¿Quieres añadir otro usuario a tu suscripción?
Si continúas leyendo en este dispositivo, no se podrá leer en el otro.
FlechaTu suscripción se está usando en otro dispositivo y solo puedes acceder a EL PAÍS desde un dispositivo a la vez.
Si quieres compartir tu cuenta, cambia tu suscripción a la modalidad Premium, así podrás añadir otro usuario. Cada uno accederá con su propia cuenta de email, lo que os permitirá personalizar vuestra experiencia en EL PAÍS.
En el caso de no saber quién está usando tu cuenta, te recomendamos cambiar tu contraseña aquí.
Si decides continuar compartiendo tu cuenta, este mensaje se mostrará en tu dispositivo y en el de la otra persona que está usando tu cuenta de forma indefinida, afectando a tu experiencia de lectura. Puedes consultar aquí los términos y condiciones de la suscripción digital.
