Inteligencia artificial para entender a personas con dificultades de aprendizaje

Las personas con síndrome de Down, autismo o Asperger tienen trastornos que no tienen nada que ver entre sí. Sin embargo, en muchos casos, tienen en común una característica: comparten algún tipo de incapacidad comunicativa. En los casos más extremos, se pueden agrupar bajo un mismo paraguas: todos son personas con dificultades de aprendizaje profundas y múltiples (PMLD, por sus siglas en inglés).

“Cuando hablamos de incapacidad comunicativa, nos referimos a muchos tipos de interacción”, señala Enrique Castillejo, presidente del Consejo General de Colegios Oficiales de Pedagogos y Psicopedagogos de España. “No se trata solo de emitir sonidos y palabras, sino del acto complejo de expresar acciones y emociones, dar órdenes…”

Más información

Objetivo: que las ‘smart cities’ no generen más barreras a las personas con discapacidad

Nuevos ojos bajo tierra

Estas dificultades son bidireccionales; también les suele costar entender a otras personas si estas no utilizan sus mismos códigos de comunicación. “Muchas veces tienen necesidades tan especiales que solo las conocen personas muy cercanas, como su cuidador y algunos miembros de su familia. Si se van de vacaciones, por ejemplo, muy pocos pueden interactuar y entenderse con ellos”, lamenta Fidel Díez, responsable de tecnologías facilitadoras en el Centro Tecnológico de la Información y la Comunicación (CTIC).

Con la intención de revertir esta situación, este organismo trabaja, con él al frente, en Insension, un proyecto europeo que pretende mejorar la calidad de vida de las personas con estas dificultades. Esta iniciativa consiste en construir una plataforma que aprenda a identificar sus acciones comunicativas y las interprete para facilitar que se comuniquen con otras personas.

CTIC es la única entidad española que trabaja en el proyecto que coordina el Centro de supercomputación y redes de Poznan, en Polonia, y en el que colaboran media docena de organismos entre los que se encuentran universidades, centros tecnológicos, ONGs y startups de Polonia, Alemania y Eslovenia.

“Una solución como esta tiene una influencia en diferentes áreas de la vida de una persona con estos problemas, no solo en el ámbito de las relaciones interpersonales, también en aspectos como su autodeterminación o bienestar emocional”, indica Ignacio Pedrosa, doctor en psicología y asesor en materia emocional y social en el proyecto.

Una solución como esta influye en aspectos como la autodeterminación o el bienestar emocional de estas personas

La puesta en marcha de Insension se remonta al 1 de enero de 2018 y, si todo va según lo previsto, estará terminado antes del 31 de diciembre de 2020. Tres años para llevar a cabo un proyecto que cuenta con más de dos millones de euros procedentes del programa de financiación Horizonte 2020 para salir adelante.

• Luces, cámara... ¡acción!

¿Cómo funciona Insension? En primer lugar, el sistema identifica a la persona a la que se pretende monitorizar por medio de reconocimiento facial. Cuando esta realiza algún gesto para expresar que tiene hambre o quiere jugar, la plataforma reconoce y registra su expresión facial, gestos, vocalización, parámetros fisiológicos discretos y patrones de comportamiento.

Mediante modelos de aprendizaje profundo, saca modelos de su cara y cuerpo y, a partir de la posición relativa de cada punto, entiende cómo cambia. También identifica dónde está la persona en la escena, cuánta gente hay a su alrededor, si tiene cerca su juguete favorito, cuál es la temperatura, la intensidad de la luz, si hay música… En definitiva: todo aquello que pueda influir en su respuesta. Sin embargo, el sistema no es capaz de adivinar por sí solo lo que quiere decir.

Para dotar de inteligencia a este sistema, es preciso que los datos estén etiquetados. O dicho de otra forma: es necesario que el cuidador, familiar o quien quiera que esté a cargo de una persona con PMLD introduzca en el programa lo que esta trata de expresar. Después, y gracias al aprendizaje automático, cuando el sistema perciba de nuevo un patrón ya registrado, será capaz de identificarlo en tiempo real.

Este aprendizaje lo realiza el algoritmo a partir de cada caso concreto y en ningún caso extrapola la información que recoge de un individuo a la realidad de otro. La personalización del algoritmo es una de las claves de este proyecto por un motivo muy concreto: en el ámbito sobre el que discurrimos, más que en cualquier otro, cada persona es un mundo.

“Cuando llega un cuidador nuevo que no conoce a la persona de la que va a hacerse cargo, tiene que aprender lo que esta quiere transmitir con cada gesto”, explica Carmen Campomanes, doctora en inteligencia artificial a cargo de los sistemas de reconocimiento facial y gestual de CTIC para Insension. “Una persona con PMLD que mueve la cabeza arriba y abajo puede estar afirmando, negando o pidiendo un juguete; depende de cada uno”.

De momento, las entidades participantes trabajan con seis jóvenes con PMLD que les ayudan a entrenar y afinar los algoritmos de cara a optimizar la plataforma mientras dure el proyecto. En este punto, Díez recalca que el desafío al que se enfrentan en el proyecto no es solo tecnológico. Explica que la experiencia de trabajar con personas con estos trastornos resulta bastante dura, ya que se crean con ellas unos vínculos afectivos que van mucho más allá de lo profesional de las que surgen historias que no siempre terminan bien. “Uno de los seis chicos con los que comenzamos el proyecto murió durante el transcurso del año y tuvimos que empezar a trabajar con otra persona”, recuerda. “No es fácil”.