Ámsterdam y Helsinki crean un registro de algoritmos para mejorar la confianza ciudadana en la inteligencia artificial

Obotti es un chatbot ―programa con el que es posible conversar― finlandés, vive en la biblioteca central Oodi, de Helsinki, y se dedica a recomendar libros a los potenciales visitantes, de acuerdo con sus gustos e intereses, a través de una aplicación. Esta entidad parlante también es uno de los cinco sistemas incluidos por la ciudad en el registro de algoritmos que estrenó, junto con Ámsterdam, la semana pasada. Se trata del primer esfuerzo de transparencia en este ámbito por parte de la Administración Pública. “Lo que buscamos es dar visibilidad a cómo se ha creado cada sistema y cómo funciona”, explica Meeri Haataja, que hace dos años fundó Saidot, la empresa responsable de la creación de la plataforma que emplean ambos proyectos.

Los algoritmos son un conjunto de reglas que se aplican de forma automatizada para resolver un problema determinado y cada vez tienen más influencia en nuestras vidas, ayudando a empresas e instituciones a tomar decisiones, o incluso tomándolas directamente, en algunos casos. Uno de sus problemas es la opacidad. Otra, que reflejen los sesgos de quienes los han programado. Esta iniciativa persigue precisamente conjurar esos riesgos. El registro finés incluye por ahora otros tres chatbots y un sistema de gestión para bibliotecas; el holandés contiene un piloto de detección de fraudes en alquiler vacacional, un sistema de control de aparcamientos y una herramienta para determinar qué departamento debe atender cada queja vecinal. “Para empezar, hemos elegido algoritmos que conciernen a todo el mundo”, explica Linda van de Fliert, responsable del despliegue del proyecto en el ayuntamiento de Ámsterdam, junto con Siham El Yassini.

El plan de ambos consistorios es seguir incorporando fichas al registro hasta completar el catálogo de servicios de este tipo ofrecidos en la ciudad. “En tres años esperamos añadir otros diez algoritmos”, estima El Yassini. La lenta escalada la explica el estado de desarrollo de los proyectos. Algunos, como el detector de matrículas que determina si un coche no autorizado entra en la zona ambiental del centro de Ámsterdam, llevan en funcionamiento desde 2018. “Si eres quien conoce el algoritmo, te lleva 20 minutos rellenar el formulario. Luego, al experto en comunicación que tiene que traducirlo en un texto comprensible para gente no tecnológica le puede costar otra hora de trabajo”, calcula Van de Fliert. Pero los que están en desarrollo o al inicio de pruebas piloto, como el detector de residuos por visión artificial, pueden tardar más en aparecer en la plataforma. Pasi Rautio, responsable del proyecto del consistorio finés, calcula que su ciudad tiene ahora una decena de sistemas activos.

Del dato al riesgo pasando por el sesgo

Gracias a este particular padrón de algoritmos, sabemos que Obotti está entrenado con la base de datos de la biblioteca de Helsinki, que incluye información de clientes, disponibilidad y descripción de las obras; así como con los datos contenidos en Finna, un servicio abierto que da acceso a los materiales registrados en los museos, librerías y archivos finlandeses. El sistema se apoya además en un conjunto de datos de hilos de discusión y palabras clave sobre temáticas creado por los expertos de la biblioteca y en el calendario de eventos de la ciudad. “Si se comparten los datasets (conjuntos de datos), es porque son abiertos, pero no se pueden compartir datos personales”, precisa la fundadora de Saidot.

“El modelo tiene distintas capas”, explica Haataja. En el primer nivel se ofrece una descripción básica y los datos de contacto de los responsables del sistema. “Esto es relevante para cualquier ciudadano y tendría que ser comprensible para todo el mundo”, continúa. En el segundo nivel, el registro contiene los detalles de cómo estos algoritmos evitan caer en prácticas discriminatorias, el modo en que procesa los datos ―si el desarrollo es propio y no de proveedores externos este apartado incluye el código fuente―, qué tipo de supervisión humana acompaña su funcionamiento y los riesgos asociados a su uso. El caso de Obotti es sencillo, los peligros que entraña un error suyo son pequeños, puesto que afectaría principalmente a la calidad de las recomendaciones.

Pero hay otros algoritmos con más intríngulis, como el sistema de detección de fraude en alquileres vacacionales que incluye el registro holandés. “Este fue el más complejo”, explica Van de Fliert. La razón es que el modelo aún está en la fase final de la prueba piloto. “El objetivo del proyecto es crear un algoritmo que sea justo, democrático y que no discrimine. Sin embargo, es complicado ser transparente sobre un algoritmo cuando todavía lo estás probando”. En líneas generales, la principal dificultad está en recopilar la información necesaria, explica Rautio, puesto que en ocasiones hay que solicitarla a proveedores externos. “Además, es difícil de describir la parte de rendición de cuentas, puesto que aún no tenemos ese rol. La inteligencia artificial es algo muy nuevo en nuestros procesos de gestión”.

Una plataforma para registrarlos a todos

“Si no hay confianza, la inteligencia artificial no tienen ninguna utilidad”, continúa el responsable del registro de Helsinki. Para todos los implicados en la puesta en marcha de estos registros, el proyecto es también una declaración de intenciones. “Queríamos demostrar que es posible hacerlo. Nuestra motivación era no solo hablar de transparencia, sino hacerla real y dejar que los funcionarios públicos nos ayudasen”, asegura El Yassini.

La plataforma, tal y como ha sido creada por Saidot, es adaptable a cualquier ciudad y está diseñada de manera que, una vez establecidos los campos básicos (descripción, rendimiento de cuentas, datasets, procesamiento, no discriminación, supervisión humana y riesgos), es posible adaptarla a sectores específicos, como sanidad o educación. Además, al otro lado de la versión que pueden consultar los ciudadanos, Saidot es una herramienta de gobernanza. “Básicamente permite tener todos los sistemas sincronizados, con información estandarizada sobre cada algoritmo o equipo de data science”, resume Haataja, que ya está en conversaciones con otras ciudades interesadas en implementar este modelo de registro.

Además, el proceso de retratar a cada algoritmo para su incorporación en el registro lleva a reflexiones que pueden ayudar a identificar áreas de mejora. “Por ahora son casos de riesgo relativamente bajo, pero las discusiones han sido muy productivas y alentadoras”, señala la fundadora de Saidot. El caso de Ámsterdam y su sistema de detección de fraude lo ejemplifica. En su apartado de no discriminación, se explica cómo el algoritmo no emplea datos personales en su proceso de descripción, para evitar que estos detalles puedan introducir sesgos. Sin embargo, se admite que es necesario confirmar que otros detalles más amplios, como el código postal, no estén conduciendo a resultados parecidos.

¿Veremos al sector privado adoptar este modelo? Para Haataja es cuestión de tiempo que esta información pase a estar integrada dentro de los propios servicios de inteligencia artificial. “Por ejemplo, si estás hablando con un chatbot, que puedas preguntarle quién es su dueño y qué está procesando”, precisa. El Yassini confía en que llegará el día en que las empresas tecnológicas apuesten también por la transparencia en cuanto al funcionamiento de sus algoritmos. “Creo que, con el tiempo, las compañías podrán prosperar por el mero hecho de abrir sus algoritmos. Y los clientes las verán como empresas con las que relacionarse”. Van de Fliert coincide, pero con algo de escepticismo: “Por supuesto, para ellas llevará más tiempo y posiblemente será necesaria la presión de la sociedad para llevarlas a esa fase”.

Puedes seguir a EL PAÍS TECNOLOGÍA RETINA en Facebook, Twitter, Instagram o suscribirte aquí a nuestra Newsletter.