Así se gasta dinero público en “tecnologías inútiles” para lograr titulares

“Madrid anuncia  que lanza un piloto de pago biométrico”. “Cataluña desarrolla un sistema de identidad digital con blockchain”. Los sistemas públicos presumen de adoptar tecnologías emergentes pero, ¿han evaluado si tiene sentido, qué riesgos supone usar dichas tecnologías en determinados contextos o si funcionan siquiera?

“A la Administración Pública parece que se lo cuelan todo en temas tecnológicos”, afirma Gemma Galdon, presidenta de la Fundación Éticas, dedicada a la realización de estudios y actividades de concienciación sobre cómo impactan las nuevas tecnologías en la sociedad. “Cuando conoces la tecnología y ves ciertos anuncios en prensa, sorprende porque ves que están tomando malas decisiones. Están invirtiendo en tecnologías que son, entre comillas, inútiles, o no proporcionales en cuanto al abuso de derechos que suponen”, añade la también fundadora de Eticas Research and Consulting. Se refiere, por ejemplo, a lo innecesario de recoger datos sensibles de la población para subir a un autobús. 

Galdon señala además que la tasa de error de los sistemas biométricos [de reconocimiento facial y movimientos] en condiciones óptimas es superior al 30%, según reconocen las empresas con las que trabaja. Eso en condiciones óptimas. En escenarios reales se ha demostrado que el porcentaje puede ser exponencialmente mayor. En Reino Unido, un software de reconocimiento facial utilizado por la Policía Metropolitana proporcionó más de un 98% de falsos positivos en las alertas generadas, como reveló en 2018 The Independent.

“En definitiva, la biometría no es segura y, además, es altamente pirateable y pirateada”, sostiene la experta. Cree que España debería imitar a países como Holanda o ciudades como San Francisco, que están incluyendo moratorias en la introducción de sistemas de reconocimiento facial. “Los gobiernos más avanzados en términos tecnológicos han decidido parar en lugar de correr, y si España quiere situarse como espacio relevante en tecnología debe hacerlo en esa línea. Se trata de conocer primero los riesgos, de ser pioneros en hacerlo bien”, afirma.

Matar moscas a cañonazos

En el caso de blockchain, Galdon cree que “es una solución en busca de problemas”. “Sabemos que tenemos una forma, a través de la cadena de bloques -explica- de asegurar que la información que se introduce sea verificada de forma descentralizada por múltiples agentes. Genial, pero no sabemos para qué sirve”. Argumenta, además, que ya existen tecnologías consolidadas que son menos costosas de desarrollar.

En el caso de su aplicación en el sistema identidad digital de Cataluña, señala que lo que se necesita para identificar a personas son bases de datos actualizadas e interoperables, que se comuniquen con otras y que sean flexibles, que puedan cambiar todo el tiempo. “Eso está inventado ya, es muy barato y se puede hacer sin compartir los datos de las personas”, afirma. Crear una lámina de blockchain encima de todo eso -dice- “es matar moscas a cañonazos”.

Otro motivo por el que cuestiona el uso de esta tecnología es su falta de anonimidad. “Para que se pueda verificar la información tiene que haber trazabilidad, se puede no saber quién eres pero queda registrado todo lo que haces, por lo que para gestionar datos personales es una mala solución”, comenta. Además –dice- no está claro quién va introducir los datos en el sistema: ¿el ciudadano? ¿El Estado? ¿Xada Administración? Teniendo en cuenta que estas no pueden ni deben compartir ciertos datos, no lo considera viable.

También cree que es un gasto innecesario de dinero y tiempo, ya que el desarrollo de un sistema de identidad digital basado en blockchain “requiere de un gran presupuesto y un proceso de años”. “Es una tecnología no madura que exigirá de tiempo para estar lista”, asegura. Galdón sostiene que hay una manifiesta incomprensión de esta tecnología y que “por eso siempre se habla de ella en términos muy genéricos”. Cree que es interesante que haya gente pensando y estudiando cómo puede ser útil, pero que es una tarea para las universidades y para la empresa privada, no para la administración pública.

A favor

Innovar por innovar no es innovar, es inventar, y eso está muy bien para los científicos e investigadores pero no vale para la Administración Pública"

Lorena Jaume-Palasí, fundadora de </span><a href="https://www.ethicaltech-society.org/">The Ethical Tech Society</a><span> y cofundadora de AlgorithmWatch

No lo ve así Montse Guardia, directora general del consorcio español de blockchain Alastria, con participación pública y privada. “La identidad digital basada en blockchain es un cambio de arquitectura digital importante que hace replantear los procesos de la administración para simplificarlos, redefinirlos y automatizarlos”, asegura. El salto -dice- es conceptual: “No se trata de tener un identificador personal sino una identidad con atributos a decisión de la persona y del uso que se hace”. También afirma que no es caro, ya que se usa software de código abierto y el almacenamiento en nube es cada vez más económico.

En cuanto a quién deberá introducir los datos en el sistema, comenta que en los foros de blockchain se apuesta por una solución basada en la generación de claves. Sobre el anonimato, asegura que en la cadena de bloques se almacena una representación del dato -no el dato en sí- en una fórmula ya encriptada bajo una llave pública y una privada que, combinadas, darían lugar a dicha representación.

De ser esto así, si es el ciudadano quien decide los atributos, ¿le podrá decir a Hacienda que no acceda a sus datos? ¿Para qué invierte la Administración en una estructura descentralizada que elimina de la ecuación a la autoridad central, que es precisamente la propia Administración? “Tendemos a asociar control y centralización pero no son lo mismo. Hacienda podría disponer de una aplicación descentralizada y seguir jugando un papel en el ecosistema descentralizado”, sostiene.

Colectivos invisibles

Más allá de blockchain, de la biometría o de cualquier otra tecnología, la reflexión de fondo que hace Galdón es que “parece que no hay nadie al volante en la toma de este tipo de decisiones”. Lo dice tanto por la empresa privada como por la Administración Pública, con la gran diferencia de que la primera lo hace con dinero privado y la segunda con fondos públicos. “No solo se está tirando el dinero sino que se están haciendo las cosas al revés”, afirma. Se refiere a gobiernos que empiezan sus programas de inteligencia artificial con proyectos con colectivos vulnerables, en lugar de con otros menos problemáticos o con cuyos datos sea menos sensible trabajar.

Galdón comenta el caso de países en Latinoamérica [que prefiere no concretar por conflicto de intereses] que tratan de mejorar la atención a la población mediante análisis de datos para identificar personas que pueden ser más susceptibles de tener ayudas públicas. Esto, que suena muy loable y que a priori debería tener un impacto positivo, puede ser un arma de doble filo. “En lugar de empezar con colectivos como los parados lo han hecho con niños con enfermedades raras y, si el algoritmo va mal o toma malas decisiones, los perjudicados serán personas muy vulnerables y sin capacidades de defensa”, plantea.

Otro ejemplo: “En Gran Bretaña los servicios sociales son digitales por defecto. ¿El precio? La exclusión de personas analfabetas, disléxicas o con dificultades”. Cuando el algoritmo se equivoca -dice- caes en un pozo negro. “Y no solo eso, el fraude también va en aumento”. La experta cita un artículo en The Guardian que pone de relieve historias de personas afectadas y que advierte sobre el riesgo de que ciertos colectivos vulnerables sean olvidados a costa de la automatización del sistema de concesión de beneficios.

Ejemplos no faltan. The Verge reveló en 2018 cómo un error de codificación de un algoritmo de asignación automática de recursos provocó una reducción injustificada de la cobertura del sistema de salud de Arkansas (EE.UU) para pacientes con parálisis cerebral, a los que se les asignaron menos horas de cuidados de las que realmente les correspondía. De vuelta al reconocimiento facial, son conocidos los casos de discriminación del sistema de pasaporte biométrico en Reino Unido hacia personas con cierto color de piel.

“¿Vamos a condenar a ciertas personas a la invisibilidad, al no poder usar estas tecnologías, al no ser reconocidas?”, cuestiona Lorena Jaume-Palasí, fundadora de The Ethical Tech Society y cofundadora de AlgorithmWatch. Incluso si la tecnología funcionase bien -añade- ello no garantiza la equidad ni que se usen de manera justa.

Pone como ejemplo el uso de sistemas de biometría para aceptación de visados en las fronteras en Grecia y Hungría. “Están sometiendo a las personas que quieren solicitar un visado a una especie de polígrafo, que es algo que no se ha hecho hasta ahora y que a nivel democrático es altamente peligroso. Los polígrafos se utilizan con acusados en situaciones de criminalidad, no con víctimas”, denuncia.

Sin justificación social

Desde el punto de vista de análisis jurídico, plantea la necesidad de preguntarnos si el uso de estas tecnologías es lícito y qué criterios de equidad está cumpliendo. ¿Va a crear más cohesión social? ¿Es justificable desde el punto de vista medioambiental? ¿Crea más pluralidad? “Son las preguntas que la Administración se debería hacer y que no se hace. El debate se limita a la necesidad de desarrollar algoritmos que no discriminen a nivel individual pero incluso teniéndolos la cuestión es, ¿para qué los queremos?”.

La experta en ética algorítmica argumenta que, cuando se usan tecnologías de automatización, se crean estándares y, en base a ellos, una arquitectura administrativa matemática conforme a la cual se proporcionan servicios. Eso significa que quienes no estén dentro de esos estándares se quedarán sin acceso, “lo cual deriva en nuevas formas de precariado y de invisibilidad”. La Constitución Española -prosigue- dice que todos somos iguales ante la ley. “Eso significa que tiene que facilitar a todos el acceso a los servicios y que este no puede llevar a la fragmentación social”, añade.

Mensaje de fondo

El mensaje de fondo no es que la Administración no deba innovar ni adoptar nuevas tecnologías, todo lo contrario. Es su deber hacerlo, pero debe hacerlo bien: con las precauciones necesarias, evaluando previamente su posible impacto, siendo consciente de sus limitaciones, previniendo los problemas conocidos, fallando rápido, asegurándose de su fiabilidad, exigiendo garantías a las empresas que las desarrollan y realizando su implementación de forma paulatina y segura, con pilotos muy controlados.

“A nivel público el problema es que hablamos de innovación sin ponerle valor social detrás. Innovar por innovar no es innovar, es inventar, y eso está muy bien para los científicos e investigadores pero no vale para la Administración Pública. La innovación en este marco tiene que basarse en una necesidad social y debe responder a ella”, sentencia Jaume-Palasí. Galdon coincide: “No todo vale en el nombre de la innovación. Si vamos a automatizar debemos preguntarnos por qué, para qué, a qué necesidad social responde”.

La fundadora de Eticas afirma que “no hay ningún partido en ningún lugar del mundo con un programa tecnológico creíble; ni parlamento ni partido capaz de entender y de tener iniciativa en algo que está marcando la vida de las personas de forma cotidiana cada vez más clara”. Estamos -dice- “en un nivel de desprotección brutal”.

No hay nadie -señala- que lidere la comprensión del impacto político y social de estas transformaciones. “Falta una comprensión del impacto de la tecnología a todos los niveles, que todos los ministerios y secretarías de Estado analicen cómo esta impacta en su sector, entender los riesgos y el papel de la política en gestionar esa nueva realidad, y que haya un espacio legal transversal que permita abordar los retos compartidos. Eso no existe en ningún lugar”, concluye.