Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos

Un tribunal neerlandés ha decidido que SyRI (acrónimo de System Risk Indication), un sistema de análisis para rastrear posibles fraudes al Estado utilizado por el Gobierno, “no respeta la privacidad del ciudadano y vulnera el artículo 8 de la Convención Europea de Derechos Humanos”, relativo al derecho a la vida privada. Con SyRI —no confundir con Siri, el asistente de Apple— el Ministerio de Asuntos Sociales y Empleo estudia desde 2014 datos sobre ingresos, pensiones, seguros, tipo de casa, impuestos, multas, integración, educación, deudas o subsidio de desempleo de los contribuyentes para calcular luego a base de algoritmos quién tiene más probabilidades de defraudar a la Administración. En octubre, el australiano Philip Alston, relator especial de la ONU sobre pobreza y derechos humanos, remitió un informe al tribunal criticando que SyRI “señala a los ciudadanos con menos renta y a grupos de población de origen inmigrante”.

El fallo de la justicia neerlandesa sobre SyRI sienta un precedente legal que puede tener repercusiones a escala internacional

Esta sentencia, inédita en Europa contra el uso por un Gobierno de algoritmos predictivos, es también un intento más de parar los pies a unas tecnologías cada vez más presentes en la toma de decisiones sobre las vidas de los ciudadanos cuyos datos escrutan: desde los contenidos que consumen hasta su aptitud para recibir un préstamo hipotecario. En Filadelfia y otras ciudades estadounidenses, un algoritmo lleva un lustro calculando posibilidades de reincidencia de delincuentes. A lo largo y ancho de EE UU y Europa, las autoridades recurren a estos sistemas para distribuir patrullas policiales y dictar sentencias de cárcel. Bristol tiene su propio sistema para identificar a los jóvenes más propensos a delinquir, recoge The New York Times.

El fallo sobre SyRI sienta un precedente legal que puede tener repercusiones en el exterior y supone una gran victoria para los demandantes, una coalición de ocho grupos civiles locales, entre ellos organizaciones de abogados, activistas de derechos humanos y el sindicato mayoritario FNV. SyRI se ha usado hasta la fecha en las ciudades de Róterdam, Eindhoven, Haarlem y Capelle aan den Ijssel.

El Tribunal de Distrito de La Haya (de primera instancia) anunció el día 5 de febrero su fallo, en el que reconoce “el objetivo legítimo y de gran relevancia social de evitar un delito”. Sin embargo, añade que “el modelo de riesgo elaborado en estos momentos por SyRI puede tener efectos no deseados, como estigmatizar y discriminar a la ciudadanía, por la ingente cantidad de información que recoge”. El caso retrata dos caras que se enfrentan constantemente en el debate de si es lícito depositar nuestra confianza en algoritmos que por su diseño o entrenamiento pueden presentar sesgos ocultos.

Sobre el papel, estas herramientas están llamadas a reducir la presión sobre departamentos cuyas cargas de trabajo parecen inversamente proporcionales al personal que tienen disponible para abordarlas. Se reducen así los costes para el Gobierno y, en el extremo más optimista, se eliminan de la ecuación los sesgos inherentes a la naturaleza humana. Sobre los ciudadanos, los algoritmos se vuelven armas de doble filo de cuyos riesgos advierte hasta la ONU. “Los Estados de Bienestar digitales se arriesgan a convertirse en caballos de Troya para la hostilidad neoliberal hacia la protección social y la regulación”, señalaba recientemente Philip Alston, relator especial sobre pobreza extrema y derechos humanos en la organización.

SyRI se utilizaba en especial en barrios que el Ejecutivo considera problemáticos. Para calcular posibles irregularidades, los algoritmos enlazan todos los datos personales de sus residentes almacenados por instancias gubernamentales. Esos datos se comparan luego con el perfil de riesgo creado a partir de la información de otros ciudadanos que sí han delinquido. Observadas las similitudes, se confecciona una lista de nombres que las autoridades pueden conservar hasta dos años.

Los municipios deben pedir permiso al citado ministerio si sospechan del posible abuso de las ayudas económicas, u otras actuaciones ilegales, para poder analizar la información. La Agencia Tributaria, la inspección de Asuntos Sociales y Empleo, o el Banco de la Seguridad Social disponen de acceso a SyRI, y el ciudadano puede consultar el informe a su nombre. Pero no es informado de forma automática de la investigación, según explica la coalición demandante en la web que creó para trabajar en el caso.

El ministerio alegó al tribunal que “el sistema solo liga datos que el Estado ya posee, y dibuja con ellos un árbol de decisión [un modelo de predicción], de modo que no se usa la inteligencia artificial ni tampoco algoritmos de autoaprendizaje”. Por el contrario, el fallo señala que dicha afirmación “no se puede comprobar, porque la legislación que permite el uso de SyRI no es lo bastante transparente”. Los jueces señalaron que no habían recibido suficiente información sobre el sistema, “ya que el Estado mantiene en secreto la forma de calcular la posibilidad de fraude”.

En su reacción oficial al fallo, el ministerio hace hincapié en la necesidad “de comprobar si los servicios y prestaciones de la seguridad social acaban en las manos adecuadas”, para evitar abusos. En un comunicado, añade que el fallo será “estudiado a fondo” para ver si cabe un recurso de apelación. Maxim Februari, un conocido columnista holandés que figuraba entre los demandantes, ha señalado: “El Parlamento deberá pensarlo mejor a partir de ahora, porque si aplicas una nueva tecnología debes fijarte bien en la protección legal del ciudadano”.