Espiar al pobre: el Estado de bienestar digital

Su nombre es SyRI y corresponde a System Risk Indication. Se trata de una herramienta digital diseñada para detectar el fraude en el uso de prestaciones sociales en Holanda. Información personal registrada en distintas unidades administrativas se combina para determinar el riesgo de cometer irregularidades para individuos que viven en barrios de baja renta y alta complejidad social. Hace algo más de un año, una coalición de grupos de defensa de los derechos humanos, a la que se sumó Philip Aston, el relator especial de la ONU sobre pobreza extrema, de visita estos días por nuestro país, acudie...

Su nombre es SyRI y corresponde a System Risk Indication. Se trata de una herramienta digital diseñada para detectar el fraude en el uso de prestaciones sociales en Holanda. Información personal registrada en distintas unidades administrativas se combina para determinar el riesgo de cometer irregularidades para individuos que viven en barrios de baja renta y alta complejidad social. Hace algo más de un año, una coalición de grupos de defensa de los derechos humanos, a la que se sumó Philip Aston, el relator especial de la ONU sobre pobreza extrema, de visita estos días por nuestro país, acudieron a la justicia para denunciar la múltiple vulneración de derechos del Estado holandés en esta nueva modalidad de espionaje social 3.0. El 5 de febrero, en una sentencia sin precedentes, el tribunal que lleva más de un año estudiando el caso, ordenó la paralización inmediata de SyRI por vulnerar los derechos humanos de las personas sometidas a vigilancia sin consentimiento ni sospecha previa.

No es un caso aislado, el propio Aston presentó el octubre pasado un informe a la Asamblea General de la ONU advirtiendo de los peligros del uso de la inteligencia artificial en la gestión de los programas sociales. Ante la atracción de los Gobiernos hacia las inconmensurables oportunidades que ofrecen los metadatos, el relator advertía del “grave riesgo de tropezar como zombies en la distopia del Estado de bienestar digital”. Tras meses de trabajo de investigación, el rotativo británico The Guardian ha recopilado información sobre las recientes inversiones millonarias en países tan dispares como el Reino Unido, Estados Unidos, India o Australia para robotizar los servicios de asistencia social. Los experimentos biométricos diseñados en teoría para detectar usos ilícitos, en la práctica pueden cancelar de forma aleatoria el pago de ayudas o reclamar deudas imposibles de rastrear. Más grave aún, estas nuevas burocracias sin rostro provocan ansiedad, miedo y desconfianza en personas que ya de por sí viven al límite. En su reciente libro Automating Inequality, la politóloga estadounidense Virginia Eubanks detalla el funcionamiento de estos sistemas en varios Estados americanos. Si no fuera por la rigurosa recopilación de evidencia documental, pensaríamos que se lo está inventando todo. Eubanks denuncia la creación de un inquietante sistema de control social punitivo, opaco y altamente invasivo dirigido exclusivamente a personas en situación de extrema vulnerabilidad. La sentencia sobre el caso SyRI refleja una realidad muy similar.

Estos movimientos aún minoritarios pero en continuo ascenso nos obligan, una vez más, a cuestionarnos la relación entre el avance científico-tecnológico y el progreso humano. Puesto al servicio del bien común, el manejo de datos a gran escala abre horizontes inexplorados. Puede contribuir a realizar evaluaciones de política pública basadas en la evidencia, a mejorar la eficacia con la que se distribuyen las ayudas sociales, a crear los cauces que permita un intercambio ágil de la información. El editorial Estrategia de datos publicado el 5 de febrero por este diario destacaba la importancia para Europa de construir plataformas digitales que garanticen el almacenamiento seguro de los datos y permitan su intercambio de forma transparente. Sin embargo, en ausencia de una severa rendición de cuentas, el control de los datos por parte de los poderes públicos puede también contravenir la garantía de derechos fundamentales, incluso en el seno de democracias consolidadas. ¿Quién maneja los códigos? ¿Para qué fin? Los problemas vinculados a la automatización del Estado de bienestar son básicamente dos. En primer lugar, estos nuevos sistemas funcionan con una total falta de transparencia. La ejecución y elaboración de estos complejos algoritmos se deja en manos de compañías privadas big tech alejadas del escrutinio público. En el caso de SyRI, como podemos leer en el informe sobre la audiencia judicial del Center for Human Rights and Global Justice, el fiscal argumentó que para que el sistema pudiera cumplir sus objetivos, los indicadores utilizados debían ser secretos. Si, por ejemplo, se anunciara públicamente que la información sobre beneficiarios de ayudas sociales es cruzada con datos sobre el patrón de consumo de agua para determinar cuánta gente habita efectivamente en una vivienda, las personas investigadas dejarían el grifo abierto, afirmó. Es decir, si se revela la fórmula, se arruina su propósito. La vulneración del derecho de las personas a su privacidad por parte de quien más tendría que garantizarla se convierte, de pronto, en un mal menor. En segundo lugar, la automatización elimina el factor humano en situaciones en las que no cabe una respuesta estandarizada. No es lo mismo pagar la compra del supermercado sin mediación de nadie que enfrentarse a una situación de desahucio vital con una máquina programada para decirte que no. Pero la pregunta de fondo más importante que debemos hacernos frente a esta nueva realidad es ¿para qué? Para qué todo este esfuerzo por criminalizar al pobre cuando el mayor desafío que tienen los Estados de bienestar contemporáneos es cómo conseguir que los más privilegiados contribuyan. Los algoritmos están definitivamente situados en el lugar equivocado.

Margarita León es profesora de Ciencia Política de la Universitat Autònoma de Barcelona.