Discriminados por los algoritmos

Tiene 63 años, es empleada del hogar y desde 2014 sufre un enfisema pulmonar a pesar de que nunca ha fumado. Sufre por ello episodios frecuentes de bronquitis y ahogo que requieren un tratamiento cada vez más caro. El último invierno ha pagado un promedio de 80 euros mensuales en la farmacia, lo que para unos ingresos de 850 euros al mes, es una cantidad enorme. Tratándose de una enfermedad crónica, estaba exenta del copago del 40% del precio de los fármacos, pero nadie la informó ni revisó sus recetas electrónicas. Alguien se había equivocado al introducir los datos en el sistema. Tampoco saltó ninguna alarma en los ocho años en que alguien tan vulnerable como ella ha estado pagando de más.

Es sabido que las barreras culturales dificultan el acceso de los más desfavorecidos a los servicios y ayudas sociales. Se ha visto con el Ingreso Mínimo Vital. El Gobierno había previsto que la ayuda llegara a 800.000 hogares, pero un año y medio después apenas la recibían 377.000 familias, y no por falta de dinero. Ha tenido que recurrir a las ONG, cuyos radares están mucho más a ras de suelo, para que las ayudas lleguen a sus destinatarios. No es un problema menor: alrededor del 30% de los ciudadanos desfavorecidos de la Unión Europea no reciben las ayudas sociales a las que tienen derecho porque no saben que existen.

A esta brecha cultural y social se suma ahora la tecnológica. Los algoritmos aplicados a las políticas sociales permiten agilizar los trámites y gestionar grandes contingentes de ayudas de forma rápida y eficiente. A condición de que estén bien diseñados, cosa que no siempre ocurre. Desde 2017, las familias más vulnerables tienen derecho a un descuento en la factura de la luz. Quien evalúa si los solicitantes reúnen los requisitos es el programa informático Bosco. La organización Civio, una entidad preocupada por la calidad democrática, comprobó que se habían denegado ayudas a solicitantes que reunían los requisitos. El Gobierno había estimado que en 2019 tendrían derecho al bono social unos 5,5 millones de hogares, pero solo lo habían solicitado 1,1 millones. ¿En qué momento se perdieron todos los demás? El programa fue revisado cuando Civio pidió revisar el algoritmo, el Gobierno se lo denegó y un tribunal le ha dado ahora la razón.

¿Quién vigila al vigilante? Esta es una cuestión clave porque cada vez son más los algoritmos que se utilizan en políticas sociales. El programa VioGen, por ejemplo, determina el riesgo de que una mujer maltratada vuelva a ser agredida, algo de lo que muchas veces depende su vida. Desde 2007 se ha aplicado en 800.000 casos. La Fundación Éticas cuestionó su fiabilidad y la revisión puso de manifiesto un problema en la recogida de datos, unas veces por falta de formación de los funcionarios, otras por el estado psicológico de la mujer.

Un algoritmo es también el que ayuda a los jueces de vigilancia penitenciaria a evaluar el riesgo de reincidencia de los presos a la hora de concederles permisos. Aunque muchos de estos programas están dotados de mecanismos de revisión y autoaprendizaje, reproducen con facilidad los sesgos sociales. Un análisis del Instituto Tecnológico de Massachussetts (MIT) demostró que el programa Compas, uno de los programas de evaluación del riesgo de reincidencia más utilizado en Estados Unidos, discriminaba a los negros. No era de extrañar. Uno de los datos a incorporar en el sistema era cuántas veces el preso había sido identificado por la policía. Y los negros lo son en mucha mayor proporción por un sesgo racial de la propia policía. El MIT concluyó que el algoritmo cometía el mismo porcentaje de errores de apreciación que la evaluación humana: alrededor del 35%. Lo cual plantea una cuestión importante, a la que todavía no se ha dado respuesta: ¿tienen derecho los ciudadanos a conocer y evaluar los algoritmos de los que dependen los derechos y hasta la vida de muchas personas?