Cuando el algoritmo que avisa a Asuntos Sociales cree que las familias negras son disfuncionales

El Gobierno de Nueva Zelanda encargó hace una década a dos economistas desarrollar un modelo estadístico para calcular las posibilidades de que un recién nacido sufriera maltratos durante sus primeros cinco años de vida. El programa se hizo público en 2014. Un grupo de investigadores reveló que se equivocaba en el 70% de los casos. El plan se paró en 2015, antes de que se aplicase sobre una muestra de 60.000 recién nacidos. Para entonces, los desarrolladores de ese sistema ya habían conseguido un contrato para crear un modelo de predicción de riesgos similar en el condado de Allegheny (Pensilv...

El Gobierno de Nueva Zelanda encargó hace una década a dos economistas desarrollar un modelo estadístico para calcular las posibilidades de que un recién nacido sufriera maltratos durante sus primeros cinco años de vida. El programa se hizo público en 2014. Un grupo de investigadores reveló que se equivocaba en el 70% de los casos. El plan se paró en 2015, antes de que se aplicase sobre una muestra de 60.000 recién nacidos. Para entonces, los desarrolladores de ese sistema ya habían conseguido un contrato para crear un modelo de predicción de riesgos similar en el condado de Allegheny (Pensilvania, EE UU).

El sistema asignaba a cada embarazo una puntuación a partir del análisis de 132 variables, como el tiempo que hacía que se recibían ayudas públicas, la edad de la madre, si el niño había nacido en el seno de una familia monoparental o la salud mental y los antecedentes penales de los progenitores. Cuando el valor que arrojaba el algoritmo era alto, los asistentes sociales recibían un aviso: hay que comprobar que todo esté en orden en esa familia. Aunque fuese una falsa alarma, cada visita domiciliaria queda registrada en un país en el que se puede retirar la custodia de un niño por no tener la nevera llena.

La politóloga Virginia Eubanks (Nueva York, 1972) ha investigado el uso de esta herramienta y concluye que su uso perjudica especialmente a las clases trabajadoras y a los pobres, lo que en el contexto estadounidense significa una robrerrepresentación de negros y latinos. Y lo cuenta en su libro La automatización de la desigualdad, que Capitán Swing saca a la venta en castellano este lunes. Su edición inglesa recibió premios, elogios de autores como Naomi Klein o Cathy O’Neil y buenas críticas de medios como The New York Times.

Uno de los motivos de ese efecto es que los datos de los que se nutre el algoritmo para puntuar el riesgo de maltrato se recogen de registros públicos, y en EE UU solo los pobres interactúan con las instituciones públicas. El resultado de las puntuaciones sería muy distinto si el sistema incluyese también datos privados: si los padres recurren a niñeras (y por tanto están ausentes), historiales de psicólogos y psiquiatras de pago, asistencia a Alcohólicos Anónimos o centros de desintoxicación de lujo...

Eubanks desmenuza este y otros dos ejemplos de usos de algoritmos en la toma de decisiones de instituciones públicas en su libro. Los casos de estudio elegidos, todos ellos de Estados Unidos, demuestran que tecnología no es sinónimo de eficacia aséptica, sino más bien de lo contrario. “Estas herramientas, construidas supuestamente para eliminar las desigualdades y lograr la neutralidad, lo que realmente hacen es amplificar las desigualdades que tenemos en la sociedad”, explica la autora por videollamada a EL PAÍS.

Criminalizar la pobreza

Además del modelo predictivo de maltrato de Allegheny, Eubanks analiza un sistema aplicado en Indiana para automatizar la elegibilidad (esto es, quién puede ser beneficiario) de los programas de asistencia social. El problema es que estaba diseñado de tal manera que, cuando había algún error en el proceso o papeleo, siempre se le atribuía al solicitante. El resultado fue la denegación de un millón de prestaciones. No tardaron en salir a la luz casos especialmente sangrantes de potenciales beneficiarios a los que se les denegaron las ayudas, como niñas de seis años de familias humildes o abuelas hospitalizadas por problemas de corazón a las que se les retiró el servicio médico gratuito (Medicaid). Se acabó cancelando, pero el gasto en prestaciones sociales es hoy más bajo que nunca.

El otro caso de estudio es un sistema computerizado que decide quiénes de los 60.000 sin techo que había en el condado de Los Ángeles en 2017 debían recibir ayuda, sabiendo que 25.000 que se quedarían sin ser atendidos. Según los diseñadores del sistema, este ayudaría a ponderar de forma objetiva los casos más acuciantes para asignarles recursos. “Existe otro modo de entenderlo”, escribe Eubanks al respecto: un análisis de costes y beneficios. “Es más barato proporcionar viviendas de apoyo a la reinserción a las personas desamparadas más vulnerables y en una situación cronificada que mantenerlas en las salas de urgencias, en las instalaciones de salud mental o en las cárceles. Y es más barato proporcionar a las personas sin techo menos vulnerables un realojo rápido que comporte una inversión reducida y limitada en el tiempo que dejar que se conviertan en personas desamparadas cronificadas”.

El nexo común de los casos que pormenoriza Eubanks en el libro es, en su opinión, que en todos ellos el punto de partida es la criminalización de los menos favorecidos. Y eso tiene que ver con la concepción estadounidense de los menos pudientes. “Hay que romper la idea tan arraigada que tenemos en EE UU de que la pobreza es el resultado del fracaso moral”, apunta la profesora de Ciencia Política de la Universidad de Albany. Los defensores del uso de algoritmos en la gestión de servicios públicos, dice, aseguran que el big data revoluciona las rígidas burocracias, estimula las soluciones innovadoras e incrementa la transparencia. “Pero si nos centramos en programas especialmente dirigidos a los pobres y la clase trabajadora, el nuevo régimen de análisis de datos es más una evolución que una revolución. Es una expansión y continuación de las estrategias de gestión moralista y punitiva de la pobreza que nos acompañan desde 1820”, sentencia.

Aires de cambio

La pandemia ha demostrado que el trato discriminatorio hacia los más pobres existe. Cuando la covid-19 irrumpió en Estados Unidos, los sistemas informáticos que tramitan y conceden los subsidios de desempleo se vieron superados por la demanda. “Como respuesta, muchos Estados relajaron los requisitos para demostrar que necesitas la ayuda. Es decir: cuando la crisis afecta a las clases medias, de repente ya no necesitamos esas reglas tan complejas para acceder a beneficios sociales”, ilustra Eubanks.

Ampliar el número de usuarios de los sistemas automatizados de prestaciones sociales no es la única novedad que ha traído la pandemia. La académica cree que en la sociedad estadounidense se está empezando a generar un debate acerca del uso de la tecnología en distintos ámbitos de la sociedad. “Ahora hay mucha gente que está pensando de forma más crítica qué significa y qué efecto tiene en sus vidas las herramientas de vigilancia digital como el reconocimiento facial o el hecho de que la policía lleve cámaras encima”, señala. Esta reflexión está liderada por movimientos sociales liderados por jóvenes afroamericanos, indica Eubanks. “Es el fruto de una combinación entre la preocupación por el funcionamiento de algoritmos opacos, el legado racista de la policía estadounidense y el enfrentarse de repente a un sufrimiento económico tremendo. Eso crea un momento de cierto alineamiento social que permite revisarlo todo”.

Más allá de Estados Unidos

Para que los algoritmos dejen de decidir si se le puede retirar la custodia de un niño a sus padres, opina Eubanks, hay que interiorizar que estos programas no son neutrales. “Si queremos construir mejores herramientas tenemos que hacerlo con mejores valores desde el principio, porque si no acaban teniendo los que ya tenemos, y por tanto no deberíamos sorprendernos de que produzcan los mismos resultados una y otra vez”, reflexiona.

Los sistemas descritos en el libro no tienen por qué circunscribirse a Estados Unidos. La profesora trabaja ahora de hecho en estudiar los patrones que sigue la aplicación de algoritmos en el ámbito de las decisiones públicas que tienen que ver con prestaciones sociales.

“La infraestructura para que estos sistemas funcionen está lista en muchos sitios del mundo”, asegura. “Lo que cambian son los regímenes políticos, la austeridad moral o los momentos en los que se mira hacia otro lado. Las empresas hacen estas herramientas y las agencias gubernamentales las tratan como soluciones a la austeridad. No creo que desaparezcan solas”.

Puedes seguir a EL PAÍS TECNOLOGÍA en Facebook y Twitter.