Los algoritmos que calculan quién va a reincidir discriminan a los negros (y no es fácil corregirlos)

Los algoritmos de momento no dictan sentencias en ningún Estado de derecho. Pero sí ayudan a los jueces de varios países a tomar decisiones. El sistema más conocido de este tipo es Compas, muy extendido en EE UU, que informa a los togados de las probabilidades de reincidencia de los presos a la hora de concederles la libertad condicional y permisos o beneficios penitenciarios. Ahora, un análisis del MIT Technology Review ha concluido que esta herramienta discrimina a determinadas minorías, concretamente a los negros. El informe coincide en este punto con estudios anteriores, pero apunta además otra conclusión inquietante: que es prácticamente imposible corregir los sesgos del sistema.

Compas, el sistema elaborado por la empresa Northpointe que se aplica en los Estados de Nueva York, California, Florida o Wisconsin, entre otras jurisdicciones, emplea el aprendizaje automático (machine learning), una técnica de inteligencia artificial que se basa en perfeccionar el algoritmo según va aprendiendo de los datos que procesa. Los perfiles de los sujetos analizados por Compas se conforman a partir de un cuestionario que consta de 137 preguntas, que van desde si se ha sufrido maltrato familiar o se tienen antecedentes penales hasta si el sujeto se ha saltado clases alguna vez o si se siente desanimado. Algunas cuestiones las rellena el funcionario con datos de la Administración; otras las debe contestar el aludido. Las respuestas se ponderan de acuerdo con una serie de criterios y al final queda una nota de 0 a 10. Si es mayor de siete, el riesgo de reincidencia es alto. En Cataluña opera un sistema similar, RisCanvi, aunque en su caso no recurre a la inteligencia artificial, sino a técnicas estadísticas como la regresión múltiple.

Una investigación de ProPublica publicada en 2016 sembró la duda en torno a Compas. El experimento comparó las evaluaciones de riesgo de más de 7.000 detenidos en un condado de Florida con la frecuencia con la que realmente reincidieron o no después. Sus conclusiones fueron demoledoras: la tasa de acierto del sistema era similar independientemente de si se aplicaba sobre una persona blanca o negra, pero los fallos penalizaban más a los negros, que tenían casi el doble de posibilidades que los blancos de ser clasificados erróneamente como potenciales reincidentes.

El impacto del estudio de ProPublica todavía resuena hoy. Tras ese trabajo vinieron otros que arrojaron resultados similares, colocándolo como un ejemplo de manual de los llamados sesgos algorítmicos (las equivocaciones de las máquinas que discriminan a grupos de población concretos). También se evaluó, dejando de lado la cuestión racial, su capacidad de acierto. Y se vio que no es mejor que la de los seres humanos: la del algoritmo y la de los funcionarios ronda el 65% (es decir, que se equivocan el 35% de las veces).

El nuevo análisis del MIT Technology Review vuelve a examinar la base de datos usada por ProPublica (7.200 perfiles en el condado de Broward calificados por Compas entre 2013 y 2014), centrándose esta vez en una muestra aleatoria de 500 acusados blancos y negros. Las conclusiones son las mismas: “En el umbral predeterminado de Compas entre 7 y 8 [riesgo alto de reincidencia], el 16% de los acusados negros que no son arrestados nuevamente han sido encarcelados innecesariamente, mientras que lo mismo ocurre con solo el 7% de los acusados blancos. Existe una diferencia similar en muchas jurisdicciones en EE UU, en parte debido a la historia del país, donde la policía apuntaba desproporcionadamente a las minorías”, escribe Karen Hao, autora del análisis.

¿Puede ser justo un algoritmo?

¿Es racista entonces el algoritmo? O, mejor dicho, ¿es racista quien lo programó? No tiene por qué. Las predicciones que hace Compas reflejan los datos que se han utilizado para elaborarlas. Si la proporción de acusados negros que acaba siendo arrestada es mayor que la de los blancos, es normal que los arrestos previstos que proyectará el algoritmo también sean mayores para ese colectivo. “Tendrán puntuación de riesgo más alta de media, y un mayor porcentaje de ellos serán evaluados de alto riesgo, tanto correcta como incorrectamente”, añade Hao.

El análisis de esta investigadora señala también que cambiar el algoritmo no ayuda a corregir la sobrerrepresentación de población negra entre los que tienen más probabilidades de ser evaluados con riesgo alto de reincidencia. A no ser que se altere el sistema para tener en cuenta la raza, lo que en EE UU (y en muchos países) es ilegal. Conclusión: no hay forma de que los algoritmos actúen con justicia.

Para Antonio Pueyo, catedrático de Psicología de la Violencia de la Universitat de Barcelona y director del grupo de investigación que desarrolló RisCanvi, esta afirmación no tiene demasiado sentido. “Tanto las decisiones humanas como las algorítmicas tienen sesgos. Las razones son variadas: porque los humanos alimentan al algoritmo con datos inadecuados, porque no se ha programado bien el algoritmo o porque se incluyen en este criterios sesgados, como los puntos de corte diferenciales para grupos determinados”.

Las propias preguntas que se formulan para rellenar Compas son de todo menos inocentes. Una de ellas, por ejemplo, alude a si el sujeto ha sido identificado por la policía alguna vez. Cualquier ciudadano negro que se haya criado en Estados Unidos en un barrio de mayoría negra seguro que ha vivido esa experiencia, cosa no tan frecuente entre ciudadanos blancos criados en barrios mayormente blancos. Estos mismos problemas suelen aflorar también en los llamados algoritmos policiales, los usados por las fuerzas de seguridad para predecir dónde se va a delinquir.

¿Qué pasa con el uso que se hace del informe que produce Compas? Lorena Jaume-Palasí, experta en ética de los algoritmos y asesora del Parlamento Eu­ropeo y del Gobierno de España, entre otros, cree tan importante analizar el algoritmo como el uso que se hace luego de él. Tal y como contó a EL PAÍS, hay estudios que muestran que los jueces de EE UU que usan Compas no siempre hacen caso del riesgo de reincidencia que arroja el sistema. Puede que el algoritmo le diga que el sujeto tiene riesgo bajo y, al ser un negro (y el juez racista), no le conceda igualmente la condicional.

Otra de las críticas que suele recibir el sistema Compas es que se desconocen las tripas del algoritmo: qué baremos tienen las respuestas a qué preguntas, cómo es el proceso que desemboca en la valoración final de cada individuo. No es una peculiaridad exclusiva de los algoritmos dedicados a la justicia. Frank Pasquale, profesor de la Brooklyn Law School y experto en derecho de la inteligencia artificial, abordó la falta de transparencia del sector en su libro The Black Box Society ya en 2015.

¿Qué hay que hacer entonces con los algoritmos aplicados a la justicia? ¿Erradicarlos? ¿Mantenerlos? ¿Perfeccionarlos? Pueyo se posiciona en esta última opinión. “Las técnicas estadísticas o de inteligencia artificial son eso, técnicas, y por tanto se pueden mejorar. Pretender eliminarlas de la práctica profesional por prejuicios ideológicos no es razonable, ya que en el día a día demuestran que sus ventajas superan a las limitaciones”.

Hao, autora del análisis del MIT, no comparte esa visión. En el artículo cita la llamada proporción de Blackstone, en referencia al jurista inglés William Blackstone, que dejó escrito a finales del siglo XVIII que es preferible dejar que 10 personas culpables escapen a que un inocente sufra. Bajo ese prisma, no hay algoritmo que valga.

Puedes seguir a EL PAÍS TECNOLOGÍA en Facebook y Twitter o apuntarte aquí para recibir nuestra newsletter semanal.