Los algoritmos tendenciosos tienen arreglo (tú no)

Dice el refrán que ningún camello se ve su joroba. Esto también es verdad cuando hablamos los sistemas de decisión basados en aprendizaje automático, que, por supuesto, ignoran sus defectos. Un conjunto de algoritmos modelado para reconocer caras no tiene -en principio- manera de percatarse de que está clasificando peor los rostros de personas de ciertas minorías étnicas. Nos corresponde a nosotros arreglarlo, y estamos trabajando en ello.

Pero el refrán no lo inventamos pensando en los algoritmos. Esa invisible joroba es el retrato de un defecto puramente humano. ¿Qué pasa cuando el sesgo está en nosotros? “Cambiar algoritmos es más fácil que cambiar personas: el software de los ordenadores puede actualizarse; el entramado de nuestros cerebros ha demostrado ser mucho menos dúctil”, señala el investigador Sendhil Mullainathan en una columna que firma recientemente en The New York Times.

Mullainathan, profesor de Ciencias del Comportamiento y la Computación en la Universidad de Chicago, conoce bien las dos jorobas. Analizó la nuestra hace más de 15 años y publicó un estudio sobre la de los algoritmos el pasado mes de octubre. Su conclusión es que las cajas negras no son exclusivas de los sistemas de aprendizaje automático. “Los humanos son inescrutables de un modo en que los algoritmos no lo son. Las explicaciones para nuestro comportamiento son cambiantes y se construyen después de los hechos”, explica.

Más información

Cinco maneras en que el ‘machine learning’ puede complicarte la vida

Las redes neuronales tienen derecho a no poner la mano en el fuego

• Algoritmos jorobados

Empecemos por el final, revolución tecnológica mediante, con el trabajo más reciente del profesor de la Universidad de Chicago. En este estudio, Mullainathan evaluó el rendimiento de un sistema de evaluación diseñado para determinar el nivel de enfermedad y asignar los recursos correspondientes a cada caso. ¿Resultado? El número de pacientes de color seleccionados para recibir cuidados adicionales se veía reducido en más de un 50% con respecto a los pacientes blancos que tenían asignado idéntico nivel de riesgo.

La fuente de este desequilibrio, explica el profesor, está en los datos empleados para medir ese nivel de enfermedad: el gasto en cuidados sanitarios. “Como la sociedad gasta menos en los pacientes de color que en los blancos, el algoritmo infravaloró las necesidades reales de los pacientes negros”. Según las estimaciones de los autores de la investigación, este sesgo podría haber afectado a unos 100 millones de personas solo en Estados Unidos.

Desde el punto de vista de Miquel Seguró, profesor de la UOC y autor del libro La vida también se piensa, nos ha traído hasta aquí el mito de la neutralidad y la justicia en el cálculo. “Como razón procede de ratio en latín, y eso significa cálculo, creemos que los cálculos son en sí mismos perfectos, inalterables y compactos”, señala. "El algoritmo es una manera de intentar acercarnos a la realidad para tener una fotografía o una especie de control alrededor de una disparidad de situaciones y de casos que siempre escaparán al control máximo".

• El sesgo que vive en ti

¿Son Emily y Greg más empleables que Lakisha y Jamal? Este es el título y la cuestión central del estudio que Mullainathan publicó en American Economic Review en septiembre de 2004. Después de enviar currículos ficticios a distintas ofertas de trabajo comprobaron que los nombres blancos recibían un 50% más de llamadas para entrevistas que los afroamericanos. El fenómeno, además, era común a todas las industrias, ocupaciones y envergaduras de las empresas.

Aquí no hay algoritmos, sino humanos inescrutables. “Llegar a descubrir cuál es el interés que tenemos e intentar fotografiar de manera objetiva, neutra y aséptica todo lo que podemos llegar a pensar o desear está bien como programa, digamos, para generar un conocimiento. Pero no sé si es alcanzable en sí mismo”, razona Seguró.

• La caja negra eres tú

Al mirar atrás, Mullainathan está de acuerdo en que la habilidad para tomar decisiones injustas -y el potencial de estas para generar daños- es un rasgo que tenemos en común con los algoritmos, pero subraya que ahí acaba la lista de parecidos razonables: "Una diferencia entre ambos estudios es el trabajo que fue necesario para descubrir el sesgo".

En 2004 necesitó meses de trabajo para desarrollar los currículos, enviarlos y esperar las respuestas. Lo de este año lo resume como un simple "ejercicio estadístico": "El trabajo fue técnico y de repetición, sin exigir sigilo ni recursos". Y lo mismo con las soluciones. Para el algoritmo, ya existe un prototipo de herramienta que tendría que neutralizar el sesgo detectado en el sistema. En el caso de los humanos, el cambio lleva más tiempo. "Nada de esto busca menospreciar los obstáculos y medidas necesarias para corregir el sesgo algorítmico, pero comparado con la intransigencia del sesgo humano, sí parece bastante más sencillo".