El algoritmo que discrimina a los pacientes negros sin conocer su raza

Hubo un tiempo en el que se pensó que los algoritmos ayudarían a tomar decisiones sin los prejuicios que a veces nublan la mente de los humanos. El rigor de las matemáticas y la frialdad de los datos resolverían de forma automática muchos de nuestros problemas. Pero innumerables ejemplos, en campos tan sensibles como el trabajo, el crimen o la inmigración, han demostrado que ni siquiera los programas más sofisticados evitan estos problemas. Los algoritmos tienen sesgos, es inevitable, porque las máquinas se nutren con información humana. Ahora, un equipo de investigadores ha demostrado que un algoritmo usado para analizar los riesgos para la salud de millones de pacientes en EE UU discrimina sistemáticamente a la población negra. Y lo hace sin saber siquiera su raza. Lo peor, advierten los especialistas, es que el mismo mecanismo sesgado se está usando ahora mismo con millones de personas en todo el mundo y en muchos otros ámbitos.

"El algoritmo predice cuánto dinero costará un paciente. Y aquí es donde entra en juego el sesgo. Esta variable es sistemáticamente diferente para los pacientes blancos y negros", explica Obermeyer

Para asignar recursos sanitarios de forma eficiente, el algoritmo distribuye los pacientes según el riesgo médico asociado a sus características. Así, los que tengan peor condición de salud tendrán acceso a un programa específico de atención sanitaria. Sin embargo, tras estudiar concienzudamente los ingredientes que se usan para cocinar esa distribución de los pacientes, los investigadores han descubierto que los negros están mucho peor que los blancos incluidos juntos en la misma categoría. Es decir, que habría miles de negros que quedarían fuera del programa estando mucho más enfermos que los blancos. “Podemos cuantificar estas diferencias”, escriben los investigadores en su estudio en la revista Science, “en el grupo de muy alto riesgo los negros tienen 26,3% más enfermedades crónicas que los blancos”. Según datos de la industria, este modelo se aplica a unos 200 millones de personas cada año en EE UU.

Por primera vez en un algoritmo de esta trascendencia y dimensión, la empresa que lo comercializa permitió a los investigadores tener acceso a todos los ingredientes con el que confecciona su resultado. En todos los factores importantes del estado de salud, como gravedad de la diabetes, presión arterial alta, insuficiencia renal, colesterol y anemia, descubrieron que los negros tienen “sustancialmente peor salud que los blancos en cualquier nivel de predicciones del algoritmo”.

Lo más llamativo es que el algoritmo no conocía la raza de los pacientes, no era un dato que se le proporcionara para tomar sus decisiones. ¿Y cómo discrimina con esa precisión a los negros? Porque la predicción del algoritmo, descubrieron los científicos, no eran las necesidades médicas de los pacientes sino los costes sanitarios. Y los negros son más baratos para el sistema sanitario: a un mismo nivel de salud, los negros son de media 1.800 dólares más baratos que los blancos.

“La variable más importante para un algoritmo no es ninguno de los inputs, ni siquiera la raza. Es el output: la variable que el algoritmo intenta predecir”, explica el principal autor del estudio, Ziad Obermeyer, de la Universidad de Berkeley (EE UU). “En este caso, el algoritmo predice cuánto dinero costará un paciente. Y aquí es donde entra en juego el sesgo. Esta variable, el coste, es sistemáticamente diferente para los pacientes blancos y negros: al mismo nivel de salud, los pacientes negros generan menos gastos que los pacientes blancos, debido a las diferencias en el acceso a la atención y las diferencias en la forma son tratados por el sistema de salud”, desarrolla Obermeyer. “El problema surge porque la variable en sí, la que se supone que predice el algoritmo, contiene el sesgo”, resume el investigador.

"En muchos casos las empresas no hacen ningún esfuerzo en comprender las dinámicas sociales que pueden ser negativas, ni piensan que lo necesitan", denuncia Galdon

Después de realizar su análisis, los investigadores contactaron al fabricante. “Estaban bastante sorprendidos y preocupados por nuestros hallazgos, y deseaban corregir el problema. Así que trabajamos con ellos para probar algunas soluciones diferentes, todas relacionadas con el cambio de la variable que el algoritmo intentaba predecir”, cuenta Obermeyer en un correo electrónico. El fabricante replicó de forma independiente el análisis con más de tres millones y medio de pacientes y confirmaron los resultados. Más adelante, los científicos propusieron cambios sobre la forma de alimentar el algoritmo y para que en lugar de predecir solo el gasto en los pacientes se centrara también en predecir la salud de los sujetos. Con este enfoque se redujo un 84% el sesgo que perjudicaba a los negros. Los algoritmos, concluyen, tienen arreglo si se planean teniendo en cuenta estos factores.

"Cada vez se está prestando más atención a estos problemas y será más habitual, porque muchas de las empresas proveedoras de algoritmos no tienen ni siquiera los recursos para identificarlos", asegura Gemma Galdon, directora de Eticas y especialista en el impacto social de la tecnología. Galdon trabaja habitualmente tratando de corregir estos sesgos con administraciones públicas en algoritmos de asignación de recursos, por ejemplo a familias en el ámbito de los servicios sociales, algoritmos de aplicaciones de salud, o del ámbito laboral. "Es nuestro pan de cada día en las auditorías algorítmicas: el problema es la definición del problema, hace falta tener una muy buena comprensión del asunto", afirma. "En muchos casos los proveedores no hacen ningún esfuerzo en comprender las dinámicas sociales que pueden ser negativas, ni piensan que lo necesitan", denuncia Galdon. Y añade: "Nos encontramos errores muy básicos. En muchos casos las empresas no se preocupan de comprender realmente el problema y usar el conocimiento social que tenemos para resolverlo".

También en Science, Ruha Benjamin, especialista en innovación e igualdad de la Universidad de Princeton, asegura que "este estudio contribuye en gran medida a un enfoque más socialmente consciente para el desarrollo tecnológico", demostrando cómo una elección aparentemente benigna (gasto en salud) "inicia un proceso con resultados potencialmente mortales". A su entender, esta desigualdad tecnológica "se perpetúa precisamente porque quienes diseñan y adoptan tales herramientas no están pensando cuidadosamente sobre el racismo sistémico". "Pero las decisiones humanas conforman los datos y el diseño de algoritmos, ahora mismo ocultos por la promesa de neutralidad y con el poder de discriminar injustamente a una escala mucho mayor que unos individuos sesgados", denuncia Benjamin.

Puede escribirnos a javier@esmateria.com o seguir a Materia en Facebook, Twitter, Instagram o suscribirse aquí a nuestra newsletter.