Algoritmos machistas

No es un problema reputacional exclusivamente de Apple. De hecho, Goldman Sachs es el banco emisor de la Apple Card, y por tanto funcionalmente encargado del scoring de crédito, esto es, del algoritmo que ha resultado ser machista o, al menos, que ha sido diseñado para tomar decisiones que resultan ser discriminatorias.

Esto ha ocurrido en EE.UU., único mercado donde de momento se ha lanzado el nuevo producto de tarjeta de crédito de Apple, y Goldman Sachs (quién, por cierto, se estrena en este negocio de financiación de consumo con este lanzamiento). Y lo hace presuntamente considerando peores sujetos de crédito a las mujeres, por el hecho de serlo.

En Europa se encuentra en vigor la Directiva 2004/113/CE del Consejo de Igualdad de trato entre hombres y mujeres en el acceso a bienes y servicios, que prohíbe toda discriminación por razón de género fuera del mercado laboral. La Directiva se aplica exclusivamente a los seguros y pensiones de carácter privado, voluntario e independiente de la relación laboral. Por la misma, las compañías aseguradoras deben aplicar los mismos precios por los mismos productos de seguros a mujeres y hombres, sin distinción por razón de sexo. Esta obligación se adoptó en la Ley 20/2015, de 14 de julio, de ordenación, supervisión y solvencia de las entidades aseguradoras y reaseguradoras.

El cambio se produce después de que el Tribunal de Justicia de la Unión Europea dictaminara que la diferenciación de las primas para los hombres y para las mujeres, exclusivamente por razones de género, es incompatible con el principio de fijación de precios independiente del sexo incluido en la legislación de la UE en materia de la igualdad de género y con la Carta de los Derechos Fundamentales de la UE. Y es que, hasta ese momento, por ejemplo, un conductor pagaba más por el seguro de automóvil simplemente por el hecho de ser hombre (sí, el ejemplo ha sido elegido a propósito). Antes de esta medida, el género era un factor determinante de clasificación de riesgos de, al menos, tres grandes categorías de productos: los seguros de automóvil, los seguros de vida/seguros de renta y los seguros de enfermedad privados. El género formaba parte del algoritmo, y fue considerada discriminatoria su incorporación en la decisión en el sector de los seguros.

Otros algoritmos que gobiernan nuestras decisiones

Visto lo visto, parece necesario revisar otros algoritmos que toman decisiones importantes de forma automatizada, al ser estos una caja negra en la que confiamos, dando por hecho que sus outcomes son imparciales, unisex.

Un algoritmo es una instrucción, una regla que opera con la lógica “si [dato], entonces [decisión]” (incluye por supuesto la legislación), un protocolo, una función matemática… que no está exento de estar condicionado por los estereotipos de la persona que lo diseñe o programe. Los algoritmos no son imparciales si no lo son las reglas que lo definen, que a su vez son ideadas por personas, quienes se encuentran condicionadas por el contexto en el que viven, por su visión del mundo, por su experiencia personal, que en absoluto garantizan la imparcialidad necesaria para la toma de decisiones.

Y no puedo evitar aludir a los hallazgos que en Afi venimos descubriendo de la mano de ClosingGap, iniciativa para la que elaboramos informes de estimación del coste de oportunidad de las múltiples brechas de género en España. En materia de salud, por ejemplo, “el algoritmo” que diagnostica enfermedades cardiovasculares (ECV) comete persistentemente errores de tipo II (falsos negativos) con las mujeres. Y es que el algoritmo no está exento del persistente sesgo androcéntrico en la investigación y la práctica médica. No en vano, las mujeres fallecen por enfermedades cardiovasculares en mayor proporción que los hombres (64.471 mujeres fallecieron por esta causa -32% del total de defunciones- y 55.307 hombres -26%- en España en 2016). Sin embargo, los hombres son diagnosticados con enfermedades del sistema cardiovascular (327.448 casos) en mayor medida que las mujeres (252.323 casos). Por tanto, “el algoritmo” diagnostica en mayor medida los problemas de salud relacionados con las enfermedades cardiovasculares en hombres que en mujeres, a pesar de que ellas fallecen más por estas patologías.

Muchos otros algoritmos que establecen reglas del tipo: “si [mujer], entonces [trabajo no remunerado]” pueblan nuestras relaciones sociales, laborales, familiares y económicas. Por lo general, las mujeres ejercen de cuidadoras de los demás. Si miramos qué ocurre en este sentido en los hogares españoles, las mujeres dedican 49,5 millones de horas más al día que los hombres al cuidado del hogar y familia, una dedicación que no se encuentra remunerada a pesar de ser esencial para el funcionamiento del resto de actividades económicas. ¿Por qué es esto así? ¿Cuál es el algoritmo que ha determinado esa regla?

Y volviendo al algoritmo sospechosamente machista de Apple Card, es posible que la regla “si [mujer], entonces [trabajo no remunerado]” conlleve otras del tipo “y entonces [menor capacidad de crédito]”, como poco. No es justo, ni eficiente, ni sostenible estar condicionados por algoritmos machistas. El coste de oportunidad es enorme.