Algoritmos machistas: los datos (escondidos) que no quieren a las mujeres

Gracias a Caroline Criado Perez, periodista y activista feminista británica, desde 2017 el billete de diez libras esterlinas muestra el rostro de la escritora Jane Austen. Cuando el Banco de Inglaterra decidió retirar de los billetes de cinco libras la imagen de Elizabeth Fry —impulsora de una reforma de prisiones que garantizaba un trato más humano hacia los reclusos— y sustituirla por la efigie de Winston Churchill, Criado Perez se dio cuenta de que el único rostro femenino que permanecería en la moneda británica sería el de la reina Isabel II. Así que creó una petición a través de Change.org para evitar tamaño sesgo, iniciativa que se ganó la simpatía de los medios de comunicación. En redes sociales, la viralidad de una carta que recibió del banco desestimando su propuesta, argumentando que se había tenido en cuenta a algunas mujeres durante el proceso de selección y dando a entender que sus méritos no habían sido suficientes, contribuyó también a que Caroline consiguiera su objetivo.

La periodista siguió indagando acerca de los sesgos de género que abundan en nuestro día a día y los reunió en un libro de reciente publicación en el Reino Unido. Invisible Women: Data Bias in a World Designed for Men (Mujeres Invisibles: Información sesgada en un mundo diseñado para hombres) es un compendio de realidades sociales apoyadas en datos estadísticos que, unidos a la consabida discriminación salarial, al trabajo no remunerado o a una violencia de género manifiestamente escorada hacia las mujeres, componen una imagen más exhaustiva de la desigualdad, agazapada muchas veces en los lugares más insospechados.

En Suecia, explica la autora, descubrieron que el protocolo de limpieza de las vías de tránsito en invierno producía más caídas y lesiones entre mujeres que entre hombres porque se daba más prioridad a las carreteras que a las aceras y a los carriles para bicicletas, mucho más utilizados por mujeres. También se reveló que era ineficiente desde el punto de vista económico porque el gasto hospitalario en que se incurría podía llegar a triplicar el gasto de mantenimiento de las calles. Cuando, gracias a los datos, los equipos de limpieza decidieron dar prioridad también a las aceras y a los carriles de bicicleta, los accidentes entre mujeres disminuyeron en un 50% , y con ellos los gastos de la partida de sanidad. Caroline incide en el hecho de que este fallo en el diseño no fue deliberado, sino que “es resultado de la ausencia de datos relativos a las mujeres […] Los que diseñaron el procedimiento en un primer momento sabían cómo se trasladaban los hombres y lo diseñaron teniendo en cuenta sus necesidades. No se propusieron excluir a las mujeres deliberadamente. El problema es que no pensaron en ellas”.

Bajo esta misma lógica, la autora desmenuza una retahíla de situaciones en las que las mujeres no salen muy bien paradas. Como que en Reino Unido tienen un 50% más de probabilidades de ser diagnosticadas erróneamente en caso de ataque cardíaco porque los ensayos clínicos se realizan generalmente con hombres; que los maniquíes que la industria automovilística utiliza para realizar pruebas de impacto están diseñados tomando al hombre como referencia pese a que, si bien los hombres chocan más, las mujeres presentan un 50% más de probabilidades de sufrir lesiones graves en caso de colisión; o que la temperatura de la mayoría de las oficinas resulta demasiado fría para las mujeres porque se determinó en los años sesenta teniendo en cuenta la Tasa Metabólica de Reposo de un hombre de 40 años y de 70 kg. de peso. Puede entenderse que en la época hubiera más hombres que mujeres en las oficinas, pero no que desde entonces no se haya hecho nada para remediarlo.

¿Nos espera un futuro lleno de sesgos?

Es bastante probable que sí, mientras no se evite la desviación ya existente en muchos datos como los evidenciados por Criado Perez, y más teniendo en cuenta que las promesas de imparcialidad de la tecnología no son ciertas y que los algoritmos pueden exacerbar aún más los sesgos. En este sentido, cabría hacer un poco de pedagogía. Por lo general, se piensa que un algoritmo es objetivo, un constructo matemático a prueba de opiniones interesadas. Cuando el periodista Ray J. Saavedra publicó un tuit en el que se mofaba de Alexandra Ocasio-Cortez por haber asegurado en una entrevista que algunos algoritmos son racistas, aduciendo que no era posible por estar basados en puras matemáticas, la propia MIT Technology Review tuvo que salir al rescate de la congresista. “Los algoritmos son opiniones que se convierten en código”, asegura Cathy O’Neil, doctora en Matemáticas en Harvard, experta en ciencia de datos y autora del libro Armas de destrucción matemática (Capitán Swing), en esta charla TED. “La gente suele pensar que son objetivos, verdaderos y científicos, pero es un truco de marketing. Todos tenemos prejuicios, y por eso se puede codificar el sexismo o cualquier otro tipo de fanatismo”, continúa.

Aunque no deliberadamente, como apuntaba Criado Perez. El pasado año, Amazon tuvo que retirar un algoritmo de aprendizaje automático diseñado para optimizar la contratación de nuevos empleados en los departamentos más técnicos de la empresa. Para entrenarlo, se usaron los datos de los perfiles de solicitantes que habían obtenido un puesto en la empresa durante la década anterior. Como la mayoría eran hombres, el algoritmo aprendió que las palabras y conceptos más presentes en estos perfiles debían guiar su objetivo, discriminando así a las mujeres (rechazó, por ejemplo, solicitudes en las que aparecía la palabra “mujeres” o en las que había instituciones educativas femeninas). “El sesgo puede encontrarse en el diseño interno del algoritmo, en el interfaz de comunicación de ese algoritmo con los seres humanos o en los datos utilizados durante su ejecución”, afirma Francisco J. Serón, Catedrático de Informática e Ingeniería Técnica de la Universidad de Zaragoza.

“El punto donde se puede detectar con mayor claridad un posible sesgo es en la evaluación. El equipo de desarrollo debería plantearse una batería diversa de tests que tuviese en cuenta a todos los grupos de interés que ‘convivirán’ con el algoritmo (hombres, mujeres, niños, mayores, razas, zurdos, diestros, ideologías etc.). Como esto a priori puede resultar complejo, puesto que cada uno vivimos una realidad limitada por nuestras vivencias y experiencias propias, en estos últimos años se han empezado a implantar figuras dentro de los proyectos tecnológicos que se encarguen de evaluar ese componente de diversidad”, cuenta Nerea Luis Mingueza, doctoranda en Inteligencia Artificial y fundadora de T3chFest, una feria de informática y nuevas tecnologías celebrada en la Universidad Carlos III de Madrid.

¿Qué queda por hacer? “Debemos trabajar de forma continua en la mejora del modelo, analizando sus éxitos y sus errores y siendo conscientes de que los humanos tenemos sesgos y estereotipos fuertemente arraigados. Hay que preguntarse si la segmentación, predicción o clasificación de datos, a pesar de aparentar ser correcta, es neutra y cumple con un mínimo de valores éticos”, explica Nerea Luis.

El último Informe sobre brecha de género del Foro Económico Mundial afirma que solo un 22% de los profesionales de Inteligencia Artificial (AI) en todo el mundo son mujeres. “En las Universidades apenas llega a un 15%-20% el porcentaje de estudiantes mujeres en carreras como ingeniería informática. Según te vas especializando, ese porcentaje va reduciéndose, especialmente en los campos más técnicos. Estos fenómenos suelen conocerse como el pipeline problem o «la tijera». Desgraciadamente, las mujeres no se encuentran en muchos órganos de dirección, que al final, en empresas o instituciones tecnológicas, son las que dan forma al futuro. Hay que asimilar que el problema existe y abordarlo desde la perspectiva de género, la inclusión y la diversidad, pues está demostrado que los equipos diversos funcionan mejor y generan mayor riqueza”, concluye Nerea.

En la actualidad se están desarrollando áreas como la explainable AI o XAI, que intentan que los algoritmos dejen de ser una caja negra y expliquen su razonamiento para que los usuarios puedan entenderlo y para localizar presuntos sesgos. También hay cada vez más personas y organizaciones que trabajan para visibilizar las desviaciones y para luchar por una IA más representativa, como Timnit Gebru, co-directora del Equipo de Inteligencia Artificial Ética de Google, o el AI Now Institute de la Universidad de Nueva York, un instituto de investigación que estudia las implicaciones sociales de la inteligencia artificial.