Machistas, sexistas, sordas o ciegas: cuando las herramientas solo sirven a quien las diseña

Carol Reiley, emprendedora informática, pionera en el desarrollo de aplicaciones de conducción autónoma y cirugía robotizada, lo tiene claro: “El diseño sesgado, el mal diseño, es muy a menudo cuestión de vida o muerte”. En un artículo para la revista tecnológica Tech Crunch, Reiley, toda una autoridad mundial en su campo, cuenta que ya en sus años universitarios, en la década de 2000, ella desarrolló un prototipo de robot quirúrgico que recibía órdenes a través del sistema de reconocimiento de voz de Microsoft, por entonces puntero. “Por increíble que parezca, aquel sistema no reconocía mi voz. Había sido diseñado por un equipo de hombres de entre 20 y 30 años y no era capaz de procesar el tono en general más agudo de las voces femeninas”. No era apto, en fin, para el 51% de los habitantes del planeta.

Para presentar su diseño en el aula universitaria, Reiley se vio obligada a recurrir a la ayuda de un compañero de clase, que fue quien transmitió sus órdenes. “Puede parecer una simple anécdota”, prosigue Reiley en su artículo, “pero ahora piensen por un momento en un precario hospital de campaña en un lugar como Afganistán y en una doctora que pierde a un paciente que podría haberse salvado solo porque su avanzado sistema de cirugía telemática depende de una aplicación tan rudimentaria y, sí, tan sexista que solo reconoce voces masculinas”.

A Reiley le resulta “decepcionante y escandaloso” lo poco que se ha progresado en este ámbito en los últimos veinte años. “Seguimos sacando al mercado muñecas como Hello Barbie, programadas para hablar con niñas, pero no con niños. Nuestros algoritmos de voz o de reconocimiento facial siguen teniendo, casi sin excepción, un sesgo racial y de género. Y estamos diseñando novísimos sistemas de conducción autónoma pensados casi exclusivamente por y para hombres blancos”.

Reiley ha centrado sus esfuerzos recientes en este último punto. No pierde de vista, según explica, que cuando nos subimos a un vehículo estamos poniendo nuestra vida en manos de un equipo de seres humanos que ha tomado una serie de decisiones tecnológicas y de diseño cruciales. “Si esas personas no han tenido en cuenta nuestras características y necesidades concretas, nos están poniendo en peligro”.

Llueve sobre mojado. Ya en la década de 1960, cuando la industria automovilística desarrolló y consolidó sus modernos sistemas de seguridad, del cinturón al airbag, se realizaban pruebas con maniquíes cuyas dimensiones y morfología eran siempre las del hombre medio. El resultado es que todo aquel que no encajase en ese molde predeterminado, empezando por las mujeres, contaba con un nivel de protección insuficiente, o al menos sensiblemente inferior al de los hombres. En 2011, cuando por fin empezó a consolidarse, por imperativo legal, el uso de maniquíes femeninos en las pruebas de estrés y simulacros de colisiones, se comprobó que las mujeres llevaban alrededor de cincuenta años sufriendo un riesgo de muerte o lesiones graves hasta un 40% superior al de los hombres.

Ni siquiera las pruebas diagnósticas más simples y eficaces son ajenas a esta lógica perversa. En una pieza de opinión publicada en The Economist el pasado 10 de abril, se hablaba del sesgo racial de los oxímetros de pulso, esos sencillos dispositivos que miden la saturación de oxígeno en sangre y han resultado claves para determinar a quién se hospitalizaba y a quién no en los peores momentos de colapso sanitario causado por la pandemia. La medición se realiza por contraste cromático, proyectando un haz de luz sobre la yema del dedo. Tal y como explica The Economist, dado que lo que se mide es la diferencia entre el color de la sangre y el de la piel, “lo lógico hubiese sido introducir un sistema de calibrado para ajustar la medición a colores de piel distintos”.

Sin embargo, nueve de cada diez oxímetros homologados no se calibran. De manera que la prueba diagnóstica mide de manera muy precisa la saturación de oxígeno de personas de piel blanca, pero tiende a sobrestimar en varios puntos la de los que tienen la piel más oscura. Como consecuencia de ello, un alto porcentaje de ciudadanos de piel negra o cobriza con un índice de saturación real que exigiría cuidados intensivos no son hospitalizados. Algunos de ellos mueren, víctimas de unas inercias de diseño que no tienen en cuenta algo tan elemental como la diversidad racial.

Otro ejemplo. Según fuentes de, entre otros, el Texas Heart Institute, el protocolo automático de alertas de salud cardíaca sigue sin tener suficientemente en cuenta que los síntomas de infarto difieren de manera muy significativa en hombres y mujeres. En los hombres se producen de forma recurrente opresión en la zona del diafragma y un intenso dolor en la mitad izquierda del pecho que irradia al brazo, mientras que en las mujeres son mucho más habituales la sudoración fría, las náuseas o el dolor en espalda, mandíbula y cuello. El Texas Heart Institute denunciaba en 2019 que hoy en día se siguen diseñando dispositivos de asistencia cardíaca mediante inteligencia artificial que apenas tienen cuenta estas diferencias, y eso hace que la detección precoz resulte mucho más probable en hombres que en mujeres.

La periodista Anne Quito, redactora experta en tecnología y diseño de la revista Quartz, tiene una teoría: “Ese sesgo que hace que se diseñe pensando en las necesidades específicas del hombre blanco joven o de mediana edad se debe a que un porcentaje altísimo de los diseñadores encajan en ese retrato robot. Para corregirlo o atenuarlo, bastaría con contratar a más mujeres y a más miembros de minorías raciales”. Más que a prejuicios conscientes, Quito atribuye estas disfunciones a “inercias mentales”. Tal y como ella explica, “los neurólogos consideran que al menos un 95% por ciento de nuestras decisiones cotidianas se deben a procesos subconscientes que con frecuencia ni siquiera nos cuestionamos o racionalizamos a posteriori”.

Entre los desarrolladores de programas de inteligencia artificial existe una máxima muy común: “No me hagas pensar”. Es decir, se trata de aplicar rutinas y hatajos cognitivos que permitan automatizar y sistematizar las tareas, porque si se aplica una reflexión consciente sobre cada una de las decisiones de diseño adaptadas resulta muy difícil hacer avances significativos. Esta aproximación flexible y pragmática permite desarrollar algoritmos de una complejidad extraordinaria, pero no evita que se cometan errores garrafales que no siempre se detectan a tiempo.

Algunos de esos errores pueden resultar cómicos. En marzo de 2016, Microsoft lanzó Tay, un programa de inteligencia artificial pensado para conversar con el resto de usuarios en Twitter. Se trataba de la adaptación al mercado angloparlante de Xiaoice, un bot lanzado año y medio antes en redes sociales chinas y que había mantenido más de 40 millones de conversaciones con interlocutores humanos sin que se detectasen problemas dignos de mención. Tay (acrónimo de Thinking About You) estaba dotada de la personalidad, la visión del mundo y los recursos lingüísticos de una joven estadounidense de 19 años y, además, incorporaba un complejo algoritmo de aprendizaje automático (llamado deep learning) basado en el que utilizan los programas de ajedrez.

Esta inteligencia artificial “cálida y empática”, según descripción de sus creadores, fue retirada de la circulación en apenas 16 horas. En ese periodo, Tay “aprendió” a comportarse como una adolescente malcriada, lasciva y prejuiciosa, encadenando frases tan incompatibles con cualquier etiqueta online o criterio de corrección política como “Barack Obama es el simio que nos gobierna”, “Hitler tenía razón”, “quiero que tengas sexo con mi coño robótico”, “George W. Bush fue el responsable del 11-M”, “odio a los homosexuales” o “deseo que todas las feministas se pudran en el infierno”. Microsoft atribuyó la deriva de su bot, programado para comportarse como “una adolescente cordial, amable y un poco ingenua”, al asalto concertado de los usuarios de 4chan, el ForoCoches anglosajón, un entorno con usuarios muy activos, virulentos en sus interacciones y proclives al sabotaje lúdico.

El caso es que Tay fue bautizada por la prensa como “la robot racista y neonazi” y fue a parar a las mazmorras de Microsoft, mientras sus programadores buscaban la manera de refinar su algoritmo de autoaprendizaje y blindarlo contra el asalto de trolls maliciosos. El 30 de marzo, el bot reapareció de nuevo apenas unas horas y muy pronto empezó a incurrir en comportamientos escandalosos no previstos, como la apología de las drogas. Para Anne Quinto, “lo desconcertante de este caso es que un algoritmo tan refinado como Tay se mostrase tan vulnerable al asalto de los trolls tras superar miles de horas de interacción simulada que, al menos en teoría, deberían haberla preparado para asomarse al mundo real”.

Quinto añade que “a sus programadores, casi todos hombres blancos, no se les ocurrió que podía ser víctima del alto grado de toxicidad de las redes sociales, porque ellos, por mucho que puedan rechazarla, no la sufren en la misma medida que una mujer o el miembro de una minoría racial o sexual”. Microsoft decidió retirar de nuevo a la adolescente descarriada y la sustituyó meses después, en diciembre de 2016, por Zo, una conversadora, en principio, tan insulsa y tan neutra, que The Washington Post, llegó a definirla como “una mojigata sin sustancia ni inteligencia cuya principal preocupación consiste, al parecer, en reñir a los interlocutores que expresan opiniones polémicas”. Pese a todo, un redactor de la revista BuzzFeedNews “entrevistó” a Zo y consiguió sacarla en varias ocasiones de su zona de confort, arrastrándola a expresar opiniones como que el Corán es un libro “violento” o que la muerte de fanáticos como Osama Bin Laden debía ser celebrada.

Mención aparte en esta galería de horrores tecnológicos merecen los sistemas de reconocimiento facial. Tras varios intentos infructuosos, Facebook, Google y Microsoft han decidido retirarse hasta nuevo aviso de este campo potencialmente tan rentable pero tan resbaladizo. Uno de los últimos en padecer los rigores del diseño para hombres blancos ha sido Robert Julian-Borchak Williams, afroamericano residente en los suburbios de Detroit. En enero de 2020, Williams pasó casi 20 horas bajo custodia policial después de que un algoritmo de reconocimiento facial le relacionase con el autor del asalto a una tienda de objetos de lujo. De poco sirvió que dos de los agentes que interactuaron con él insistiesen a sus superiores en que el arrestado apenas se parecía al retrato robot del sospechoso, reconstruido a partir de un fotograma poco nítido de las cámaras de seguridad de la tienda. El algoritmo le identificó porque, sencillamente, no estaba programado para distinguir con precisión a un afroamericano de otro.

Estamos hablando de programas con un grado de optimización tan deficiente que confunden a personas de piel negra con gorilas, como comprobó en sus propias carnes Jacky Alcine, diseñador de software neoyorquino al que Google etiquetó en su banco de imágenes como primate en lugar de ser humano. Tanto Alcine como Williams se han embarcado en sendas cruzadas para que dispositivos de funcionamiento tan dudoso no sean utilizados ni en redes sociales ni, por supuesto, en instituciones oficiales como juzgados o departamentos de policía.

Hoo Keat Wong, doctor en psicología residente en Malasia, escribió un artículo sobre el incomprensible sesgo racial de estos programas después de encontrarse en una situación absurda un día en que acudió a un servicio digital para hacerse fotos para la renovación de su pasaporte: el programa daba error y le exhortaba una y otra vez a “abrir los ojos”, obviando que Wong, como la mayoría de los ciudadanos de Asia Oriental, es de “ojos rasgados”. Es decir, tiene un muy pronunciado pliegue del epicanto, la arruga del párpado superior que cubre el ojo. Más de un tercio de los habitantes del planeta Tierra comparten ese rasgo. Pero muchos programas de reconocimiento facial, sea por inercias subconscientes o por el etnocentrismo impenitente y desconsiderado de sus creadores, prefieren no tenerlo en cuenta.