Érase una vez el sesgo: así se fabrica la ecuanimidad en Google

Los humanos tenemos una larga historia de crear productos que no necesariamente están alineados con las necesidades de todo el mundo. “Las mujeres al volante eran un 47% más propensas a resultar gravemente heridas en los accidentes de coche hasta 2011 porque los fabricantes de automóviles no estaban obligados a usar maniquíes femeninos en los tests de choques”, explica Tulsee Doshi, responsable de la iniciativa de machine learning justo de Google en una conferencia del ciclo TechTalks de la ACM. Como consecuencia de la falta de maniquíes representativos, los responsables de la seguridad de todos los conductores no entendían el impacto de los cinturones o los airbags sobre una parte sustancial de ellos en caso de colisión.

No es un caso aislado. En los años cincuenta, Kodak calibraba el color sus tarjetas usando a una modelo blanca. Tuvieron que llegar los noventa para que nada más y nada menos que los chocolateros y los fabricantes de madera se quejaran de que el color de sus productos no quedaba bien retratado en sus fotos. “Estos dos ejemplos no son machine learning y tampoco son ejemplos de malas intenciones o deseo de discriminar; son ejemplos de lo que pasa cuando diseñamos tecnologías en función de quién las está ideando. El objetivo de lanzar algo deprisa puede hacer que sesgos inconscientes y estereotipos penetren en nuestros productos”.

El fallido estándar de maniquíes no cayó del cielo y la falta de colores tampoco, la culpa es de los humanos que estaban al volante en el momento de decidir cómo se iban a hacer las cosas. “Los humanos también están en el centro del desarrollo del machine learning”, señala Doshi. Y también pueden meter la pata sin más intención que la de tener su nuevo producto listo cuanto antes.

Pasa en las mejores casas, y en la de Google también. Un ejemplo es Perspective, una API creada con el noble objetivo de promover conversaciones más sanas en la red y contribuir a facilitar la moderación de contenidos. El funcionamiento es sencillo. El sistema se limita otorgar una puntuación a los contenidos: próxima al cero si son inocuos y más cercana al uno si son tóxicos.

Doshi pone el ejemplo de dos posibles comentarios ante la foto de un cachorro. La opción qué cachorrito tan dulce, quiero abrazarlo para siempre se lleva una puntuación del 0.07. En cambio, este es el peor ejemplo de cachorrito que he visto nunca alcanza el 0.84. “Es un comentario desagradable y lleno de odio”, explica Doshi. Pero bueno, el animal no se entera de nada, así que todo quedaría en una anécdota. El problema llegó cuando el equipo de desarrolladores creó una demo y la abrió a los usuarios. “Un usuario introdujo dos frases: soy heterosexual y soy gay”, recuerda la experta. El resultado ofrecido por Perspective fue de un 0,04 y un 0,86, respectivamente. “Por supuesto, esta es una diferencia que no queremos ver en nuestros productos. No queremos que la presencia de un término de identidad pueda cambiar drásticamente la predicción”.

Donde nacen los sesgos

En general, la puesta en marcha de sistemas de aprendizaje automático sigue un procedimiento común. Recopilar datos, etiquetarlos, entrenar al modelo para alcanzar ciertos objetivos, integrar esto en un producto y ponerlo a disposición de los usuarios para que interactúen con él. “Lo interesante es que la injusticia puede entrar en el sistema en cualquier punto del proceso”, asegura Doshi. Hasta los usuarios pueden incorporar sus propios sesgos al modo que usan el producto.

“Es muy raro que se pueda encontrar una sola causa o una sola solución para estos problemas y con frecuencia es el modo en que estas distintas causas interactúan entre ellas lo que produce resultados como los que comentábamos”, explica la experta. Dos ejemplos de esto son el caso de un clasificador de género y el mismísimo traductor de Google. El primero, cuya función era clasificar imágenes, daba como resultado un mayor número de errores para el colectivo de mujeres negras. En el segundo, las traducciones de ciertos idiomas resultaban problemáticas: en turco, doctor (médico en inglés) se traducía por defecto en masculino y nurse (enfermera), en femenino.

Son dos problemas distintos con dos soluciones distintas. En el caso del clasificador, la respuesta fue recabar más datos del colectivo de mujeres negras para entrenar mejor al modelo. Para Google Translate, se buscó una manera de ofrecer el máximo de información al usuario: “Decidimos dar los dos contextos, tanto la versión masculina como la femenina”, resume Doshi. “Estas dos soluciones son valiosas maneras de hacer avanzar la conversación sobre la justicia. Y son dos maneras de asegurar que la experiencia de los usuarios es inclusiva y equitativa, pero son muy diferentes. Una aproximación es más técnica y de base de datos, y la otra toma la perspectiva del diseño de producto”.

Si los datos no van a Mahoma

En el caso de la API para medir la toxicidad de los contenidos, el camino es más sinuoso. Empezaron por recolectar más datos, a través de lo que llamaron Project Pride: “Fuimos a diferentes desfiles del orgullo de todo el mundo para recopilar comentarios positivos sobre y de la comunidad LGTBQ”. Otra opción habría sido generar datos sintéticos.

Además, probaron a evitar que el modelo tomase en cuenta las etiquetas de identidad en sus valoraciones. “Por ejemplo, si tengo la frase algunas personas son indias, puedo tomar el término indias y reemplazarlo por un token (símbolo) de identidad en blanco”, explica Toshi. De este modo, se asegura que todas las identidades reciben el mismo tratamiento, pero también se pierde información. “Esto puede ser dañino porque podría ser útil saber cuándo ciertos términos de identidad se usan de manera ofensiva. Tenemos que tener cuidado de no clasificar mal los comentarios tóxicos, pero también necesitamos asegurarnos de que no nos estamos perdiendo los comentarios que de verdad son tóxicos”.

Otra posible forma de abordar este desequilibrio es tomar en cuenta las diferencias en el rendimiento del modelo para los distintos grupos –en el ejemplo inicial, la diferencia entre las puntuaciones que obtienen las identidades heterosexual y gay– y establecer un sistema de penalización que le obligue a minimizarla esta distancia.

“Cada una de estas aproximaciones puede de verdad suponer una mejora significativa. Y también se puede ver que estas mejoras son diferentes para los distintos grupos”, sentencia la experta. En este contexto, recomienda tener en cuenta que no existen soluciones de talla única y que muchas alternativas tienen pros y contras. “Como resultado de esto, es importante que seamos claros y transparentes sobre las elecciones que estamos haciendo”.