Toju Duke: “La inteligencia artificial amplifica injusticias sistémicas que ya deberíamos haber eliminado”

En Estados Unidos hay documentados al menos seis casos de detención ilegal, todos ellos de personas negras, por culpa de sistemas automáticos de reconocimiento facial que se equivocaron al identificar al sospechoso. En ese mismo país se abrió una investigación contra la Apple Card, una tarjeta de crédito disponible solo en EE UU, por ofrecer menor límite ...

En Estados Unidos hay documentados al menos seis casos de detención ilegal, todos ellos de personas negras, por culpa de sistemas automáticos de reconocimiento facial que se equivocaron al identificar al sospechoso. En ese mismo país se abrió una investigación contra la Apple Card, una tarjeta de crédito disponible solo en EE UU, por ofrecer menor límite de gasto a las mujeres que a los hombres con el mismo nivel de renta. En el Reino Unido, el algoritmo que determinó las notas de selectividad en plena pandemia para evitar exámenes perjudicó injustificadamente a estudiantes de centros más modestos.

“Este es el mundo que nos espera si no actuamos”, dice Toju Duke tras citar esos tres casos de discriminación algorítmica, o consecuencias indeseadas de la inteligencia artificial (IA) sobre la población. Nacida en Nigeria hace 41 años, esta británica ha trabajado una década en Google, donde fue directora en Dublín de su programa de IA responsable. Ahora se dedica a la divulgación y ha fundado una ONG, Diverse AI, para fomentar la diversidad en esa disciplina. “La explosión de la IA generativa aumentará la magnitud del impacto de esta tecnología en la sociedad”, añade la experta. En España ya lo hemos comprobado, por ejemplo, con el caso de los deepfakes pornográficos de menores de Almendralejo. Atiende a EL PAÍS tras su ponencia en Madrid de este martes en EnlightED, una conferencia mundial que aúna educación, tecnología e innovación.

Pregunta. En su experiencia, ¿son realmente compatibles la ética y la IA?

Respuesta. Tienen que serlo. Lo que llamamos IA responsable sigue un marco en el que se cuidan la equidad, la transparencia, la privacidad y la seguridad, la protección de los derechos humanos, la ética de los datos y otras consideraciones. Así que hay una manera de hacerlo bien, no hay excusas. Podemos someter los modelos de IA a pruebas de imparcialidad. Podemos asegurarnos de que haya algún tipo de transparencia. Y podemos regular, como quiere hacer el Reglamento de IA de la UE. En términos de arquitectura algorítmica, no podemos codificar la ética. Pero podemos hacer muchas pruebas y afinar los modelos, ajustarlos en función de los resultados de las pruebas realizadas para asegurarnos de que producen mejores resultados. Si no lo hacemos, pueden pasar cosas como que un chatbot convenza a un joven de que asesine a la reina de Inglaterra o que un belga se suicide tras semanas de conversación con otra aplicación.

P. Todo depende de las personas que desarrollen los algoritmos.

R. Sin duda. Pero no quiero cargarles con toda la responsabilidad. La ciudadanía debemos presionar más a los responsables políticos para que regulen. Y, más allá de la regulación, necesitamos organismos estandarizados que realmente ayuden con este tipo de marcos de IA responsable y guíen a organizaciones como la UE para saber cómo hacer esto correctamente.

P. ¿Cómo se puede desarrollar IA responsable?

R. Es imposible hacerlo si en los equipos de desarrolladores no hay diversidad. Cultural, de género, de formación, etc. El siguiente problema es la falta de conciencia. A muchos investigadores y compañías, esto no les importa. Solo quieren tener una tecnología de vanguardia, y llegar los primeros. Desarrollar una IA responsable ralentiza el proceso de lanzamiento porque requiere hacer pruebas. Tu generador de imágenes lo tiene que utilizar alguien de Malasia para ver si la máquina es capaz de representar las bodas malayas como allí se celebran.

P. ¿Cree que la discriminación algorítmica va a ser un problema social importante en los próximos años?

R. Ahora mismo ya lo es, lo que pasa es que no lo identificamos como tal. Se va a amplificar, especialmente con el auge de la IA generativa [los sistemas capaces de crear texto, imágenes o música]. Si le pides a un generador de imágenes como Midjourney o Dall-E que pinte un CEO, representará a un hombre, que seguramente será blanco. Le estamos mostrando a las nuevas generaciones que los puestos de máxima responsabilidad son predominantemente masculinos. Son injusticias sistémicas que han existido en el mundo a lo largo de los años y que se supone que ya deberíamos haber eliminado. Es muy sutil, está muy oculto. Pero si no lo solucionamos hoy, la tecnología amplificará esos problemas que ya estaban ahí.

P. El uso policial que se hace en EE UU de los sistemas automáticos de reconocimiento facial ha generado muchos problemas. ¿Cree que eso se corregirá?

R. Esa tecnología es una fuente de casos flagrantes de discriminación, siempre contra afroamericanos. Este verano, una mujer embarazada de ocho meses fue detenida erróneamente por culpa de un sistema de reconocimiento facial que la identificó como la autora del robo con violencia de un coche, cuando era evidente que con esa barriga apenas podía moverse. Esto sigue ocurriendo tres años después del caso de Robert Williams, el primero que se documentó, y me frustra mucho. Si sabemos que estos problemas existen, ¿por qué no prestamos atención para arreglarlos? Si entrenas el algoritmo de reconocimiento facial con una mayoría de rostros de hombres blancos, habrá más probabilidades de que se equivoque, por ejemplo, con una mujer negra. Hace un par de años, alrededor de cinco estados dejaron de utilizar el reconocimiento facial. Pero dos años después, decidieron retomarlo. Ese es el típico ciclo recurrente en EE UU.

P. No hay diversidad ni equipos multidisciplinares en las empresas que desarrollan esta tecnología. ¿Por qué?

R. Los ejecutivos ven en la IA una fuente de mejora de la productividad; los políticos, un medio para hacer crecer la economía. Pero nadie piensa en serio en los desafíos que plantea a la sociedad. La gente no es consciente de los problemas de discriminación e injusticia que trae la IA. El debate se ha centrado últimamente en si la IA supone una amenaza existencial para la humanidad, cuando ese no es realmente el problema al que nos enfrentamos hoy. Tenemos cuestiones más urgentes que tratar.

P. Usted trabajó en LaMDA, un gran modelo de lenguaje experimental parecido a ChatGPT desarrollado por Google. ¿Cómo trató de que fuera responsable?

R. Trabajé en lo que llamamos modelo de madurez de IA responsable, un proceso que consiste en asegurarse de que hemos identificado qué tareas va a llevar a cabo ese modelo y cómo las va a realizar. Una de las pruebas que hicimos se llama la ventana de referencia de género, que básicamente pretende probar si cuando hablas de enfermera solo identifica a una mujer o también a un hombre [el término inglés nurse sirve para ambos]. También quisimos asegurarnos de que contábamos con un equipo diverso, con una representación justa de personas de distinta orientación sexual, género y etnia. Solo así podemos intentar conseguir que el modelo tenga en cuenta más capas de realidad. Ralentizamos el proceso tres meses, pero todo el mundo quedó contento.

P. ¿No cree que, por muchas capas y variables que se traten de tener en cuenta, jamás se logrará una representación justa? El mundo es terriblemente complejo y los modelos, reduccionistas por necesidad.

R. No puedes representar a todo el mundo. Pero al menos puedes decidir tener en cuenta a la gente del sur global, por ejemplo. A muchas compañías siempre se les olvida este tipo de cosas. Una vez que se ejecuta una prueba, hay que pensar en el impacto que tiene sobre ciertas personas en la sociedad, especialmente las comunidades que por ley deben ser protegidas. Mujeres embarazadas, niños, personas que con discapacidad, minorías religiosas o étnicas… Trabajamos con un conjunto de datos y tenemos que saber quién está representado en ellos. Pero son datos anonimizados, por lo que se generan tensiones entre la privacidad y la equidad.

P. ¿Qué opina de ChatGPT? ¿Pasaría su prueba?

R. Está mejorando. Hace un año, cuando salió, era una basura. Podía inventar frases y predecir la siguiente palabra de cualquier texto, pero todavía era poco intuitivo. El principal problema que plantea es la desinformación y las invenciones. Y eso no sé cuándo se va a resolver. Para empezar, porque no sabemos por qué sucede. Quizá tengamos que pensar en cómo volvemos a entrenar estos modelos, en las técnicas que estamos usando. Pero sin duda es un buen paso en la dirección correcta. Sigo pensando que nos dirigimos hacia la IA general [la que iguale o supere a la del ser humano]. Sin duda, en el futuro veremos grandes avances.

P. Los modelos como ChatGPT se han entrenado con los contenidos de internet, que están hechos por personas. Pero si la IA generativa sigue creciendo, puede que los próximos modelos se entrenen con contenidos escritos por máquinas, que no son del todo fiables. ¿Cómo podemos solucionar eso?

R. Es por eso que tenemos que ir más despacio. Creo que ahí es donde la regulación tiene que entrar en juego. Hay que asegurarse de que hay un ser humano en el proceso de bucle y en cada fase del ciclo del modelo. En realidad sería bueno generar datos a partir de datos generados por IA y construir modelos basados en ellos. Ahora bien, tenemos que ser capaces de comprobar los hechos y las fuentes. Tenemos que poder revisar estas cosas antes de lanzarlas. No podemos simplemente dejar que salgan. Eso es una locura.

P. ¿Confía en la IA?

R. No confío en la IA como tecnología, pero sí en su potencial. Creo realmente que nos puede ayudar a solucionar muchos de los grandes problemas del mundo. No confío en ChatGPT. Si le pregunto algo, luego tengo que ir a Google a comprobar si es cierto, a buscar referencias y fuentes. Es posible que dentro de un par de años no tengamos este problema, pero ahora es así.

Puedes seguir a EL PAÍS Tecnología en Facebook y X o apuntarte aquí para recibir nuestra newsletter semanal.