Kate Crawford: “Solo una regulación compartida puede controlar los peligros de la inteligencia artificial”

Cuando Kate Crawford avisó en 2016 de que el diseño de la inteligencia artificial propiciaba la discriminación, pocos daban importancia al impacto social que aquello conllevaría. Por entonces, Crawford puso varios ejemplos, siendo el más sonado el de la aplicación de fotografías de Google, que etiquetaba a los negros como gorilas. Aunque Google se disculpó públicamente, este tipo de errores garrafales se repiten una y otra vez en distintas empresas. Según ella, el problema radica en los datos que se emplean y qu...

Cuando Kate Crawford avisó en 2016 de que el diseño de la inteligencia artificial propiciaba la discriminación, pocos daban importancia al impacto social que aquello conllevaría. Por entonces, Crawford puso varios ejemplos, siendo el más sonado el de la aplicación de fotografías de Google, que etiquetaba a los negros como gorilas. Aunque Google se disculpó públicamente, este tipo de errores garrafales se repiten una y otra vez en distintas empresas. Según ella, el problema radica en los datos que se emplean y que están basados en prejuicios. Estos datos altamente discriminatorios son los que se utilizan para crear algoritmos y construir después modelos de sistema, que perpetúan una sociedad sexista, racista y clasista porque la inteligencia artificial (IA) refleja los valores de quienes la crean: sobre todo, hombres blancos.

Hoy, a sus 47 años, la australiana Kate Crawford es considerada una de las investigadoras más respetadas en la industria de la IA. Ha dedicado toda su carrera profesional a estudiar las implicaciones políticas y sociales del mal uso de los avances tecnológicos. Durante la era de Obama, moderó un simposio sobre el tema en la Casa Blanca y ha asesorado a la Comisión Europea y las Naciones Unidas, entre otros organismos. Ha sido, además, pionera de muchas iniciativas que ahora resultan cruciales. En 2017 fundó junto, a Meredith Whittaker, AI Now, una de las primeras instituciones dedicadas a analizar el impacto de la inteligencia artificial en el ámbito social. Y en 2019-2020 fue la primera persona en ocupar la cátedra visitante de IA y Justicia creada en la École Normale Supérieure de París.

En la actualidad, Crawford trabaja como investigadora principal sénior en Microsoft y, entre las muchas otras actividades sobresalientes que realiza en paralelo, escribe. Nos encontramos con ella para hablar de su último libro, Atlas de Inteligencia Artificial (publicado en español por Nuevos Emprendimientos Editoriales), que ha sido considerado uno de los mejores libros de tecnología por el Financial Times. La cita es en el MoMA de Nueva York, donde está una obra que Crawford realizó en 2018 junto al artista Vladan Joler. Consiste en una infografía que muestra el trabajo humano, los datos y los recursos que se requieren durante la vida útil de tan solo un dispositivo, desde su fabricación hasta que se de­secha, utilizando como ejemplo el Amazon Echo (Alexa). Aunque Anatomía de un sistema de IA forma parte de la colección permanente del MoMA desde 2022, Crawford ha hecho cola para entrar al museo como una visitante más. Nos la encontramos cuando se dispone a comprar su entrada. Viste cómoda; traje de chaqueta y zapatillas blancas. Se muestra relajada y accesible. Saluda con una cálida sonrisa que no la abandona durante todo el tiempo que dura la entrevista.

¿Qué la animó a crear esta infografía explicando el nacimiento, vida y muerte de una IA?

El arte para mí ha de iluminar y provocar, y Anatomía de un sistema de IA lo consigue. Siempre he creído en el poder de la cartografía crítica y me parece muy interesante mostrar de forma gráfica algo tan complejo como el funcionamiento de un sistema. Me pasé dos años y medio investigando. Me desplacé a todos los lugares clave en la vida de una IA. Desde donde nacen hasta donde se desechan (Ghana, Pakistán). La pieza se exhibió en 60 lugares antes de que el MoMA la comprara, ha tenido éxito. Pero es muy ligera en comparación con mi última instalación, Calculating Empires, que presentaré a finales de año. Consiste en cuatro mapas gigantes que rastrean la relación entre la tecnología y el poder desde 1500, con el fin de ofrecer una forma diferente de ver la era tecnológica actual con profundidad histórica, mostrando las innumerables formas en que el poder y la tecnología se han entrelazado a lo largo de cinco siglos. Me llevó cuatro años de investigación crearla.

Sus estudios y su doctorado no tenían nada que ver con la tecnología. ¿Cómo acabó convirtiéndose en una de las investigadoras de más prestigio del mundo en el ámbito de la IA?

Siempre me han interesado las políticas de la tecnología y el impacto que tienen en la transformación social. De hecho, en 2002 fundé en la Universidad de Sídney el primer curso del mundo de esta índole, se llamaba La política de los medios digitales. Y programo desde la adolescencia, porque tenía un dúo feminista de música electrónica llamado B(if)tek y creábamos nuestros programas. Pero el gran cambio surgió cuando trabajaba como directora de un centro de investigación en Sídney y el Massachusetts Institute of Technology (MIT) me invitó a trabajar con ellos como profesora visitante. Una vez en Boston visité el laboratorio de investigación de Microsoft y me ofrecieron un trabajo. Era el preciso momento en que Microsoft estaba emprendiendo el camino hacia el aprendizaje automático y me di cuenta de que era una oportunidad crucial de poder entender cómo funciona internamente un sistema, pasar a analizar datos de gran escala.

Lleva 20 años estudiando la IA y dice que ahora estamos viviendo su punto de inflexión más dramático.

Ha habido momentos en la historia en que la IA era influyente, pero ha solido estar en un segundo plano. Ahora no: ChatGPT es la tecnología más rápida de la historia de la humanidad hasta el momento.

Y a la vez está explotando a los trabajadores y contaminando el planeta…

Exacto. Uno de los aspectos menos conocidos de la IA es la cantidad de empleados mal remunerados que se necesitan para construir, mantener y poner a prueba estos sistemas. Es lo que se llama “el trabajo fantasma” o “la automatización alimentada por humanos”, que se aplica desde la minería hasta el crowdsourcing, pasando por el software. ChatGPT extrae sus respuestas de internet, que está repleto de toxicidad. Se sabe que hay trabajadores en África cobrando dos euros por hora por eliminar manualmente las frases violentas, sexuales y los discursos de odio. Es deshumanizante. Por otro lado, es un sistema que ocasiona grandes problemas medioambientales. Hacer 20 preguntas a ChatGPT equivale a desperdiciar medio litro de agua. Este tipo de bots se alojan en centros de datos que dejan una huella de carbono muy significativa, equivalente a 125 vuelos de ida y vuelta de Nueva York a Pekín. A lo que hay que añadir el enorme coste de electricidad de los centros de servidores.

Su último artículo, publicado junto a investigadores de Harvard y el MIT, se titula De qué forma la IA nos ha fallado. ¿Cómo se podría mejorar la situación?

La visión dominante concibe la inteligencia como autónoma en lugar de social y relacional. Es una perspectiva improductiva y peligrosa, ya que se optimiza para métricas artificiales de replicación humana en lugar de para evolucionar. Tiende a concentrar el poder, los recursos y la toma de decisiones en una pequeña élite del sector tecnológico. Nosotros planteamos una visión alternativa basada en la cooperación social y la equidad. Wikipedia podría ser un ejemplo. Mi esperanza es que más organizaciones trabajen hacia el pluralismo político y tecnológico, lo que implicaría una diversidad de enfoques y herramientas, protecciones regulatorias y beneficios compartidos por muchos.

¿Cuál es la gran pregunta que debemos hacernos en relación con la IA?

La pregunta más importante es cómo vamos a garantizar que los sistemas de inteligencia artificial generativa sean justos, que su interpretación de la realidad sea la adecuada desde un punto de vista ético y que no haya sesgo a consecuencia del poder. El mejor ejemplo hasta el momento es The AI Act, la propuesta de ley para regular la inteligencia artificial en la Unión Europea, pero costó años llegar a un consenso. Y no es tan factible en Estados Unidos.

Estados Unidos es el país líder en IA generativa y, paradójicamente, el más permisivo desde el punto de vista de las regulaciones.

Estados Unidos tiene menos regulaciones incluso que China y es muy preocupante el uso que se está haciendo de la IA. Mi amiga Laura Poitras [una de las más prominentes documentalistas en la actualidad, ganadora de un Oscar y un León de Oro, entre otros muchos reconocimientos] me permitió acceder a los documentos que filtró Edward Snowden y me impresionó mucho ver cómo se aplica el aprendizaje automático para rastrear y vigilar a los ciudadanos, por ejemplo.

Lo que nos lleva a aquella famosa frase de Michael Hayden, agente de Seguridad Nacional de EE UU y exdirector de la CIA: “Matamos a gente basándonos en los metadatos”.

Es algo que han practicado varios presidentes de gobierno ayudándose de drones. Hablo de George Bush, pero también de Obama. Se persigue a personas sospechosas de ser terroristas por su uso de metadatos. Y se las mata, antes de confirmar si lo son, dando por hecho que los datos son concluyentes. Es algo que atenta contra los derechos humanos. Y es especialmente grave teniendo en cuenta que la IA sufre alucinaciones.

También se vigila al resto de personas.

Los ciudadanos de a pie piensan que están a salvo, creyendo que los gobiernos persiguen solo a los terroristas. Están completamente equivocados. Mediante los programas de predicción de IA se vigila tanto a sospechosos de terrorismo como a civiles. Está ocurriendo con los refugiados, a los que se juzga si son o no terroristas basándose únicamente en metadatos que pueden ser totalmente engañosos o confusos. ¿Y cómo se van a poder defender estos refugiados de la injusticia? Son un colectivo muy vulnerable, que no dispone de ningún recurso.

Ha tratado de ayudar a las minorías dedicando más de una década de investigación a denunciar la discriminación que ejercen los sistemas de IA.

Es un problema conocido. Si uno pide a un sistema tipo Dolly, Midjourney o Stable Diffusion que muestre una imagen de un CEO [director ejecutivo], lo que verá es una proliferación de imágenes de hombres blancos. Si se pide una imagen de educadores o personal de enfermería, encontrará imágenes de mujeres blancas y, si se piden imágenes de auxiliares de vuelo, abundarán las fotos de asiáticas. Ahora están intentando abordar el problema con soluciones muy torpes. Por ejemplo, en una de cada diez imágenes habrá una mujer o alguien negro o hispano. Todavía me sorprende la poca investigación en torno a los fundamentos de IA y los datos de entrenamiento que se utilizan para que estos sistemas interpreten el mundo. Formo parte de un proyecto de investigación, Knowing Machines, en la Universidad de Nueva York, en el que nos centramos en abordar este tema.

Los sistemas de IA también influyen de forma discriminatoria a la hora de encontrar trabajo.

Como el caso que se dio en Amazon en 2014, en un intento de hacer la contratación más eficiente. Diseñaron un sistema de aprendizaje automático que valoraba currícu­los del 1 al 5 y que, de entre un centenar, seleccionaba a los mejores candidatos. Implementaron el sistema con un conjunto de datos extraídos de los currícu­los de empleados contratados en los 10 años previos. Pero dejaron de usarlo cuando descubrieron que el sistema no recomendaba a mujeres. Discriminaba a las que hubieran ido a una universidad femenina y a todos los currícu­los que incluyeran la palabra “mujer”. Este ejemplo muestra cómo el sesgo está presente. Si los datos que se utilizan están basados en la hegemonía masculina, los modelos de futuro seguirán perpetuándola.

Lo más candente respecto a la discriminación que produce la utilización de la IA es la clasificación y toma de decisiones basándose en el reconocimiento emocional.

Es aterrador. Tenemos que remontarnos a 1967, cuando un psicólogo estadounidense llamado Paul Ekman lanzó la peligrosísima hipótesis de que todos los seres humanos compartimos un reducido número de emociones —ira, felicidad, sorpresa, asco, tristeza y miedo— independientemente de factores históricos, sociales, religiosos y culturales. En la actualidad, la aplicación de herramientas de reconocimiento emocional es un absoluto desastre desde un punto de vista fundamental y científico. No hay evidencia confiable de que se pueda predecir con precisión el estado emocional de una persona a partir de su rostro. Y, sin embargo, se juzga y se toman decisiones basándose en ello.

Pasamos a la simplificación: si estás contento, sonríes; si estás enfadado, estás serio…

En China se está aplicando en colegios para evaluar a los niños, y se utiliza también para atacar a los políticos a modo de polígrafos digitales. Y se ejecuta en procesos de selección de personal. Por ejemplo, en una entrevista de trabajo, dependiendo de la expresión del rostro de una persona, el sistema decide si va a ser o no un buen empleado para la empresa. Muchas start-ups, así como las mayores empresas de tecnología (IBM, Microsoft, Amazon), cuentan con herramientas de reconocimiento emocional automático.

También puede derivar en error debido a la posibilidad de fingir.

Las herramientas de reconocimiento emocional automático son peligrosísimas y deberían estar reguladas de forma estricta. Es más, en mi opinión, deberían estar completamente restringidas.

¿Por qué se siguen construyendo y aplicando herramientas de reconocimiento emocional automático si se ha constatado que son de poca ­fiabilidad?

Porque es un gran negocio, un sector muy lucrativo que promete millones de beneficios a las corporaciones.

Considerando los casos de Snowden y Timnit Gebru, ¿sirve de algo advertir de las consecuencias de la mala gestión de la IA?

Esto prueba que la cultura de los whistleblowers [los trabajadores que denuncian desde dentro de una empresa] no funciona, como tampoco funcionan los intentos de autorregulación interna, por mucho que las grandes corporaciones creen departamentos dedicados a aplicar la ética en el diseño de sus sistemas. Lo único que puede solventar la situación es crear una regulación efectiva compartida.

Geoffrey Hinton, considerado el padrino de la IA, ha abandonado Google. Usted trabaja en Microsoft. ¿Hasta qué punto sus investigaciones y sus libros en paralelo no se ven afectados?

Creo que Geoffrey Hinton tuvo que abandonar su puesto de trabajo porque sentía que su contrato con Google mermaba su libertad de expresión. Es francamente una pena llegar a este punto. En mi caso, dispongo de total libertad para escribir y hablar de mis averiguaciones. Microsoft no revisa mis publicaciones y creo que así debería ser siempre en todas las empresas. Si no disponemos de una cultura abierta auténtica y real, las compañías se convertirán en cajas negras y tendrá un impacto demoledor en la sociedad.

Usted tiene un hijo de 10 años, una edad delicada e interesantísima justo al borde de la preadoles­cencia. ¿Cómo aborda el uso de las nuevas tecnologías como ChatGPT con él?

Me siento con él y tratamos de analizar críticamente las ventajas e inconvenientes de cada dispositivo o programa. Trato de que entienda cómo funcionan, qué nos aportan y cuáles son los problemas que acarrean. Quiero ayudarlo a desarrollar su criterio para que él mismo pueda juzgar cuándo es conveniente usarlos y cómo debe protegerse de ellos.