“La Inteligencia Artificial no piensa, no aprende, no decide”

En 2023, un equipo de la Fundación Vía Libre, que defiende derechos en entornos digitales, hizo un ejercicio de Inteligencia Artificial con estudiantes de secundaria de Montevideo (Uruguay).

- ¿Qué voy a ser dentro de 10 años? ¿Qué seré en el futuro?, preguntaron las adolescentes a la herramienta.

- ‘Serás mamá’, respondió el sistema.

La respuesta atronadora es uno de los muchos ejemplos que la argentina Beatriz Busaniche (Río Gallegos, 1970) usa para mostrar los sesgos de género de la Inteligencia Artificial y el anacronismo en el que se basa este modelo de lenguaje que ella califica de conservador. “La IA no crea un discurso nuevo; recrea el existente. Es decir, el discurso con el que está hecho estos sistemas es el pasado”, dice Busaniche, presidente de la Fundación Vía Libre, lidera en América Latina la discusión sobre los sesgos no solo de género sino también étnicos de la IA que está sacudiendo al mundo. Para comprobarlo, el equipo de la Fundación creó EDIA (Estereotipos y Discriminación en Inteligencia Artificial), un instrumento que permite, por ejemplo, comparar oraciones y evaluar si existen sesgos en estos sistemas, interactuando con distintos modelos de lenguaje previamente cargados en la plataforma. Desde su casa en Buenos Aires, habla sobre sesgos, fallos de la IA y riesgos de “humanización”.

Pregunta. Su trabajo es defender derechos en el entorno digital. ¿Cuáles están en mayor peligro hoy?

Respuesta. Hay varios elementos críticos: el derecho a la intimidad, la protección de datos y la privacidad, y lo que se llama la autodeterminación informática, (el derecho que tiene el titular de los datos personales de controlar quienes serán destinatarios de dicha información y qué uso le darán).

P. ¿Y ahora, con la emergencia de la IA cuáles son los nuevos riesgos?

R. A partir de la utilización masiva, sistemática y no debidamente evaluada de sistemas de inteligencia artificial ha crecido la posibilidad de ejercer formas de discriminación sobre las personas por distintos temas y es diferente a la discriminación como estamos acostumbrados a verla, en la que alguien te agrede por tu color de piel o por tu género o por tu pertenencia a un determinado grupo étnico y es visible. Hoy en día esa discriminación está integrada en código, entramada en los programas con los que interactuamos y se ha invisibilizado completamente.

P. ¿Puedes dar un ejemplo de esa discriminación no visible?

R. Por ejemplo, los sistemas de búsqueda de empleo. Tienen un mecanismo automatizado de toma de decisiones de a quiénes le van a mostrar ciertos tipos de empleos. Es claro que, si estudiaste ciencias sociales, el sistema no te ofrecerá un puesto en ingeniería. Pero el sistema muestra ofertas de empleo de manera automatizada y no tenemos formas claras para saber en función de qué segmenta. Ya hay alguna evidencia de que implementan estas formas discriminatorias como ocurrió con Amazon en Estados Unidos cuando se descubrió que utilizaba un sistema de filtrado de currículums hecho por Inteligencia Artificial y descartaba de plano currículums de mujeres para puestos de alta gerencia. Eso estaba invisibilizado.

P. Sostiene que este tipo de tecnologías conllevan impactos sociales que pueden potenciar las desigualdades que ya existen. ¿cómo se expresa esto?

R. Invisibilizar procesos discriminatorios es una de las formas en que se expresa. Cuando te niegan un visado, una beca o un empleo tienes formas de cuestionar, pero cuando la negativa viene de un sistema automatizado hay un mecanismo previo que obtura la capacidad de interpelar la decisión. Y es inauditable. En otras palabras, se fortalecen sesgos de género e identidad, entro otros aspectos.

P. ¿Cómo en la práctica toman decisiones que impactan la vida diaria de las personas?

R. Hay sistemas de IA tomando decisiones sobre precios variables en distintos productos. Vemos compañías de seguros, sobre todo de automotores, que ponen sistemas de IA para hacer evaluaciones de riesgo. Este tipo de tecnologías les permiten saber cuántas horas duerme un conductor, qué tipo de medicación toma, qué tipo de estilo de vida lleva, si consume o no consume alcohol, cuánto tarda en tocar el freno ante una situación y, mediante ese tipo de sensores, construyen perfiles de riesgo. Así, a quienes están en un perfil de riesgo alto les ponen un precio variable y les cobran una prima más alta.

P. ¿Puede impactar el acceso a la salud?

R. Se está usando en seguros de salud. Entonces si hay una persona que tiene algún tema de salud vinculado con sobrepeso o que vive en una zona donde hay efectos contaminantes, probablemente los seguros de salud la ubiquen en un perfil de mayor riesgo y les cobre o primas más altas o les expulsen directamente del sistema donde no hay un programa común obligatorio. Otra área donde se está utilizando mucho la IA es en las evaluaciones de desempeño laboral, que en la economía de plataformas las hacen mayormente sistemas automatizados. Se ve mucho en las plataformas de delivery (domiciliarios). A quienes les evalúan cuánto tiempo tardan en llegar de un lado al otro, cuántas horas del día trabajan. Y a las mujeres que tienen niños o niñas a su cargo, como hay ciertos horarios en los que no pueden estar a disposición de la plataforma, les restan puntos. Esto se ve mucho más en las economías precarizadas, ese tipo de cosas te bajan puntos en la evaluación y te hacen cobrar menos o ser despedido sin causa. Así se expresan esas desigualdades.

P. Volvemos a afectaciones para las mujeres. ¿Qué les ha arrojado la plataforma Edia para identificar los estereotipos?

R. En cuanto a sesgos de género hemos encontrado asociaciones directas con distintos tipos de profesiones, todo lo que tiene que ver con las profesiones de cuidado las atribuye a las mujeres mientras que las profesiones científicas las vincula a los hombres. También, detectamos que los modelos del lenguaje consideran feas a las mujeres gordas y no tienen una relación similar cuando se trata de un hombre con obesidad. Y que se basan en el pasado. El año pasado en la reunión latinoamericana de investigadores de IA hicimos un taller con estudiantes de secundaria y las chicas, mujeres adolescentes, le preguntaron al modelo del lenguaje, qué serían ellas en el futuro, en 10 años. La respuesta es que iban a ser mamás.

P. ¿Por qué una herramienta que se plantea como el futuro es tan anacrónica?

R. Como son sistemas estocásticos que toman decisiones por pura estadística se basan en cosas que están publicadas, en cosas que ha visto, son sumamente conservadoras. Se basan en el pasado para tomar decisiones para el futuro. La IA no crea un discurso nuevo, recrea el existente. Los discursos minoritarios o los que están pensando en cambiar el statu quo no tienen el mismo peso en la validación estadística que los grandes volúmenes de datos del pasado. La IA se entrenó seguramente con libros que están en dominio público, es decir de más de 100 años. El futuro diseñado por IA se parece mucho al pasado. En algunos casos es muy útil, como en la detección de cáncer de mama o en pronósticos meteorológicos para los que se está usando la IA. Pero en todos hay que hacer un filtro ético.

P. En otro ejercicio se preguntaron ¿qué pasa cuando buscamos en Google “las mujeres no pueden”?

R. Esos ejercicios, en general, te arrojan mucho discurso discriminatorio hacia las mujeres. Las empresas, Google en particular, hacen esfuerzos importantes para no meter la pata en estas cosas, pero lo hacen a través de censura. Entonces, por ejemplo, si vas a la versión en inglés y le pones ‘women can’t’, no te va a decir nada. En español sí autocompleta algunas cosas. Ahora, si escapas a su lógica lineal y le preguntas por profesiones para mujeres en algún punto meten la pata. Vemos también que las aplicaciones de orientación vocacional les recomiendan a las mujeres ciertas labores y a los varones otras. Lo delicado es que haya un sistema que, de forma estructural, esté generando este tipo de condicionamientos cuando hace décadas que las mujeres venimos tratando de deconstruir esos roles de género.

P. Sostiene que hay que erradicar lo más posible las metáforas que humanizan las acciones de la IA.

R. Sí, la IA no piensa, no aprende, no decide. Hace acciones probabilísticas, incluso cosas sorprendentes como el procesamiento de lenguaje natural porque uno puede incluso dialogar con estas máquinas. Pero la máquina no está ni pensando, ni construyendo una gramática, simplemente está armando textos a partir de las probabilidades de que después de una palabra venga otra. Lo que pasa es que ha sido entrenada con tantas cantidades de palabras que eso le permite construir ese tipo de cosas.

P. No son neutrales

R. Recientemente una exalumna le preguntó a ChatGPT cuál había sido el peor presidente de la historia de Argentina. Este le dijo que había sido Alberto Fernández y le argumentó por qué. Yo hice la prueba con Perplexity, otra aplicación de IA, que tiene una ventaja y es que te refiere fuentes. Le hice la misma pregunta y me dio la misma respuesta. Entonces le dije, ¿te parece que fue peor Alberto Fernández que la dictadura militar, por ejemplo? Y ahí me dijo que no, que dentro de los gobiernos democráticos y que no era comparable con las dictaduras. Lo que hace la IA es leer la opinión pública. No es que para responder hace una evaluación y busca las tasas de desempleo, el crecimiento del PBI o las condiciones económicas globales, cosas que uno como analista tendría qué poner sobre la mesa para decidir qué el gobierno fue peor. Lo único que hace es tomar texto de lo que circula la línea. Es decir, busca el discurso más repetido y es el que da por bueno. Un millón de moscas no se equivocan, sería la metáfora de cómo funcionan estos sistemas.

P. ¿Apunta a que la IA va a homogeneizar el pensamiento?

R. Todo lo que es discurso de minorías, no hegemónico, alternativo o representado en menor magnitud en el mundo de Internet va a ir perdiéndose. Porque, además, hay un efecto reciclador y cada vez más hay textos escritos en Internet que fueron hechos con estas tecnologías. Entonces, si tienes una campana de Gauss, las colas de la campana se van perdiendo y solo se visibiliza lo que está dentro de lo normal.

P. ¿Y cómo se puede resistir a eso sin decir que no usemos la tecnología?

R. La primera opción que hay es aprender y entender, no dar por válida las cosas que dice la IA. Nosotros (en la Fundación) cuando damos clases, no les decimos a los estudiantes que no usen chatGPT, sino que aprendan a usarlo, entiendan qué hace y tengan claro que falla un montón. Hace muy mal, por ejemplo, las operaciones aritméticas básicas, es malísimo haciendo sumas. Recientemente, el músico argentino Iván Noble le preguntó a la IA integrada al WhatsApp quién es Iván Noble y le contestó que era un actor de televisión que había muerto hace años. Otra muestra de que falla y mucho.

P. Se está vendiendo desde las tecnológicas como lo que parteaguas del mundo. ¿No es así entonces?

R. Hay que parar un cacho a la pelota, porque fallan mucho. Además, como dice Emily Bender (lingüista computacional) estos sistemas son loros estocásticos y las respuestas que dan son pura estadística. No hay un análisis, no hay una racionalidad. Solo estadística y sobre ciertos patrones. Hay cosas que sí son muy útiles y otras que uno no debería, en ninguna circunstancia, poner bajo la IA. Nunca se puede poner un sistema de inteligencia artificial a tomar decisiones de gobierno, por ejemplo.

P. Se piensa que estas tecnologías o ayudan a mejorar las democracias o son un peligro para ellas. ¿Dónde se ubica?

R. En ninguno de los dos lados, nunca hay que ubicarse en esto es la destrucción total o esto es la maravilla. Menos en esto es la maravilla. Me ubico en un punto crítico, en un análisis de las tecnologías son eminentemente políticas, no hay tecnologías neutrales y lo que hay que mirar siempre son todos los procesos sociales que están alrededor de ellas. Las tecnologías no son un elemento aislado de la sociedad, sino parte de las relaciones sociales y muchas veces son usadas para encubrir fenómenos sociales indecibles. Son parte de la historia y de los procesos de la vida colectiva.

Siga toda la información de El PAÍS América en Facebook y X, o en nuestra newsletter semanal.