La Unesco pide a las tecnológicas que revisen el entrenamiento de sus IA para frenar la distorsión del Holocausto entre los jóvenes

El 80% de los jóvenes usa diariamente herramientas de inteligencia artificial tanto en el ámbito educativo como en su tiempo de ocio. A partir de este dato de un informe de la ONU de 2022, la Unesco ha publicado este martes un nuevo documento en el que alerta de que las aplicaciones de inteligencia artificial generativa —como ...

El 80% de los jóvenes usa diariamente herramientas de inteligencia artificial tanto en el ámbito educativo como en su tiempo de ocio. A partir de este dato de un informe de la ONU de 2022, la Unesco ha publicado este martes un nuevo documento en el que alerta de que las aplicaciones de inteligencia artificial generativa —como ChatGPT o Bard de Google— están propagando e incluso “inventando de forma involuntaria” hechos históricos falsos relacionados con el Holocausto que están distorsionando la percepción de los menores, y ha urgido a las tecnológicas a revisar la forma en la que se entrena a esas herramientas y a incorporar protocolos éticos en el diseño de las mismas.

El trabajo contiene ejemplos concretos de esas alteraciones de la realidad, como el concepto “Holocausto por ahogamiento”, inventado por ChatGPT, que asume que los nazis llevaron a cabo campañas de asesinatos en masa de judíos por ahogamiento en ríos y lagos, o aplicaciones como Historical Figures, que permite a los usuarios chatear con altos cargos nazis y difunde afirmaciones como que Joseph Goebbels —ministro nazi de Propaganda— no participó de forma intencionada en el Holocausto e intentó evitar la violencia contra los judíos.

“Estas herramientas generan contenido que imita la evidencia histórica, como testimonios de supervivientes o reflexiones personales de los perpetradores, de forma que consiguen de forma fácil que esos materiales parezcan convincentes para personas no expertas”, denuncia el informe La IA y el Holocausto: ¿reescribir la historia? Cómo gestionar el impacto de la inteligencia artificial en la comprensión del Holocausto, que se ha publicado este martes, dos años después de otro trabajo también de la Unesco que analizó el antisemitismo propagado por las redes sociales. Otro de los ejemplos que cita el documento es el uso de imágenes de Anna Frank —la autora adolescente del Diario más famoso del Holocausto— para crear memes ofensivos y su distribución en internet por sistemas de IA.

“La IA se tiene que entrenar usando datos. A menudo, esos datos proceden de Internet, y pueden incluir contenidos erróneos, o dañinos, y eso tiene una influencia en cómo esa IA interpreta un fenómeno específico”, señala el informe, que denuncia cómo la falta de transparencia sobre cómo se entrenan los sistemas de inteligencia artificial generativa y sobre las políticas de moderación para bloquear contenidos falsos, impide a los usuarios evaluar cómo se abordan cuestiones delicadas como la historia del Holocausto. “No está claro qué bases de datos se utilizan para el entrenamiento de los sistemas de inteligencia artificial o cómo deciden los algoritmos qué contenidos recuperan, generan o priorizan cuando el usuario hace una búsqueda”, denuncia el informe, que alerta sobre cómo se pueden estar nutriendo de webs negacionistas del Holocausto.

Karel Fracapane, coautor del estudio y especialista de la Unesco en la lucha contra los discursos de odio, aclara que el organismo no dispone de datos concretos sobre cómo ha aumentado la propagación en Internet de esos hechos falsos en los últimos años, y preguntado por cómo puede estar afectando el actual escenario internacional y las acciones del Gobierno de Israel contra la población palestina en Gaza responde que, “en primer lugar”, la responsabilidad recae en los grupos extremistas que promueven el antisemitismo. “La situación actual de conflicto provee un entorno que puede ser utilizado por los grupos radicales para promover sus ideas y su discurso del odio, utilizan los canales que ofrece la tecnología para dividir y desestabilizar los sistemas”, indica. Fracapane considera que para frenar esos movimientos, los gobernantes “tienen la obligación de establecer los parámetros legales para asegurar que se respetan los derechos humanos, también en las redes sociales”, y para ello “es necesaria la regulación”.

El documento incide en que no está claro por qué ciertas fuentes de información sobre el Holocausto alcanzan más visibilidad que otras, aunque sobre este aspecto los autores indican que los algoritmos de las redes sociales y los buscadores “priorizan” y “promueven” contenido (incluyendo la desinformación) que atrae la atención y es propenso a los sesgos, “lo que potencialmente va en contra de la precisión”. Ponen un ejemplo: alguien que buscara en Google en 2020 “carrito de bebé judío”, probablemente encontraría imágenes de hornos portátiles.

“Estos resultados de los motores de búsqueda, que glorifican y se burlan de la historia del Holocausto, probablemente fueron el resultado de esfuerzos coordinados de trolls antisemitas que utilizaron webs marginales para promover estas imágenes de modo que la IA les diera prioridad”, denuncia el trabajo de la Unesco, que destaca que la IA generativa se puede manipular para “generar distorsión y negación” del Holocausto mediante una técnica conocida como jailbreaking.

Sesgos según el idioma

Otra de las problemáticas que presenta la IA se da cuando no puede recuperar datos sobre un episodio específico de la historia, en este caso del Holocausto, en un idioma en particular. En 2020, señala el informe, el 36% de los resultados en la búsqueda de imágenes sobre el Holocausto en BaiBaidu, un importante motor de búsqueda en chino, estaban relacionados con películas y música death rock. Al hacer la misma búsqueda en ruso, entre los 50 primeros resultados no aparecía ninguna imagen relacionada con el Holocausto.

“Las tecnológicas deben contar con la comunidad judía, con los supervivientes del Holocausto y con sus descendientes, con educadores, expertos en antisemitismo e historiadores para el diseño de los modelos de IA generativa”, destaca el informe de la Unesco, que enfatiza su obligación de asegurarse de que sus productos no socavan los esfuerzos de educadores e historiadores al “simplificar el pasado o al describirlo de manera inexacta”. Y de forma más urgente, continúa el documento, “deben esforzarse por introducir vigilancia y supervisión para evitar que se promueva la negación del Holocausto y el antisemitismo en todos los idiomas”. “Los desarrolladores de sistemas de IA inevitablemente tienen que tomar decisiones sobre qué tipos de contenido legal sobre el Holocausto deben priorizarse o degradarse al recuperar o generar información”, enfatiza.

Organizaciones como el Starling Lab for Data Integrity de la Universidad de Stanford, financiado por la USC Shoah Foundation, y la Coalition for Content Provenance and Authenticity, están trabajando en métodos para certificar criptográficamente que el contenido es auténtico y certificar aquel que ha sido generado por IA. Otro ejemplo es el proyecto Decoding Antisemitism, que ha reunido a un equipo de académicos de Alemania, Francia y el Reino Unido para detectar y analizar contenido antisemita online para crear una guía para entrenar a la IA en la identificación del discurso de odio.