Lorena Jaume-Palasí: “Crear principios éticos universales para la inteligencia artificial es una iniciativa cosmética”

Bosques, praderas y los verdes pantanos de la reserva natural de Plagefenn. Son los elementos más destacados que, según explica Lorena Jaume-Palasí, rodean la casa en la que vive con su familia. En cuanto asomó la pandemia, se mudaron a Niederfinow, en Brandeburgo, un pueblo de 600 vecinos atravesado por un gran canal que desemboca, 10 kilómetros más allá, en el Óder, el río que marca la frontera entre Alemania y Polonia. Su hija tiene un perfil de alto riesgo y decidieron alejarse de Berlín en busca de distanciamiento social. Lo encontraron. “Lo más peligroso que puede pasar aquí es que un ci...

Bosques, praderas y los verdes pantanos de la reserva natural de Plagefenn. Son los elementos más destacados que, según explica Lorena Jaume-Palasí, rodean la casa en la que vive con su familia. En cuanto asomó la pandemia, se mudaron a Niederfinow, en Brandeburgo, un pueblo de 600 vecinos atravesado por un gran canal que desemboca, 10 kilómetros más allá, en el Óder, el río que marca la frontera entre Alemania y Polonia. Su hija tiene un perfil de alto riesgo y decidieron alejarse de Berlín en busca de distanciamiento social. Lo encontraron. “Lo más peligroso que puede pasar aquí es que un ciervo entre en tu jardín y se coma las manzanas del árbol”, explica en conversación telefónica esta mallorquina de 44 años.

Bajo esa apariencia de vida monástica se esconde una frenética actividad profesional. A Jaume-Palasí le interesa y mucho lo que sucede más allá de la tranquila villa germana en la que se ha instalado. Se dedica a reflexionar sobre los límites que no se deberían traspasar con el uso de las tecnologías, especialmente de la inteligencia artificial. Es experta en ética y filosofía del derecho aplicadas a la tecnología, aunque con una perspectiva interdisciplinaria que abarca la historia, la sociología o la lingüística. Se define como investigadora y activista, aunque hace más cosas. Forma parte del Consejo Asesor de Inteligencia Artificial del Gobierno de España y de otro órgano análogo del Parlamento Europeo. También evalúa desde un punto de vista ético los proyectos de investigación del Instituto Max Planck, una de las instituciones científicas más prestigiosas del mundo. Está comisariando un festival de tecnología y teoría crítica para la ciudad de Hamburgo del que habla con mucha ilusión. Y trabaja en algún proyecto más del que no puede hablar para no violar los contratos de confidencialidad que ha firmado.

Jaume-Palasí llegó a Alemania tras acabar el bachillerato. Era una alumna excelente y le interesaba casi todo. Se tomó un año para pensar a qué se quería dedicar. Finalmente fue a Múnich becada por la fundación Studienstiftung para estudiar las teorías del rational choice, un campo académico interdisciplinario en el que psicólogos, economistas, filósofos, matemáticos o biólogos estudian el comportamiento humano y animal e intentan formalizarlo. No tardó en florecer su interés por la tecnología y los desafíos que implica para la sociedad. Tras trabajar una década en la ONU por medio mundo en temas relacionados con la gobernanza digital, fundó AlgorithmWatch, una organización que analiza los procesos algorítmicos con impacto social. Hace unos años abandonó la iniciativa e impulsó otra, The Ethical Tech Society, “una no organización que reúne a gente muy variada”, explica, y que se centra en estudiar desde un punto de vista multidisciplinar la relevancia social de los sistemas automáticos.

¿Podemos fiarnos de la tecnología?

Fiarse de las personas es una de las características más relevantes de los seres humanos. Y eso es clave en el contexto de la tecnología: confiar en quienes están desarrollando, implementando, supervisando y usando las herramientas. Cuando hablamos de confiar en una tecnología, en realidad nos referimos a confiar en que la empresa que la ha desarrollado tenga buenos procesos de seguridad, de supervisión de su uso, así como en la eficacia de leyes adecuadas. No confiamos en el coche en sí, sino en la marca. La confianza es algo que se da a los humanos y que se queda en los humanos.

¿Cómo de gruesa es la línea que separa un algoritmo que ayuda a la gente de otro que la perjudica? ¿Es fácil ver esa frontera?

Depende mucho del motivo por el que surge cada tecnología. Hay algunas que primero se desarrollan y luego se les busca un contexto de uso. Este tipo de ideas no suelen funcionar. El propio uso de la tecnología depende mucho del contexto y de la ideología con la que se crea. Los problemas que tenemos en la tecnología provienen precisamente en primera instancia de todas las presuposiciones con las que se crea un determinado sistema y con las que se piensa que se puede integrar en una sociedad. Lo que es problemático es nuestra carga ideológica europea.

¿A qué se refiere?

Solemos acusar a Silicon Valley y a China de una mentalidad nociva, de desarrollar tecnologías poco respetuosas con los derechos de los ciudadanos. Pero es precisamente el pensamiento europeo que hemos exportado a EE UU y a otras partes del mundo lo que ha redundado en que la tecnología discrimine o en que esté orientada al crecimiento capitalista, todo ello en detrimento del medio ambiente o de grupos vulnerables de la sociedad. El concepto de optimización, por ejemplo, procede de una mentalidad muy antigua, humanista, de la que incluso estamos orgullosos en Europa. Decimos que es la cuna de la civilización, pero nos ha beneficiado solo a nosotros, los europeos blancos, a costa del resto del mundo. Y eso no podemos olvidarlo. Todo esto ha cristalizado en una forma de sistematizar el mundo, de hacer ciencia, de hacer normatividad. Porque cuando hablamos de tecnología nos referimos a desarrollar reglas y leyes, con números, con fórmulas algorítmicas. A crear un proceso en el que solo pueda haber dos tipos de persona o diez tipos de color de piel, y en el que todo lo que esté entre medias queda fuera del cálculo, se discrimina.

¿La aspiración de reducir al ser humano a cifras bebe de esa ideología europea?

Sí. El pensamiento europeo es cartesiano. René Descartes quería entender cómo podemos hacer ciencia y pensó que hacía falta definir qué es un ser humano para luego explorar qué reglas podemos crear para hacer ciencia. La racionalidad cartesiana es supuestamente objetiva, implica que el ser humano se puede desprender de su color de piel, de su género, de su identidad sexual, de su lengua y su cultura para hacer observaciones verdaderas. Esa idea de objetividad, que es altamente cuestionable, nos lleva a creer que hay ciencias neutrales. Esa ideología la vemos extrapolada a la ingeniería o a otros campos, como el derecho o la medicina. Lo que estamos empezando a entender ahora, precisamente con el uso de la inteligencia artificial, es que ahí no puede haber neutralidad.

La tecnología siempre tiene un propósito.

Exacto. Ni es buena, ni es mala, ni es neutral. En el momento en el que se decide que en un sistema entran X categorías y las demás no existen, se está tomando partido. Las decisiones que tomamos al formular una tecnología nunca son objetivas, pero en Europa creemos que lo son gracias a pensadores como Descartes o Francis Bacon. También por nuestra herencia esencialista, el afán de buscar cuál es la esencia del ser humano antes de definir un proceso. Hobbes, Locke, Rousseau o Stuart Mill exponen su visión del hombre antes de explicar cuál es la mejor forma de crear un Estado. El problema de esta visión humanista y de la Ilustración es que también legitimaron el colonialismo. Filósofos como Kant bebieron de ese acervo para empezar a categorizar a los seres humanos. Y de ahí derivaron en el siglo XVIII las ideas eugenistas por las cuales unos hombres eran más iguales que otros, y por ello era legítimo que el ser humano racional controlara y sometiese a la naturaleza y a determinados tipos de personas, como los pueblos indígenas y las mujeres.

¿Esa herencia intelectual está presente hoy en la tecnología?

Eso es parte de la historia del pensamiento humanista, pero también de la historia de la teoría de la ciencia con la que hacemos tecnología. Google crea un sistema de reconocimiento biométrico en el que incluye 10 categorías diferentes de color de piel. Pero la piel es un continuo, hay cientos de matices. Aunque hubiese 50 categorías, fracasarían, si bien reconocen que sería demasiado complejo trabajar con tantas variables. Y ahí está el quid de la cuestión: hay según qué cosas que no se pueden simplificar. Esas ideas fallan porque se basan en que primero hay que definir la esencia de una persona para optimizar un proceso. Gracias a la medicina y la biología sabemos que la piel no es indicador de nada. Las razas son un concepto cultural, no biológico; la piel no te puede decir de qué identidad o cultura eres. Tener que categorizar a la gente en 10 colores de piel no tiene sentido y provocará discriminación, porque habrá personas mal clasificadas o que no serán reconocidas. Todo esto proviene de esa aproximación de hacer ciencia que tiene más de 600 años de antigüedad y que ha sido definida y determinada por hombres privilegiados en un continente privilegiado.

¿Me puede poner algún ejemplo más?

En 2020 hubo muchos incendios en Australia. El pensamiento occidental, cuando quiere resolver un problema, parte del individuo y luego trata de superar la naturaleza. Lo que se hizo, entre otras cosas, fue crear exoesqueletos para bomberos. Para optimizar no su seguridad, sino su fuerza, de modo que pudieran llevar todavía más peso. También se trabajó en la optimización de la ruta de los aviones cisterna. No funcionó. En ese contexto tenía mucho más sentido lo que hizo un consorcio de tecnológicas aborígenes en el noroeste del país, en una reserva. Revisaron rituales que fueron prohibidos por el hombre blanco hacía más de 200 años y entendieron que el fuego es parte de un proceso anual, y que lo importante es ver cuándo tiene sentido hacer una intervención puntual quemando maleza manualmente para evitar que en determinados momentos de sequía el fuego sea aún mayor. A partir de esos rituales, que contemplaban qué tipo de condiciones medioambientales debían tenerse en cuenta para hacer esos fuegos, crearon un calendario con inteligencia artificial y programaron drones de vigilancia. En esa zona hubo un 75% menos de fuegos que en el resto del país. Uno puede desarrollar tecnología, pero lo importante es entender el contexto en el que se quiere aplicar.

¿Cómo valora la aproximación de las empresas a la ética de la inteligencia artificial?

Depende del frente en el que nos fijemos. Es cierto que están surgiendo muchos grupos de investigación que creen que se pueden desarrollar una serie de principios generales con los que los algoritmos, independientemente del contexto de uso, puedan ser diseñados e implementados. Pero eso procede de un mal entendimiento de cómo funciona la ética. Porque esta demandaría ante todo contexto. Pretender crear principios horizontales, para todos los sectores, no son más que iniciativas cosméticas. Sería como crear reglas para la estadística que sirvieran tanto a un ginecólogo como a un militar. No vamos con las estadísticas de nuestro historial médico y le decimos a nuestro banquero que nos las interprete.

¿Cuál es entonces el camino?

Los principios éticos tendrían que ser contextuales y menos enfocados en la tecnología. La tecnología se ha convertido en la excusa para no tratar problemas de asimetrías de poder dentro de contextos sociales. Se la puede culpar de las desigualdades para evitar tener que enfocarse en las injusticias sociales.

Ha mencionado antes la discriminación algorítmica. ¿Cómo cree que habría que tratarla?

Creer que hay discriminación algorítmica es una simplificación de los problemas que surgen en la interacción con las tecnologías. Somos animales tecnológicos. La idea de que podemos resolver el problema de la discriminación con fórmulas matemáticas ya es errónea. Es mucho más complejo que eso, va más allá de problemas en la recolección y procesamiento de datos o en la formulación. Tiene mucho que ver con las intenciones y el contexto en el que usamos algo. La discriminación de la inteligencia artificial se situó en el mapa a partir de la investigación de ProPublica sobre Compas, un sistema muy extendido en EE UU que usa inteligencia artificial para calcular las probabilidades de reincidencia de los presos cuando se estudia concederles la libertad condicional. Se vio que la herramienta era discriminatoria porque sugería desproporcionadamente a los jueces estadounidenses que la gente negra iba a volver a delinquir. Los intentos de corregirlo se centraron en ver las sugerencias que hacía el programa, pero pasaron cuatro años hasta que un investigador se preguntó cómo interpretaban el sistema los propios jueces. Y resultó que lo hacían basándose en sus prejuicios: si el sistema decía que un afroamericano tenía pocas probabilidades de reincidir y el juez era racista, retorcía el sistema para que no se le diera la condicional. Y viceversa. Volvemos al contexto: esta tecnología fue desarrollada por blancos para controlar poblaciones no blancas, porque sabemos que la mayoría de los reclusos de EE UU son negros. Es absurdo pensar que una máquina va a poder resolver los sesgos discriminatorios de un juez, que es la argumentación que se dio para desarrollar Compas.

¿Qué casos le han llamado más la atención últimamente de malos usos de la inteligencia artificial?

Los sistemas de predicción, cada vez más comunes. Realmente no son predicciones, sino especulaciones hechas a partir de datos y presuposiciones del pasado. En las fronteras de la UE se están utilizando polígrafos que usan inteligencia artificial e intentan analizar si los refugiados dicen la verdad. En España tenemos VioGén, el sistema de predicción para intentar dilucidar si una mujer va a ser víctima de violencia doméstica. Son nuevos intentos de hallar una verdad para contextos en los que no tiene nada de sentido, porque se requiere una evaluación individual de la persona. Y esa evaluación individual no se puede hacer con tecnologías que lanzan consideraciones genéricas. Otro ejemplo son los algoritmos genéticos, los que se usan en coches autónomos: calculan qué pasa si el vehículo va por todas las vías posibles y, cuando prevén colisión, eliminan esa ruta del cómputo. Si mi hija hiciera algo así para salir de la habitación, dándose golpes contra las paredes hasta que lograra pasar por la puerta, diría que tiene un problema cognitivo, pero en tecnología lo llamamos aprendizaje automático.

¿Las instituciones están respondiendo a estos desafíos? ¿Las normativas que ya ha sacado Bruselas y las que prepara van en la buena dirección?

Para nada. Por un lado, estas legislaciones europeas están normalizando tecnologías que no tienen ni siquiera una base científica, como la biometría y el reconocimiento de emociones, que están basados en teorías eugenistas y behavioristas que son consideradas hoy obsoletas. En el campo de la ingeniería están siendo resucitadas sin conocimiento de causa. La UE las está naturalizando, porque cuando pone reglas al respecto pero no las cuestiona, sino que las define como tecnologías susceptibles de uso, las legitima. En segundo lugar, reducen el problema y el conflicto de este tipo de tecnología a una cuestión de seguridad y de calidad. Y, en tercer lugar, hay que recordar que son leyes mercantiles y que tienen la intención de diseñar tecnología con métodos regulatorios. Se trata de ser competitivos y participar en el mercado. Y, como pasó con el Reglamento General de Protección de Datos, se busca que la regulación pueda ser exportada y tenga impacto global. Volvemos a esa idea de imponer el modelo normativo europeo en el resto del mundo, como ya se hizo con el derecho romano y germano gracias al colonialismo. Pero no van a solucionar los problemas que plantea el uso de estas tecnologías.

Lo que hagamos hoy definirá nuestra relación con la inteligencia artificial en los próximos años. ¿Qué mundo se encontrará su hija de mayor?

De momento nos lo planteamos todo como un proyecto de reforma, pero estamos en una situación medioambiental y social que no requiere reforma, sino transformación. Y eso es algo totalmente distinto, porque implica cambiar la estructura con la que operamos. Si bien tenemos mucha ceguera en ese punto, creo que las nuevas generaciones son conscientes de nuestra historia pasada, de lo que tenemos que reparar y de esa necesidad de transformación. Eso me da esperanza. Hay muchas iniciativas que lo contemplan. Es verdad que también hay reacciones fascistas y racistas, pero son los estertores de capas privilegiadas que se ven amenazadas y por eso reaccionan de forma más estentórea. Tengo la sensación de que hay motivos para ser optimistas. Las nuevas generaciones vienen fuerte. Y el mundo está colapsando, así que habrá que cambiar sí o sí.