Marc Serramià: “Si todos confiamos en herramientas como ChatGPT, el conocimiento humano desaparecerá”

A Marc Serramià (Barcelona, 30 años) le preocupa que la vertiginosa irrupción de la inteligencia artificial (IA) en nuestras vidas no venga acompañada de un debate serio sobre los riesgos que implica esta tecnología. Ante los dilemas éticos que plantea, Serramià ha decidido centrar su investigación en el desarrollo de técnicas “para controlar que el comportamiento de estos sistemas sea consistente con los valores humanos...

A Marc Serramià (Barcelona, 30 años) le preocupa que la vertiginosa irrupción de la inteligencia artificial (IA) en nuestras vidas no venga acompañada de un debate serio sobre los riesgos que implica esta tecnología. Ante los dilemas éticos que plantea, Serramià ha decidido centrar su investigación en el desarrollo de técnicas “para controlar que el comportamiento de estos sistemas sea consistente con los valores humanos y las normas sociales”. Su trabajo le valió el Premio de la Sociedad Científica Informática de España y la Fundación BBVA, que cada año distingue a jóvenes investigadores que firmen tesis doctorales innovadoras.

El catalán compara su trabajo en el ámbito de la IA con el establecimiento de normas para el comportamiento de la sociedad en la regulación del tráfico. “Tenemos límites de velocidad en la carretera porque valoramos más la vida de los conductores que el hecho de llegar rápido a nuestro destino”, dice este doctor en Ingeniería (con especialidad en inteligencia artificial) por la Universidad de Barcelona, actualmente profesor en el Departamento de Ciencias de la Computación de la Universidad de la City de Londres.

Pregunta. Algunos expertos dicen que los riesgos de la IA se tendrían que tomar con la misma seriedad que la emergencia climática. ¿Qué opina usted?

Respuesta. Estoy de acuerdo. Un buen ejemplo son los medicamentos. Para poner un fármaco en el mercado, no solo debe demostrarse que tiene un efecto primario positivo, sino que los efectos secundarios no deben ser peores que el primario. ¿Por qué no pasa lo mismo con la IA? Cuando diseñamos un algoritmo, sabemos que la función principal la va a hacer ver bien, pero no si tendrá efectos secundarios. Creo que en el caso de los medicamentos o de las armas lo vemos muy claro, pero con la IA no tanto.

P. ¿De qué peligros hablamos?

R. Hay muchos. Uno de ellos, en el que centro parte de mi investigación, es la privacidad. Incluso aunque anonimicemos datos, siempre es posible hacer ingeniería inversa e inferir cosas sobre ti para servirte publicidad personalizada, para concederte o no créditos bancarios o para que un posible empleador juzgue si eres el perfil que busca. Nuestro trabajo plantea lo siguiente: ya que usamos los algoritmos para estudiarte, ¿por qué no usarlos también para cosas buenas, como aprender cuáles son tus preferencias en temas de privacidad? O sea, si yo te digo que no quiero que compartas mi ubicación, no me lo preguntes más. Lo que nosotros hemos propuesto es que una IA pueda aprender del usuario y pueda hacer de representante en este proceso y defina sus preferencias prediciéndolas a partir de la información que tiene sobre él. Hicimos una herramienta de IA muy simple y, aun así, nuestros datos muestran que fue capaz de predecir las preferencias reales del usuario con buena fiabilidad.

P. ¿Qué otros problemas destacaría más allá de la privacidad?

R. Los altavoces inteligentes, tipo Alexa, se lanzaron al mercado muy rápido, pero están fallando. Por ejemplo, mandando conversaciones sensibles a contactos con los que no quiere compartir información. Menos cotidiano, pero seguramente más trascendente, es el peligro que suponen las armas autónomas.

P. ¿Hasta qué punto debemos temer las armas autónomas?

R. Están muy avanzadas a nivel de producción. Mi directora de tesis participó en un congreso en Naciones Unidas sobre este tema y el discurso mayoritario que vio entre políticos y militares allí presentes fue: bueno, nosotros no las queremos, pero si no las desarrollamos nosotros lo hará otro país. El equilibrio es muy complicado. Siempre habrá alguien dispuesto, y eso arrastrará a los demás.

P. Cuando hablamos de armas autónomas, ¿nos referimos a drones?

R. Por ahora creo que es lo más extendido, sí. En el futuro podremos referirnos a robots humanoides armados. De momento, en la guerra de Ucrania y de Rusia se están usando drones con explosivos. Pero también se les puede poner armas para que disparen.

Debemos frenar el desarrollo de armas autónomas con capacidad de decisión, porque estamos creando cosas que no sabemos cómo funcionan ni qué efectos pueden tener

P. ¿Hay forma de parar eso? ¿O la automatización de la guerra es inevitable?

R. Lo que nosotros recomendamos es intentar frenar o desacelerar el desarrollo de armas autónomas con capacidad de decisión, porque en realidad estamos creando cosas que no sabemos cómo funcionan ni qué efectos pueden tener. Y esto es muy peligroso. El problema es que las empresas saben que si no lo hacen ellas lo harán otras, y al final se instala una especie de competición. Estaría bien que hubiera algún tipo de certificación en este ámbito. Se debería empezar por los productos de consumo, como los altavoces inteligentes: si vas a una tienda y ves uno que está certificado, conforme ha habido un estudio ético detrás que asegura que respeta la privacidad, es probable que compres ese y no otro.

P. ¿Existe realmente la inteligencia artificial ética?

R. Sí, aunque no es muy visible. Es un terreno nuevo: la primera Conferencia Internacional de Inteligencia Artificial Ética fue en 2018. Un tema en el que estoy trabajando es usar la IA para mejorar los procesos de presupuestos participativos, como Decidim Barcelona. Uno de los problemas que tienen es que participa poca gente, y está estudiado que generalmente las clases más desfavorecidas votan menos. Por lo tanto, esto implica sesgos en la selección de proyectos. Les hicimos un algoritmo que pudiese implementar el sistema de valores de la gente que no participa, ya sea porque no puedo o porque no quiere, de manera que se tuviera en cuenta sus sensibilidades. El objetivo es minimizar los posibles sesgos que puedan acarrear decisiones votadas por solo unos pocos. Lo interesante es que en nuestros experimentos hemos visto que podemos encontrar un buen equilibrio en el que los participantes estén satisfechos y que también represente a quienes no hayan participado.

P. ¿Es posible codificar los algoritmos para que sean éticos?

R. En un plano teórico, sí. Mi investigación se circunscribe a ese plano, me centro en los sistemas multiagentes (varios sistemas inteligentes que interactúan entre ellos). La idea es pensar en cómo diseñar el día de mañana, cuando la IA lo rodee todo, un sistema de normas tales que nos asegure que los sistemas estarán alineados con nuestros valores. Luego hay otra investigación que es cómo trasladamos esto a nivel práctico, pero aquí ya no entraríamos.

P. ¿Y cómo se puede hacer?

R. La inteligencia artificial se puede ver como una fórmula matemática que trata de cambiar el estado del mundo para intentar llegar a maximizar esa fórmula. Aunque parece que tiene un comportamiento inteligente, no deja de ser un mecanismo de optimización. Puedes ponerle normas en el código, o también modificar esa fórmula matemática para penalizar cuando incumple la norma. Solo querrá hacerlo bien, optará por lo que le ayude a llegar al objetivo de diseño de ese sistema, pero no sabe qué está haciendo.

En un plano teórico, es posible codificar los algoritmos para que sean éticos

P. Pero luego esos algoritmos los usa alguien que puede saltarse esas normas.

R. Claro, al final la inteligencia es tan ética como aquel que la usa. Pero nuestra investigación se centra en ver cómo podemos conseguir que los algoritmos no tengan sesgos. Es un trabajo teórico para un futuro en el que imaginamos que conviviremos con sistemas sofisticados de IA.

P. ¿Qué opina de la IA generativa, la que está detrás de ChatGPT o Gemini? ¿Qué problemas éticos plantea?

R. Se centran más en explicar lo generado, o en que no puedes asegurar que lo que se genera tenga sentido. El algoritmo no entiende nada, lo único que hace es encontrar cosas similares a lo que le has mostrado, las junta y genera algo. El término aprendizaje automático puede llevar a engaño, porque la máquina no ha aprendido ni entendido nada. Tiene una fórmula matemática sofisticada que se va modificando, de manera que si le pides que te dé una ilustración de un gato, pues te busca una ilustración de un gato, pero no entiende qué es un gato.

P. No se ha medido el efecto que pueden tener estas herramientas sobre ciertos perfiles. Una persona se suicidó tras semanas de conversación con un chatbot inteligente que le animó a dar ese paso.

R. Aquí hay varias cosas. La primera es que hay un problema de desconocimiento: la gente no sabe cómo funcionan estos sistemas. Por muy parecido al de un humano que sea el texto que produce, solo rebota resultados probables. No es nada inteligente, y menos aún emocional, aunque puede dar esa impresión. También hay un problema en el terreno de la educación. Ya no es solo que los alumnos usen ChatGPT para hacer los deberes, sino que, si todos confiamos en este tipo de herramientas, el conocimiento humano desaparecerá. Se equivocará el algoritmo y nadie sabrá que lo ha hecho. Y ya se ha visto que muchos modelos se inventan respuestas. En las cajetillas de tabaco pone que fumar mata. Con la IA debería suceder lo mismo.

¿Es suficiente poner un mensaje que diga ‘generado por IA’? La gente pregunta a ChatGPT a qué partido votar en las próximas elecciones o qué medicamento tomar

P. Se refiere a una especie de sello o certificación.

R. Exacto. La industria ha crecido rápidamente y los gobiernos siempre van más lentos. Estamos en ese momento en el que hay mucho desarrollo y poca certificación y regulación. Yo creo que esto al final se va a arreglar y hasta estaremos mejor. Pero ahora es un momento peligroso.

P. ¿Qué le parece el reglamento europeo de la IA?

R. Me parece un buen primer paso. De todas formas, quizás se ha sido demasiado permisivo con la IA generativa. Por ejemplo, ChatGPT y otras herramientas similares son modelos de lenguaje. Su virtud es escribir texto que parezca humano, no escribir texto verdadero. Sin embargo, las compañías nos las están vendiendo como tal. ¿Podemos estar seguros de que poniendo un mensaje que diga “generado por IA” sea suficiente? Por increíble que parezca, la gente pregunta a ChatGPT cosas como a qué partido debe votar en las próximas elecciones, si debe contratar a tal persona o qué medicamento tomar si presenta tales síntomas. Y ya no hablemos de preguntas del estilo “No tengo ganas de vivir, ¿qué debo hacer?”. Creo que a la IA generativa se le debe exigir más. Hay temas de los que no pueden hablar y otros de los que, si pueden, se debe exigir garantías. Gran parte del debate hasta ahora se ha centrado en los derechos de autor, que también es muy importante, pero este otro debate también me parece crucial.

P. ¿Le deberíamos tener miedo a la IA?

R. No, yo creo que habría que tenerle respeto. Y deberíamos exigir como ciudadanos que los gobiernos se pongan manos a la obra y regulen esto bien. Nosotros, los consumidores, no deberíamos usar los productos o servicios que consideremos que no cumplen unos ciertos estándares. Si todos nos comportamos así, obligaremos a la industria a apostar por opciones más éticas.

Puedes seguir a EL PAÍS Tecnología en Facebook y X o apuntarte aquí para recibir nuestra newsletter semanal.