La caja negra de la IA que se resiste a los investigadores

Cuando una red neuronal se ejecuta ni los investigadores más especialistas saben qué está ocurriendo. Y no hablamos de biología sino de un algoritmo de inteligencia artificial —aquellos basados en aprendizaje profundo— que por imitar las conexiones entre neuronas se denominan así. Este tipo de sistemas mantienen una caja negra indescifrable para los científicos de datos, las mentes más brillantes de la academia o los ingenieros de OpenAI y Google, y acaban de recibir el premio Nobel.

Las matemáticas que sirven de fundamento a estos algoritmos se comprenden bien. Pero no así los comportamientos que genera la red. “Aunque sabemos qué datos entran en el modelo y cuál es la salida, es decir, el resultado o la predicción, no podemos explicar de manera clara cómo se llegó a esta salida”, señala Verónica Bolón Canedo investigadora de IA en el Centro de Investigación en Tecnoloxías da Información e as Comunicacións da Universidade da Coruña.

Esto sucede con ChatGPT, Google Gemini, Claude (el modelo de la startup Anthropic), Llama (el de Meta) o cualquier generador de imágenes como Dall-E. Pero también con todo sistema basado en redes neuronales, en aplicaciones de reconocimiento facial o motores de recomendación de contenido.

Otros algoritmos de inteligencia artificial, como los árboles de decisión o la regresión lineal, empleados en medicina o economía, sí son descifrables. “Sus procesos de decisión pueden interpretarse y visualizarse fácilmente. Se pueden seguir las ramas del árbol para saber exactamente cómo se llegó a un resultado determinado”, indica Bolón.

Esto es importante porque inyecta transparencia al proceso y, por tanto, ofrece garantías a quien utiliza el algoritmo. No en vano, el Reglamento de IA de la UE insiste en la necesidad de tener sistemas transparentes y explicables. Y esto es algo que la propia arquitectura de las redes neuronales impide. Para entender la caja negra de estos algoritmos hay que visualizar una red de neuronas o nodos conectados entre sí.

“Cuando metes un dato en la red quiere decir que empiezas a calcular. Disparas los cálculos con los valores que hay en los nodos”, apunta Juan Antonio profesor de investigación en el Instituto de investigación de Inteligencia Artificial del CSIC. La información entra en los primeros nodos y de ahí se propaga, viajando en forma de números a otros nodos, que a su vez la rebotan a los siguientes. “Cada nodo calcula un número, que envía a todas sus conexiones, teniendo en cuenta el peso (el valor numérico) de cada conexión. Y los nuevos nodos que lo reciben calculan otro número”, añade el investigador.

Hay que tener en cuenta que los modelos de deep learning (aprendizaje profundo) actuales tienen miles o millones de parámetros. Estos indican el número de nodos y de conexiones que tiene la red después de haber sido entrenada y, por tanto, todos los valores que pueden influir en el resultado de una consulta. “En las redes neuronales profundas hay muchísimos elementos que se multiplican y se combinan. Esto hay que imaginárselo en millones de elementos. Es imposible sacar de ahí una ecuación con sentido”, asevera Bolón. La variabilidad es altísima.

Algunas fuentes de la industria han estimado que GPT-4 tiene casi 1,8 billones de parámetros. Según esta tesis, para cada idioma utilizaría unos 220.000 millones de parámetros. Esto significa que hay 220.000.000.000 variables que pueden impactar en la respuesta del algoritmo cada vez que se le pregunta algo.

A la caza de sesgos y otros problemas

Debido a la opacidad de estos sistemas es más difícil corregir sus sesgos. Y la falta de transparencia genera desconfianza a la hora de usarlos, sobre todo en ámbitos delicados, como la atención médica o la justicia. “Si entiendo lo que hace la red puedo analizarla y predecir si va a haber errores o problemas. Es una cuestión de seguridad”, advierte Rodríguez Aguilar. “Querría saber cuándo funciona bien y por qué. Y cuándo no funciona bien y por qué”.

Los grandes nombres de la IA son conscientes de esta carencia y trabajan en iniciativas para tratar de entender mejor cómo funcionan sus propios modelos. El enfoque de OpenAI consiste en usar una red neuronal para observar el mecanismo de otra red neuronal con el fin de comprenderlo. Anthropic, la otra startup puntera y cuyos fundadores provienen de la anterior, estudia las conexiones que se forman entre los nodos y el circuito que se genera al propagarse la información. Ambas buscan elementos más pequeños que los nodos, como los patrones de activación de estos o sus conexiones, para analizar el comportamiento de una red. Acuden a la mínima expresión con la intención de escalar el trabajo, pero no es fácil. “Tanto OpenAI como Anthropic intentan explicar redes mucho más pequeñas. OpenAI intenta entender las neuronas de GPT-2, porque la red de GPT-4 es demasiado grande. Tienen que empezar con algo mucho más pequeño”, aclara Rodríguez Aguilar.

Descifrar esta caja negra tendría beneficios. En los modelos de lenguaje, los algoritmos más populares en estos momentos, se evitarían razonamientos equivocados y se limitarían las famosas alucinaciones. “Un problema que potencialmente podrías resolver es que muchas veces los sistemas dan respuestas inconsistentes. Ahora se funciona de una manera muy empírica. Como no sabemos interpretar la red, se hace un entrenamiento lo más exhaustivo posible y, si funciona bien el entrenamiento y se pasa el test, se lanza el producto”, explica Rodríguez Aguilar. Pero este proceso no siempre sale bien, como quedó claro en el lanzamiento de Google Gemini, que al principio generaba imágenes de nazis con rasgos asiáticos o vikingos negros.

Este vacío de información sobre cómo funcionan los algoritmos también estaría en consonancia con las aspiraciones legislativas. “El Reglamento europeo de la IA exige que los desarrolladores proporcionen explicaciones claras y comprensibles sobre cómo funcionan los sistemas de IA, especialmente en aplicaciones de alto riesgo”, incide Bolón, aunque matiza que los sistemas se podrán usar si los usuarios reciben explicaciones suficientes sobre las bases de las decisiones que toma el sistema.

Rodríguez Aguilar coincide en que hay herramientas para poder explicar los resultados del algoritmo, aunque no se sepa exactamente qué ocurre durante el proceso. “Pero lo más preocupante, más que la explicabilidad y la transparencia, para mí es el tema de la robustez, que los sistemas sean seguros. Lo que se busca es identificar circuitos en la red que puedan no ser seguros y den lugar a comportamientos que no sean seguros”, destaca.

El objetivo final es mantener bajo control a la IA, sobre todo cuando se utilice en cuestiones sensibles. “Si vas a colocar una IA que sugiera tratamientos en un hospital, que dirija un vehículo autónomo o que dé recomendaciones financieras, hay que estar seguros de que funciona”. De ahí la obsesión de los investigadores por entender qué ocurre en las tripas de un algoritmo. Va más allá de una curiosidad científica.