Una alucinación se mira en el espejo

Hay una nueva palabra en la literatura técnica que tal vez nos convenga aprender. Es “epistemia”, y significa una ilusión de conocimiento que emerge cuando la verosimilitud sustituye a la verificación. Esto es justo lo que nos pasa con ChatGPT y los demás modelos grandes de lenguaje (large language models, LLM), que nos dan la falsa impresión de haber entendido las cosas. Nos parece que saben cuando solo fingen que saben. O eso creemos, ¿no?, porque un psicólogo conductista podría objetar que, si parece que saben, es que saben. Los conductistas son fans de la caja negra y, por tanto, sostienen que solo podemos saber lo que le metemos a una mente y lo que la mente nos devuelve, el input y el output, la entrada y la salida, pero lo que ocurre dentro del cerebro es una caja negra incognoscible. Esto es una idea anticuada, y ni siquiera era correcta cuando estaba de moda.

Hay una mística de la mente, y esto afecta tanto al cerebro humano como a ChatGPT. En ambos casos podemos decir como el psicólogo conductista que, si parece que saben, es que saben, pero ¿qué queremos decir con eso? Por ejemplo, puedes pensar que Kepler entendió la gravedad, puesto que los planetas que observaba, incluido éste en el que habitamos, giraban en torno al Sol. O puedes pensar que fue Newton quien la entendió, porque descubrió las ecuaciones que rigen esos movimientos. O tal vez fue Einstein, que se dio cuenta de que la materia le dice al espacio cómo curvarse, y de que el espacio le dice a la materia cómo moverse.

Con todo, lo más probable es que entender la gravedad le esté reservado a algún físico del futuro que se reirá de nuestra vanidad intelectual. Igual que tú y yo creemos entender las cosas, estamos dispuestos a creer que ChatGPT también las entiende, pero lo cierto es que en ninguno de los dos casos tenemos una idea muy clara de lo que entendemos por entender. ¿Cuántas ecuaciones hay que escribir para entender algo? ¿Cuántas conexiones con otros ámbitos del conocimiento es preciso establecer? O quizá la cuestión no es cuántas, sino de qué tipo.

Algún día será posible comparar las resonancias magnéticas de dos alumnos y distinguir cuál de ellos ha entendido un concepto y cuál solo finge haberlo entendido. Mientras llega ese día, podemos –y seguramente debemos— intentar hacer lo mismo con ChatGPT. Estoy diciendo ChatGPT como antes se decía La Casera para significar cualquier gaseosa, pero me refiero a los modelos grandes de lenguaje (LLM) en general, espero que Sam Altman me perdone por abusar de su marca, ahora que se ha convertido en un empresario normal, o sea, orientado a ganar pasta, básicamente.

Walter Quattrociocchi y sus colegas de la Universidad de La Sapienza, en Roma, han comparado a seis LLM con evaluaciones de humanos expertos sobre una variedad de temas relacionados con el filtrado de información y la asesoría, que son asuntos que requieren un entendimiento, en algún sentido de este término. Sus resultados indican que los LLM basan sus resultados en asociaciones léxicas y principios estadísticos, y no en razonamientos contextuales ni criterios normativos. Eso es lo que llaman “epistemia”, un modelo que genera una ilusión de conocimiento sin tenerlo realmente. Parece saber, pero no sabe.

Se cuenta que alguien preguntó a un buscador cuántas piedras era bueno comer, y que la máquina le respondió: “No debes comer más de una piedra al día”. ¿Puede contar eso como moderación? ¿Puede contar siquiera como apariencia de moderación? Lo más curioso es que la respuesta es correcta: no hay que comer más de una piedra al día. Lo que no se le ocurrió es que cero piedras es una respuesta aún mejor.