‘Terminator’ se hace bibliotecario
Un robot ha descubierto que uno de cada diez artículos científicos ha sido creado por otro robot
Para empezar, uno de cada diez papers sobre cáncer es de escasa o nula calidad. No hablamos de artículos de prensa ni de redes sociales, sino de papers, es decir, de artículos científicos revisados por pares, que son el registro de resultados que consultan los investigadores profesionales. Constituyen la información más fiable que e...
Para empezar, uno de cada diez papers sobre cáncer es de escasa o nula calidad. No hablamos de artículos de prensa ni de redes sociales, sino de papers, es decir, de artículos científicos revisados por pares, que son el registro de resultados que consultan los investigadores profesionales. Constituyen la información más fiable que existe, y que uno de cada diez sea inútil o engañoso es ya lo bastante horrible. Pero la forma en que se ha llegado a esa conclusión resulta todavía más chocante, porque el descubridor de los textos basura ha sido un robot, y el autor ha sido otro. Se trata básicamente de un conflicto entre máquinas, solo que las víctimas colaterales somos los humanos.
Un fenómeno deplorable de la publicación científica actual es el de las paper mills, o factorías de artículos basura. Los investigadores fulleros inflan así sus currículos y, como pagan por publicar, la factoría de papers se convierte con facilidad en un negocio muy lucrativo. Muchos de estos artículos son repeticiones de trabajos anteriores. Para eludir los detectores de plagio que usan las editoriales y los sabuesos de la ética científica, la inteligencia artificial (IA) que escribe las copias sustituye las frases comunes por otras que resultan extravagantes, como “consciencia falsificada” (en lugar de inteligencia artificial) o “información colosal” (en lugar de big data).
El estadístico Adrian Barnett y sus colegas de la Universidad de Tecnología de Queensland, en Australia, han desarrollado un modelo grande de lenguaje (large language model, LLM, el sistema que subyace a ChatGPT) que detecta ese tipo de frases estrafalarias en cuestión de segundos. No necesita una lista de frases sospechosas, sino que, como hacen estos sistemas, infiere una categoría, o un concepto abstracto, que las engloba a todas. El robot se llama BERT y, tras analizar 2,6 millones de papers sobre cáncer publicados este siglo, ha identificado 261.245 como creaciones de paper mills. Eso es uno de cada diez. El trabajo no ha sido aún revisado por pares, y requiere que las conclusiones del robot sean validadas por algún humano.
La producción de papers basura ha crecido como la nata hirviendo. En los artículos publicados a principios de siglo, BERT solo ha marcado un 1% como productos de una factoría. Hacia 2020 ya eran un 15%, y en 2022 alcanzaron un pico del 17%. La práctica ha declinado ligeramente en los últimos dos años. En fin, he aquí un robot policía persiguiendo a un robot estafador, como en una versión bibliotecaria de Terminator. Pero los robots no tienen cáncer, y los únicos que podemos salir perdiendo en esta pendencia somos los seres de carne. Ni los médicos ni sus pacientes tendrán interés, supongo, en que el 10% de la literatura oncológica sea una bazofia. La práctica debe ser erradicada, y bienvenido sea BERT si contribuye a ello.
La presencia de la inteligencia artificial en la práctica científica ya es muy grande y está llamada a crecer en los próximos años, por no decir meses. La semana que viene se celebrará la primera conferencia en que todos los papers y todas las revisiones por pares serán obra de robots. Organizado por la Universidad de Stanford, el evento se llama Agents4Science 2025 y tendrá lugar online el miércoles 22 de octubre. Los participantes serán humanos, desde luego, pero los papers tienen que estar generados por una inteligencia artificial.
Por el momento, Agents4Science se plantea como un experimento para poner a prueba distintos protocolos de presentación de artículos y de revisión por pares. La expresión “por pares” se suele referir a otros científicos del mismo campo, pero esta vez serán robots, al igual que los autores. Las máquinas no pueden firmar papers por el momento, aunque tal vez esto no tarde en cambiar, como tantas otras cosas que hasta ahora eran nuestro coto privado.