Una revisión invalida miles de estudios del cerebro

Imagine que el Word de Microsoft, uno de los editores de texto más populares del mundo, tuviera un fallo de programación que genera letras donde los usuarios teclean un espacio. Suponga también que algunos mecanógrafos están escribiendo a ciegas, sin revisar lo que teclean. Y que llevaran 15 años generando documentos con erratas y falsas letras donde debería quedar un blanco. Eso es lo que ha ocurrido durante lustros en la investigación de la actividad cerebral: un fallo del software que lee las resonancias magnéticas de la materia gris deja en entredicho miles de trabajos científicos realizados este siglo. Porque además, según una investigación que acaba de publicarse, muchos investigadores no fueron rigurosos revisando y corrigiendo sus resultados en busca de borrones.

Esperaban un 5% de falsos positivos y en algunos casos dieron con un 70% de situaciones en las que el programa iluminaba una región en la que no pasaba nada

La imagen por resonancia magnética funcional (fMRI, por sus siglas en inglés) es el método más extendido para estudiar el esfuerzo que realiza una región determinada del cerebro cuando se le asigna una tarea. La fMRI detecta qué zonas están reclamando más energía del flujo sanguíneo gracias al oxígeno que transporta. El resultado son esos mapas en 3D de la materia gris con unas zonas iluminadas. Y los científicos nos dicen: esa es la parte de tu cabeza que se activa cuando comes chocolate, cuando piensas en Trump, cuando ves películas tristes, etc.

Ahora, un equipo de científicos liderados por Anders Eklund ha destapado que muchas de esas zonas se pudieron iluminar por error, por un fallo del software y el escaso rigor de algunos colegas. En su estudio, publicado en PNAS, cogieron 500 imágenes del cerebro en reposo, las que se usan como punto de partida para ver si a partir de ahí el cerebro hace algo. Usaron los programas más comunes para realizar tres millones de lecturas de esos cerebros en reposo. Esperaban un 5% de falsos positivos y en algunos casos dieron hasta con un 70% de situaciones en las que el programa iluminaba una región en la que no pasaba nada, dependiendo de los parámetros.

Este estudio ha sido como el niño que grita que el emperador está desnudo: ya se había denunciado que algunas de estas resonancias carecen de fortaleza estadística y que se estaban sobrevalorando

Estos programas dividen el cerebro humano en 100.000 voxels, que son como los píxeles de una foto en versión tridimensional. El software interpreta las indicaciones de la resonancia magnética e indica en cuáles habría actividad, a partir de un umbral que en muchos casos ha sido más laxo de lo que debiera, propiciando falsos positivos. Además, los autores de la revisión analizaron 241 estudios y descubrieron que en el 40% no se habían aplicado las correcciones de software necesarias para asegurarse, agravando el problema de los falsos positivos.

El revuelo ha sido sobresaliente en el campo de la neuroimagen, aunque se está matizando la dimensión del problema. Inicialmente, Eklund y su equipo cuestionaban la validez de unos 40.000 estudios. Ahora han anunciado una corrección: Thomas Nichols, otro de los autores del estudio, calcula que son solo unos 3.500 los trabajos que serían papel mojado. Pero es imposible saber cuáles son o cuántos exactamente. Hay tres lustros de ciencia con una sombra de duda sobre ellos.

En realidad, este estudio ha sido como el niño que grita que el emperador está desnudo en el cuento de Andersen: en numerosas ocasiones se había denunciado que algunas de estas resonancias carecen de fortaleza estadística y que se estaban sobrevalorando. "Esto ya se sabía. Hace 20 años que se había alertado de este problema. Y encima se ha ido haciendo más y más laxo el trabajo en este campo, con los resultados que ahora vemos", lamenta Bryan Strange, director del departamento de neuroimagen de la Fundación CIEN (Centro de Investigación de Enfermedades Neurológicas). Strange considera que "tiene todo el sentido" lo que denuncia el estudio y es "muy bueno que se advierta de este peligro".

"En cierto sentido, esto puede demostrar que es un error creer que hay soluciones fáciles en ciencia: conformarse con el resultado sin saber cómo funciona", critica Canals

Santiago Canals, del Instituto de Neurociencias, sí considera "sorprendente" que un paquete de software tan consagrado y popular tuviera un error sin detectar durante 15 años, como puso de manifiesto el estudio. No obstante, su grupo utiliza un programa propio. Y advierte de que muchos científicos se han acercado al mundo de la neuroimagen desde otros campos sin conocer bien el proceso que estaban realizando.

"En cierto sentido, esto puede demostrar que es un error creer que hay soluciones fáciles en ciencia: conformarse con el resultado sin saber cómo funciona el proceso", critica Canals, que cree que los mejores grupos de investigación no están en entredicho, únicamente algunos trabajos que se conformaban con resultados poco robustos estadísticamente.

Estos dos especialistas coinciden en que detrás de este problema también está otro más general de la ciencia: no se están replicando los estudios, nadie está comprobando que lo que publican los demás científicos es correcto tratando de obtener los mismos resultados con los mismos métodos.

Strange también está convencido de que el impacto de esta controversia será bueno. "Se ha hecho tanto ruido que los revisores [especialistas independientes que corrigen los estudios antes de publicarse en revistas científicas específicas] van a estar al loro. Si en el pasado han dejado pasar estudios menos robustos, ya no lo van a hacer", asegura convencido. Aunque él cree que no sería difícil identificar los trabajos sospechosos: "Los que nos dedicamos a esto podemos ver muy fácil el rigor de los autores en el método del estudio". Y añade: "Quizá habría que hacerlo".