La ciencia vive una epidemia de estudios inservibles

Hace siglos, a Newton o a Galileo no les bastaba con hacer descubrimientos capaces de cambiar la historia. Debían además repetir sus experimentos delante de todos sus colegas, y estos, a su vez, los repetían por su cuenta antes de quedar completamente convencidos. Este principio de reproducibilidad ha sido fundamental para el avance de la ciencia desde entonces. En la actualidad, esa garantía esencial se está perdiendo, y pone en entredicho la validez de muchos estudios en casi todas las disciplinas.

El principio de reproducibilidad ha sido fundamental para el avance de la ciencia. En la actualidad, esa garantía esencial se está perdiendo

Un grupo de investigadores de EE UU, Reino Unido y Holanda firma hoy un manifiesto para que la ciencia recupere parte de esa credibilidad y fiabilidad perdida. El principal autor del documento es el médico e investigador de la Universidad de Stanford (EE UU) John Ioannidis. Desde hace años, él es uno de los pioneros de la llamada “metaciencia”, una disciplina que analiza el trabajo de otros científicos y comprueba si se están respetando las reglas fundamentales que definen la buena ciencia.

Según un análisis, resalta el manifiesto, el 85% de los esfuerzos dedicados a investigación biomédica “se acaban desperdiciando”. “Se trata de estudios que no llegan a aplicarse nunca en la clínica o que lo hacen de una forma negativa, y también muchos otros que se abandonan en etapas muy tempranas”, explica Ioannidis. “La mayor parte de las veces los experimentos no están bien diseñados”, denuncia el investigador. “Por ejemplo, solo entre el 10% y el 20% de todos los estudios con animales están aleatorizados para evitar los sesgos” inconscientes de los científicos, resalta. En el caso de los ensayos clínicos con pacientes, “solo el 5% sigue todos los pasos correctamente”, denuncia. El problema afecta a “casi cualquier disciplina de la ciencia”, asegura.

Estudios invalidados

En 2013, el médico de Stanford publicó un estudio que afirmaba que hasta el 95% pueden ser falacias sin rebatir. Otra revisión reciente invalidó miles de estudios de neurociencia basados en una técnica de resonancia magnética. Según los investigadores, no solo los científicos son responsables, sino también las universidades, las poderosas revistas científicas que publican los estudios, las agencias financiadoras y el resto de actores del sistema, asegura.

Una reciente encuesta realizada por Nature desveló que el 90% de los científicos reconoce que hay una crisis de reproducibilidad en la ciencia. En parte se debe a que la forma de producir conocimiento en la actualidad ha cambiado tanto que sería casi irreconocible para los grandes genios de hace unos siglos. “Antes se analizaban los datos en bruto, los autores iban a las Academias a reproducir sus experimentos delante de todo el mundo, pero ahora esto se ha perdido porque los estudios se basan en seis millones de folios de datos brutos”, opina Ioannidis. Uno de sus análisis demostró que la mayoría de estudios no da acceso a los datos brutos en los que se basan las conclusiones. Al final, los científicos “se creen lo que ven, pero no hay forma de comprobar que es cierto, y además no podemos usar esos datos posteriormente porque se han esfumado”, resalta. Esta falta de transparencia es uno de “los mayores retos” que afronta la ciencia, asegura el médico.

El manifiesto también denuncia que solo se publican estudios con datos nuevos, significativos estadísticamente y que apoyan una teoría determinada. Muchos de ellos no aportan nada valioso o, peor aún, acaban sustentando con la estadística interpretaciones preconcebidas que no son ciertas. “Esto, lamentablemente, no es descubrimiento científico, sino autoengaño”, y puede multiplicar la cantidad de “falsos positivos”, resalta el texto.

El Manifiesto por una ciencia reproducible, publicado hoy en abierto en Nature Human Behaviour, propone una serie de medidas para evitar malas prácticas en todas las fases de una investigación. Publicar los datos brutos y los estudios con resultados negativos es uno de los pasos más importantes, señala Ioannidis. En general, el métiodo científico sigue funcionando y de lo que se trata es de "volver a sus principios básicos", explica.

Conocimientos "de andar por casa"

“O ponemos freno a esta pérdida en la reproducibilidad de los resultados científicos o nos cargaremos todo el prestigio y credibilidad que, de momento, la clase científica parece tener acumulada”, alerta Lluis Montoliu, investigador del Centro Nacional de Biotecnología (CNB), involucrado en iniciativas para promover la integridad científica. “Este es un tema tremendamente importante”, dice, “debería ser obligatorio para todos los estudiantes de doctorado”.

En el caso de los ensayos clínicos con pacientes, “solo el 5% sigue todos los pasos correctamente”, denuncia el autor principal del estudio. El problema afecta a “casi cualquier disciplina de la ciencia”

Juan Lerma, investigador del Instituto de Neurociencias de Alicante, reconoce que muchos científicos tienen un conocimiento estadístico “de andar por casa”. “Yo soy editor de la revista Neuroscience, recibo unos 2.000 estudios al año, y veo una deficiencia general en cómo tratan los datos estadísticos”, reconoce. Lerma apunta a otra causa de la actual crisis. “Se publican demasiados estudios y demasiado deprisa”, señala. “Hace falta una reflexión general sobre el exceso de publicación y las presiones por sacar estudios, las universidades miden los resultados al peso, y eso es un error”, resalta.

Lerma reconoce que el problema para reproducir estudios está “generalizado”, aunque eso no quiere decir que los trabajos estén mal. Su equipo descubrió unos nuevos neurotransmisores en el hipocampo, la parte del cerebro que controla la memoria, pero pasaron cinco años antes de que otro equipo pudo identificarlos por su cuenta, confirmado el hallazgo, explica. “El problema es que muchos de los resultados actuales requieren unas técnicas muy complejas” que muy poca gente aprende a dominar.

Parte de la culpa, cree Montoliu, es de las revistas. “No hay que olvidar el papel cómplice de determinados grupos editoriales, frecuentemente de revistas top, que prefieren publicar resultados inesperados, novedosos, espectaculares, que generan mucho ruido e impacto, antes de asegurarse y verificar sistemáticamente la fiabilidad de los mismos”, explica. Algunas instituciones en España ya están tomando medidas para aplacar la crisis a la que hacen referencia los firmantes del manifiesto, explica Montoliu. Por ejemplo, se han incorporando profesionales de estadística a los comités de ética del CNB y del propio CSIC, el mayor organismo de investigación pública del país, asegura.