Un descubrimiento irrepetible

Es probable que el lector haya oído hablar de los premios IgNobel (juego de palabras entre los premios Nobel y la palabra inglesa ignoble (innoble), una iniciativa mordaz de los chicos de Harvard donde las investigaciones más grotescas del año pugnan por recibir su merecido. Pero la decana de las revistas satíricas de este género es The Journal of Irreproducible Results (la comicidad se pierde al traducirlo al español, y por otra parte no hace falta), fundada en 1955 y fuente desde entonces de risión e inspiración para científicos y gente normal. En ciencia solo hay una cosa peor que un resultado falso, y es un resultado irreproducible. Del primero sabes que es mentira. Del segundo, ni eso.

En ciencia solo hay una cosa peor que un resultado falso, y es un resultado irreproducible

La necesidad irrenunciable de que los resultados científicos sean reproducibles es una de las grandes causas de que los papers (los artículos técnicos) suelan ser unos ladrillos ilegibles. “Escríbelo para que lo entienda mi abuela” es una cosa. “Escríbelo para que lo reproduzca mi abuela” es justo la contraria. Ahí tiene que estar todo: cómo elegiste tu muestra de población y por qué, qué sesgos puede incorporar sin que te hayas dado cuenta, qué operadores estadísticos has elegido, a quién le has comprado los reactivos y con qué farmacéuticas tienes algún interés compartido. Todo lo necesario para que los demás científicos puedan reproducir tus resultados tiene que estar ahí, allanando tu futuro pero arruinando tu prosa. Un resultado irreproducible no es ciencia, sino rumor.

Pero eso es solo la teoría. En la práctica, los científicos que dedican su tiempo a reproducir los resultados de los demás son muy raros, en el sentido de infrecuentes. Por supuesto, si inventas una técnica rompedora que aumentará en órdenes de magnitud la eficacia de una técnica que utiliza todo el mundo, todo el mundo se tirará encima de tu protocolo un minuto después de que lo publiques. Pero el resto de la producción científica –el 100%, redondeando un poco— pasará inescrutada por el filtro tupido de la confianza general. Nadie intentará reproducirlo, y por tanto nadie comprobará si es ciencia o rumor.

Es obvio que algo va mal. Tan mal como que la mitad de la psicología publicada no es ciencia

O así era hasta ahora. Un esfuerzo inédito y loable, llamado Proyecto Reproducibilidad, se ha tomado en serio el asunto y ha empezado a plantear, e identificar, una serie de –graves— problemas del sistema. En la entrega actual, 270 científicos han intentado reproducir 100 experimentos publicados en los mejores journals de psicología experimental, y solo han conseguido reproducir la mitad. Nadie dice que eso sean exactamente “fraudes científicos” –yo tampoco—, pero es obvio que algo va mal. Tan mal como que la mitad de la psicología publicada no es ciencia. ¿No creen que esto es un problema?