Más de la mitad de los estudios en psicología no se pueden repetir

A principios de 2011, el psicólogo social holandés Diederik Stapel publicó en la prestigiosa revista Science un artículo con resultados llamativos: los entornos desordenados favorecen los estereotipos y la discriminación. Pocos meses después, una investigación encabezada por Pim Levelt, antiguo presidente de la Academia Holandesa de Ciencias, concluyó que Stapel se había inventado los resultados de su trabajo, desde la recopilación de datos hasta las encuestas que apoyaban sus conclusiones. No era la primera vez que lo hacía y, poco a poco, decenas de artículos del mismo autor fueron retirados por las revistas que los habían publicado. Estudios que aseguraban que a veces el fracaso hace sentir mejor, que los anuncios de belleza hacen sentir feas a las mujeres o que el poder hace más probable la infidelidad, eran fruto de la mente de un trilero y no de un trabajo científico honesto. En una entrevista con The New York Times, el investigador holandés trató de explicar sus motivos. Él amaba la psicología social, pero siempre se había sentido frustrado por el caos de los datos obtenidos en los experimentos, con los que era raro llegar a conclusiones claras. Su obsesión por la elegancia y el orden le había llevado a inventar resultados atractivos que gustaban en las revistas científicas. Este tipo de escándalos, que también se han producido en otros campos, pero preocupan especialmente en la ciencia psicológica, iniciaron un debate sobre la validez de los controles en este campo de la ciencia.

En un estudio, el 33,7% de los científicos reconoció prácticas reprobables

Aunque casos como el de Stapel son extremos, la selección de datos para mostrar resultados más atractivos y más fáciles de colocar en las revistas científicas es frecuente. En un artículo que se publicó en 2009 en la revista PLoS One, Daniele Fanelli, de la Universidad de Edimburgo, revisó una serie de estudios en los que se preguntaba a los investigadores si ellos o sus colegas había manipulado sus propias investigaciones para adaptarlos a sus intereses. Los resultados mostraban que un 1,97% de los científicos explicaba que había inventado, falsificado o modificado datos o resultados al menos en una ocasión, y el 33,7% reconocía otras prácticas reprobables aunque menos graves. Cuando se les preguntaba por el comportamiento de los compañeros, hasta un 14,1% afirmaba conocer casos de falsificación de datos y un 72% decía haber sido testigo de otros actos cuestionables.

Este tipo de actitudes, alimentadas por la presión por publicar sus investigaciones, han sembrado dudas sobre la posibilidad de replicar estudios en psicología, algo fundamental para que se la considere una ciencia seria. Los propios investigadores no tienen incentivos para ser fieles del todo a los datos ni para tratar de repetir los resultados de sus colegas, lo que provoca un círculo vicioso. Las revistas científicas prefieren resultados distintos y sorprendentes frente a trabajos que repliquen otros ya conocidos, y todos estos factores facilitan que la mala conducta o las pequeñas triquiñuelas pasen desapercibidos.

Afrontar el problema

Esta semana, en la revista Science, la misma que publicó el estudio fraudulento de Stapel, se publica el mayor trabajo conjunto para replicar estudios científicos en psicología. Un grupo de 270 investigadores de todo el mundo intentó repetir los resultados de 100 artículos relevantes en la materia. Pese a contar con la colaboración de los propios autores para conocer su metodología y las condiciones en las que obtuvieron sus resultados, solo fue posible obtenerlos de nuevo en un 39% de los casos. En algunos casos, los resultados obtenidos fueron los contrarios a los de la investigación de referencia. Según comentan los autores del trabajo, liderados por Brian Nosek, investigador de la Universidad de Virginia (EE UU), que no fuese posible replicar los resultados de un estudio no significa necesariamente que sean erróneos, pero son una señal de que se han de realizar cambios para facilitar que se pueda hacer.

Los incentivos favorecen la búsqueda de trabajos innovadores aún a costa de que se puedan reproducir

En un artículo que también aparece en Science, el biólogo y periodista John Bohannon, especializado en cuestionar los controles de calidad a los que se someten los artículos científicos, afirma que “estos resultados apoyan la idea de que los científicos y los editores de las revistas científicas están sesgados -conscientemente o no- en lo que publican”. Además, señala que, incluso en los artículos que pudieron ser replicados, los efectos observados eran mucho menos claros que en los experimentos originales.

“Los científicos quieren producir conocimiento fiable, pero también necesitan producir resultados que les ayuden a mantener su trabajo como investigadores”, ha afirmado Nosek, que forma parte de una iniciativa para mejorar el problema que muestran en su artículo. “Para tener éxito en la ciencia, los investigadores necesitan publicar, y algunos resultados son más fáciles de publicar que otros, en particular aquellos que son novedosos y apuntan en direcciones nuevas y emocionantes”, continúa. Por este motivo, muchos científicos prefieren perseguir líneas de investigación novedosas sin tener tanto en cuenta que sus resultados sean reproducibles. En casos extremos, la falta de incentivos para ser fiel a los datos caóticos que suelen surgir del trabajo científico produce fenómenos como el de Stapel.