"Un estudio científico demuestra que…". ¿Seguro?

“Comer chocolate adelgaza”. “La sacarina favorece la diabetes”. “Descubren vacuna contra el sida en España”. “Un estudio demuestra que las mujeres mayores de 25 años no atraen a los hombres”. Son titulares reales de medios de comunicación que se hacían eco de investigaciones que, supuestamente, demostraban estas afirmaciones. Pero ni todos los titulares reflejan la realidad de los estudios ni todos ellos deben ser creídos a pies juntillas.

La revista Science publicó hace un año 20 consejos para entender correctamente las afirmaciones científicas, que el Cuaderno de Cultura Científica adaptó posteriormente para interpretar resultados y publicaciones de este ámbito. Pero la mayoría de las personas no se detiene a indagar en profundidad y reciben este tipo de noticias a través de grandes medios de masas y de Internet, los cuales, en ocasiones, reproducen estudios poco rigurosos o lo hacen de forma sesgada. Antes de asumir como verdad lo que nos llega por estas vías es muy recomendable tener en cuenta las siguientes consideraciones.

Titulares simplificadores

Hay que tener en cuenta que no basta un estudio aislado para darle la vuelta a un conocimiento que ha ido asentándose durante años

Los titulares tienden a simplificar la realidad y a intentar llamar la atención del lector. Esto a veces va en menoscabo del rigor. Un artículo puede explicar muy bien en qué consiste un estudio y dar muchos detalles, pero quizás su título induce a una conclusión demasiado contundente, incluso errónea. Así que conviene leer el texto entero de un artículo antes de hacerse una opinión sobre algo. También sucede que las propias piezas periodísticas (ya sean escritas o audiovisuales) tienden a simplificar los conceptos para hacerlos accesibles y atractivos, lo que en ocasiones deja en el camino matices que pueden ser muy importantes. Así que echar un vistazo al estudio original es siempre una buena opción.

Dónde está publicado

Un estudio puede ser igual de verdadero si lo publica un pequeño blog o el The New York Times. Pero si algo muy extraordinario está en el primero y no en el segundo, habría que sospechar. Y lo lógico es que la desconfianza crezca de forma directamente proporcional a lo sorprendente del estudio. Es raro que una pequeña web sea la única que consiga la noticia científica que cambiará la evolución de la humanidad. De hecho, ni siquiera los grandes medios suelen publicar primicias de descubrimientos científicos. Al contrario que los políticos, cuando un investigador completa un estudio, no se suele dirigir a la prensa para difundirlo directamente. Y convendría ser escéptico si lo hace, como advierte Robert L. Park en su libro Ciencia o vudú (editado por Grijalbo), puesto que es probable que quiera sacar un rédito comercial a un hallazgo dudoso.

¿Dónde acude el científico para dar a conocer su descubrimiento? Normalmente, antes de llegar a los medios generalistas de comunicación, un estudio será publicado en una revista científica especializada que debe ser citada en la información. No son medios tradicionales con periodistas, sino con científicos que examinan que el estudio en cuestión se haya ejecutado de forma adecuada y sea certero. Tampoco todas estas publicaciones tienen la misma fiabilidad. Una buena forma de medirla es el índice de impacto, que se basa en el número de ocasiones que los estudios de una revista son citados en determinadas publicaciones. Nature, Science y The British Medical Journal son algunas de las más prestigiosas en sus campos. Pero tampoco resultan infalibles. Uno de los errores más sonados ocurrió en 1998, con la publicación en The Lancet —una de las más reconocidas en medicina— de un estudio que sugería que la vacuna de la triple vírica causaba autismo. Con el tiempo se descubrió que se trataba de una estafa y la revista lo retiró, pero el daño causado ha sido tremendo y todavía hay quien cree en esta mentira. Además, últimamente se han oído algunas críticas de científicos a las revistas especializadas por publicar los artículos más llamativos, pero no necesariamente los mejores, como denunció el Premio Nobel de Medicina Randy Schekman. Sin embargo, hoy por hoy existen pocas alternativas fiables a estas publicaciones, así que las de más renombre siguen siendo la mejor referencia para los medios generalistas y especializados, ya que los trabajos fraudulentos o dudosos que publican son minoría.

Correlaciones engañosas

Hace un par de años muchos medios publicaban que se había demostrado que el chocolate adelgaza. Era fruto de un estudio con 1.000 personas publicado en la revista Archives of Internal Medicine. ¿Pero es realmente así? Entre quienes participaron en el experimento, efectivamente, los que tomaban cantidades moderadas de chocolate tendían a bajar su masa corporal, incluso con menos actividad física. Pero el propio documento asumía que no se podía establecer una relación de causa-efecto, y que podían influir factores como que quien está adelgazando se recompense a sí mismo comiendo este alimento de vez en cuando. Las conclusiones de la investigación apuntaban a que son necesarios estudios más amplios para determinar si existe una causalidad entre comer chocolate y adelgazar. Pero esto es algo que no alcanza a los titulares y, muchas veces, tampoco a las informaciones que nos llegan. Hay otra correlación curiosa con el chocolate: los países con más consumo son los que generan más premios Nobel. De nuevo, parece muy arriesgado establecer una causalidad entre ambos factores. Habría que estudiar qué otros influyen, como, por ejemplo, que en los territorios con más tradición chocolatera haya mejores universidades, tras lo cual también habría que preguntarse (e investigar) el porqué.

Contradicen lo que sabemos

El caso del chocolate es uno de los que contradicen lo que sabemos. Es un alimento con grasas y azúcar, sustancias que teóricamente engordan. Más allá de otras que pueda contener, como antioxidantes que hipotéticamente influyan en el metabolismo, el hecho de que el resultado sea el contrario de lo que siempre se ha estudiado con respecto al chocolate es, cuando menos, llamativo. Que un estudio contradiga los conocimientos que tenemos de algo no quiere decir necesariamente que sea falso: en ciencia se realizan nuevos descubrimientos que contradicen el saber anterior. Pero sí conviene tomar con muchas reservas todas las afirmaciones que suponen una negación del paradigma establecido; normalmente no basta un estudio aislado para dar la vuelta al conocimiento que ha ido asentándose durante años.

Hecho en animales o en personas

Los animales sirven para experimentar y son una fase importantísima de muchos los experimentos científicos anterior a los ensayos clínicos. Pero son eso, una fase. Lo que sucede en su organismo no es siempre extrapolable al de los seres humanos. En 2012, un estudio publicado en la revista Food and Chemical Toxicology afirmó que un tipo de maíz transgénico causaba tumores en ratones y, con él, muchos medios publicaron que esta variedad era cancerígena. El artículo fue desacreditado por la máxima autoridad sanitaria europea (EFSA) por diversos fallos metodológicos. Pero incluso si se hubieran sacado esas conclusiones de forma correcta, habría que tener en cuenta que los humanos no somos ratones: ni si se descubre una cura para el sida en los roedores ni si se detectan en ellos tumores por consumir diversas sustancias. Hasta que esas mismas conclusiones se extraen con personas, hay que ser muy cautelosos, por mucho que puedan dar importantes pistas.

Cuántas personas participan

No es lo mismo un estudio hecho con 10 personas que otro con 10.000. Parece obvio que si ambos presentan una correcta metodología, las conclusiones del segundo son más sólidas que las del primero. Así, el número de sujetos es un factor más que tener en cuenta a la hora de dar credibilidad a un experimento. En el caso del mencionad estudio que correlacionaba diabetes con consumo de sacarina, se trataba de un análisis hecho (además de con ratones) con siete personas que contradecía otros realizados con cientos de miles. Esto no impidió que algunos medios titularan de forma tajante las conclusiones del primero. Sería también un ejemplo de afirmación que contradice lo que sabemos.

Quién está detrás del estudio

Si el estudio está bien realizado y puede ser replicado, da igual quién lo ejecute, sea una empresa o un organismo independiente; tendrá la misma validez. Pero lo cierto es que existen muchos sesgos a la hora de ejecutar una investigación. Si una empresa publica un análisis sobre las bondades del producto que comercializa, es de esperar que los resultados sean favorables, entre otras cosas porque probablemente de lo contrario no los publicitaría. Es lo que se conoce como “falacia de la evidencia incompleta”. También es justo reconocer que la financiación de compañías privadas ha sido clave para impulsar numerosos avances en sus campos, así que el mero hecho de que sea una empresa la que financie una investigación, ni mucho menos la invalida. Pero si una marca de chocolates aparece anunciando lo mucho que adelgaza, habría que tomar con cautela la afirmación, aunque pueda ser verdadera. No era el caso del estudio mencionado al principio de estas líneas. Por cierto, este fue realizado por la Universidad de California.