Contra la perversión del sistema de evaluación de la ciencia

Es bien sabido que la investigación es el principal motor del progreso económico y social; pero debe funcionar correctamente para que nos permita realmente mejorar nuestras vidas. Desafortunadamente, hay evidencias claras que indican la necesidad de reparar algunos aspectos sustanciales de la misma como son la falta de una financiación adecuada, la escasa importancia que se concede en nuestro país a la investigación interdisciplinar, la necesidad de un pacto de estado en investigación, la evaluación de los investigadores y la atracción y retención de talento. En este artículo nos centraremos en estos dos últimos aspectos: evaluación y talento.

En España, la investigación de los investigadores, de los profesores universitarios, y de los que aspiran a serlo, se evalúa casi exclusivamente basándose en criterios bibliométricos. Es decir, con una contabilidad del volumen de publicaciones, citas y otras medidas de naturaleza numérica. Pero, salvo excepciones, se excluye la evaluación por pares. Es decir, que expertos en el tema emitan juicios bien argumentados sobre las contribuciones más relevantes de los investigadores al avance en el conocimiento.

Los defensores del uso de criterios de evaluación bibliométricos argumentan que son más “objetivos” y menos costosos que la evaluación por pares. La medida clave aquí es el llamado factor de impacto de las revistas donde los investigadores publicamos nuestros resultados. Este factor se calcula para cada revista de la forma siguiente: cada año, el factor de impacto de una revista es el resultado de dividir el número total de citas que han recibido los artículos de esa revista en los dos años anteriores, entre el número de artículos publicados en dicha revista durante esos dos años.

La realidad es que estas medidas indirectas no son adecuadas para evaluar las aportaciones científicas de los investigadores. Un estudio de Philip Campbell, entonces editor de Nature (ver “Escape from the impact factor”, Nature Vol. 8, 2008) reveló que las tres cuartas partes de los artículos publicados en esta prestigiosa revista no contribuyen al cálculo del factor de impacto de la revista. De hecho, el 80% de los artículos que se publican en Nature en un año dado reciben menos de 20 citas a lo largo de los siguientes dos años.

Por otra parte, es sabido que hay editores de revistas que, durante el proceso de revisión, piden a los autores de un artículo que citen a otros artículos recientemente publicados en la misma revista. De esta forma consiguen subir artificialmente el impacto de la revista.

En definitiva, se puede afirmar que el hecho de publicar un artículo en una revista de alto impacto no significa en absoluto que dicho artículo sea una contribución científica de alta calidad. Habría que analizar detalladamente la relevancia de las citas recibidas por el artículo en cuestión y el motivo de dichas citas, ya que un artículo puede recibir muchas citas por el hecho de contener resultados erróneos. El ejemplo más conocido es un artículo que aparentemente demostraba que la fusión nuclear era posible a temperatura ambiente.

Malas praxis

Medir la producción académica al peso ha traído consigo un buen número de trucos característicos de la picaresca tan común en nuestro país. Algunos ejemplos de mala praxis pueden ser los siguientes.

Un investigador puede incrementar sus números haciendo un pacto de publicación con otros, que aparecerán como coautores en sus artículos, a cambio de aparecer como coautor en los artículos de los otros. Este acuerdo también se extiende a las citas recíprocas.

El conocido clickbait, es decir, artículos con títulos capaces de llamar la atención de otros investigadores por el hecho de tratar un tema de moda, aunque dichos artículos sean aportaciones sin interés. Otra estrategia consiste en escribir artículos que resuman el estado del arte de un campo (artículos de survey), pues es más probable que reciban más citas que artículos conteniendo aportaciones originales.

Otras veces se opta por dividir un resultado científico en trozos que no excedan la mínima unidad publicable. Este truco también se conoce como publicación salami. Esto aumenta artificialmente el número de citas y de publicaciones.

En EL PAÍS, así como en otros medios de comunicación, recientemente se han publicado diversas noticias que dan cuenta de algunas de estas malas prácticas que pervierten el sistema de evaluación y que llegan a casos extremos como publicaciones de artículos, de una o dos páginas y nula relevancia científica, conteniendo centenares de autocitas sin relación con el contenido de dichos artículos. Nuestro compañero José Luis Verdegay también publicó recientemente un magnífico artículo sobre este aspecto (“Productividad y calidad científica: ¿dos caras de una misma moneda?”, Universidad 02/04/2024)

¿Qué se debería hacer?

Una idea razonable para acercarnos a una medición más fiel de la calidad de la producción científica consiste en utilizar criterios que internacionalmente funcionan en los países científicamente más avanzados. Por ejemplo, la Declaration on Research Assessment (DORA, San Francisco, 2013), el Joint Statement of Informatics Research Evaluation (Informatics Europe, 2020) o la Declaración de Málaga de la Sociedad Científica Informática de España (SCIE, 2020). En todos estos casos se insiste en que la evaluación debe incluir la evaluación por pares de las contribuciones científicas, analizando con detalle las aportaciones más allá del denominado “estado del arte”. Es decir, más allá del conocimiento actual sobre la materia motivo de investigación, así como las posibilidades de que dichas contribuciones sean útiles para que otros investigadores obtengan más y mejores resultados, de acuerdo con la famosa frase de Isaac Newton: “Si he logrado ver más lejos ha sido porque me he subido a hombros de gigantes”.

Pero, sobre todo, estos métodos de evaluación necesitan estar complementados por algo que parece obvio: la responsabilidad de quien usa la evaluación para tomar decisiones.

Las consecuencias de esta manera de evaluar

Queremos destacar las consecuencias negativas del sistema actual para marcar la meta que debemos perseguir los investigadores para progresar en la carrera profesional. Buscamos dar razones para cambiar las cosas.

En demasiados casos, los esfuerzos se centran en producir artículos con la finalidad de que acumulen citas; no necesariamente que sean importantes en algún aspecto. Hemos comprobado que este sinsentido es una realidad. Como consecuencia de señalar esta meta, muchos de los jóvenes que inician su carrera científica se ven tentados a sumarse a este juego de las citas. Lamentablemente, la mayoría de las veces no son llamados a participar en investigaciones interesantes que supongan un reto intelectual con el que crecer como investigadores. El resultado es que las jóvenes promesas con más talento se fugan a otros lugares lejos del sistema académico de investigación español. Esto es especialmente grave y habitual en nuestro campo, la Inteligencia Artificial, pues hay muchos reclamos de otros países o de empresas privadas ofreciendo mejores recursos y condiciones salariales.

La fuga de talento frustra nuestras opciones de crecimiento. En cierto sentido, se destruye la ilusión que habíamos depositado en un futuro que las nuevas generaciones debían protagonizar. Nuestros egresados necesitan perspectivas de progreso de su carrera profesional que motiven su interés en ser parte esencial de nuestro sistema de I+D+I. Es fundamental ofrecer contratos estables y condiciones laborales dignas, incluyendo salarios competitivos que reconozcan el valor de su trabajo. La publicación, sin más, de material potencialmente citable no debería ser un elemento a tener en cuenta para atraer talento. En definitiva, la atracción y retención del talento investigador en España exige un cambio de paradigma en la gestión del conocimiento generado.

No queremos acabar estas líneas sin apuntar alguna vía de solución a la atracción y retención de talento. Poco original quizás. Sugerimos mirar a los sistemas que siguen países de nuestro entorno y que han tenido éxito. Por ejemplo, el modelo británico. Allí, la financiación de los centros de investigación y departamentos universitarios depende de evaluaciones externas por pares y el resultado de las evaluaciones repercute en los salarios de los investigadores, incluidos los jóvenes doctorandos. Por tanto, la responsabilidad de los gestores para hacer crecer a las instituciones incluye medidas no solo para retener talento, sino también para atraerlo. Aparte de las condiciones salariales, la pieza clave es también la capacidad para ilusionar a los jóvenes con la calidad de la docencia y de los proyectos de investigación.

Dejamos en el tintero muchas preguntas importantes. Por ejemplo, ¿es deseable que haya universidades donde la investigación no sea un objetivo prioritario? ¿Debería financiarse con fondos públicos la investigación en grandes empresas del sector privado? Estos y otros aspectos deberían ser objeto de debate si queremos que un sistema de I+D+I de calidad comparable a la de los países científicamente más avanzados.

Puedes seguir a MATERIA en Facebook, X e Instagram, o apuntarte aquí para recibir nuestra newsletter semanal.