Varas de medir

La financiación de las universidades depende, en buena medida, de sus resultados en investigación, no sólo a través de las subvenciones directas por este concepto sino de las indirectas, pues las universidades compiten en la captación de alumnos en base, fundamentalmente, a su reputación investigadora. De ahí que tanto los responsables de la política científica de las administraciones públicas como los dirigentes universitarios anden obsesionados con la medición de los resultados de la investigación, tanto en términos absolutos (producción) como relativos, es decir, teniendo en cuenta los recursos humanos y materiales que permiten generar dichos resultados (productividad). Analizaré brevemente las metodologías con las que se vienen elaborando los rankings de universidades a escala internacional y nacional.

La VIU podría estar en el 'ranking' de Shanghai si incorporase formalmente a algunos premios Nobel

Los rankings de calidad de las universidades del mundo más famosos son los publicados periódicamente por el Times Higher Education magazine (THM) y por la Universidad de Shanghai (US). Se basa el primero en una macroencuesta en la que cada investigador consultado proporciona una lista de las (en su opinión) 30 universidades del mundo que gozan de mejor reputación en su especialidad, mientras que el segundo se obtiene a partir de datos estadísticos de acceso público, casi todos ellos relativos a la investigación, como el número de premios Nobel en plantilla o el número de artículos publicados por sus investigadores en revistas del ISI-JCR. Los especialistas en evaluación coinciden en desdeñar ambos rankings, el del THM por la subjetividad del criterio empleado y por la dudosa representatividad de la muestra (sólo el 1% de los 190.000 encuestados contestó la última macroencuesta) y el de la US por utilizar indicadores manipulables y sesgados de producción investigadora, nunca de productividad.

Por lo que respecta a la posible manipulación de los índices, hasta la incipiente Valencian International University (VIU) podría entrar en el próximo ranking US si se le incorporasen, siquiera fuese nominalmente, los investigadores más productivos de las universidades valencianas y algunos de los Nobel que dan lustre a los premios Jaime I, quienes aceptarían gustosamente declararse miembros a tiempo parcial de esta fantasmal institución por bastante menos de lo que Julio Iglesias cobró en su día por promocionar la imagen de la CV.

El sesgo del ranking de la US, es consecuencia inevitable de la agregación de los datos de los diferentes campos sin efectuar una normalización previa. Según el JCR de 2008, el número de artículos publicados anualmente por un investigador promedio (situado en la mediana de su gremio) oscila entre 1 y 10, según materias, a saber: matemáticas y computación, 1; ingeniería, ciencias de los materiales, ciencias sociales, economía y negocios, 2; física, botánica, zoología, agricultura y psiquiatría, 3; química, ecología y geología, 4; farmacología, medicina clínica y ciencias del espacio, 5; biología, microbiología y bioquímica, 7; neurociencias, 8; genética, 9; e inmunología, 10. Que los matemáticos y los informáticos publiquen por término medio 10 veces menos que los inmunólogos podría deberse a la estupidez o a la pereza de los primeros pero, más probablemente, a que sus artículos tienen menos firmantes, son de mayor longitud y se gestan más lentamente.

En otras palabras, la US no sólo se limita a medir la cantidad de investigación sino que, encima, beneficia a las universidades que cuentan con mayor proporción de científicos de la salud y experimentales al no dividir el número de publicaciones de cada grupo por el promedio internacional de su gremio (normalización). No es de extrañar que los rankings de la THM y de la US discrepen notoriamente, hasta el punto de que sus últimas listas de top 200 tan sólo tenían 133 universidades en común.

También es manifiestamente mejorable la metodología utilizada por G. Buela-Casal y otros colegas de la Universidad de Granada (Psicothema 21, 309-317, 2009) quienes elaboraron el ranking UG de las universidades públicas españolas en 2008 basándose en el número de doctorados con mención de calidad ofertados y en las publicaciones en revistas del ISI-JCR, los tramos de investigación reconocidos, las tesis doctorales dirigidas, los recursos captados por proyectos y las becas FPI asignadas de una muestra de 1.341 profesores, titulares y catedráticos de universidad con al menos uno y dos tramos de investigación, respectivamente. Entre los defectos metodológicos del ranking UG me permito señalar la parvedad de la muestra -menos de 30 investigadores por universidad-, la falta de normalización de los índices de productividad -número de publicaciones, recursos captados para financiar proyectos (los de ciencias experimentales son mucho más caros que los de ciencias básicas) y número de tesis doctorales leídas (cuyo tiempo medio de elaboración difiere de unas materias a otras)-, el ocultamiento de investigadores que contribuyen a los resultados de investigación y la ignorancia de la legión de profesores funcionarios improductivos (a escala nacional, sólo investiga un tercio del profesorado funcionario).

Utilizando semejante vara de medir, no puede sorprender que las primeras posiciones del ranking UG estén copadas por las universidades recientes, como la Pablo Olavide, la Pompeu Fabra y la Miguel Hernández, que tienen una abundancia relativa de investigadores ocultos: miembros de institutos de titularidad compartida con el CSIC, contratados y becarios. Lo sorprendente es que políticos, dirigentes universitarios y medios de comunicación den crédito a informes elaborados con metodologías tan endebles.

Miguel Ángel Goberna es catedrático de Estadística e Investigación Operativa de la Universidad de Alicante.