Los 'rankings' imponen su ley a la Universidad

Cuando se habla de situar alguna universidad de un país -pongamos España- entre las 100 mejores del mundo o de Europa, se está hablando básicamente de dos rankings internacionales: el de la Universidad Jiao Tong de Shanghái, que se publica desde 2003, y el de la publicación británica Times Higher Education (THE), de 2004.

Ambas se confeccionan así: se eligen unos indicadores, básicamente de investigación y prestigio (los premios Nobel o las medallas Fields ganadas por antiguos alumnos, una macroencuesta de opinión, el número de estudiantes extranjeros o las publicaciones en revistas científicas), se les da un valor a cada uno y se agregan dando a cada uno un porcentaje de la nota final con la que se fija la clasificación. Además, a los rankings generales se añaden cada vez otras por áreas de conocimiento y geográficas, pero tienen menos repercusión.

Las listas de calidad se han convertido en un motor de políticas públicas

Distintos artículos señalan fuertes sesgos geográficos y disciplinares

Si los campus fueran más transparentes, sería más fácil puntuarlos

"Existe un rechazo a la cultura de la evaluación", escribe un investigador

Así de sencillo. O no. Porque resulta que esos rankings han llegado a tener tanto impacto que llegan a condicionar políticas: en Francia, la escasez de campus galos entre los 100 primeros acabó en una reforma legal; en España, el programa del Gobierno Campus de Excelencia Internacional -cuya segunda edición se acaba de fallar- reparte fondos a los mejores proyectos, con el objetivo, entre otros, de colocar a "las mejores universidades españolas dentro de las 100 mejores universidades europeas", tomando como referencia esos rankings (aunque el secretario general de Universidades Màrius Rubiralta haya matizado ahora que esas clasificaciones no son un fin en sí mismo).

En cualquier caso, junto a su popularidad e influencia -empresarios y filántropos toman muy en cuenta estas clasificaciones a la hora de invertir en universidades y los responsables universitarios se afanan en conocer a fondo sus mecanismos para escalar posiciones- han crecido también las críticas. Se han publicado en los últimos años una buena cantidad de artículos científicos que las cuestionan: aseguran que adolecen de rigor científico o que están plagadas de limitaciones (algo que, en cierta medida, admiten sus propios autores) para medir lo que pretenden, ese concepto tan etéreo e intangible llamado calidad a partir de unos indicadores muy parciales y discutibles, e incapaces de comparar de manera justa instituciones muy distintas.

En septiembre, en un encuentro organizado por la OCDE en París sobre el futuro de la universidad, muchos de los asistentes cargaron contra estas clasificaciones. El vicerrector de la Universidad Estatal de California, Charles Reed, las tachó de auténtica "enfermedad". "La tendencia en favor de las herramientas de medición parece un instrumento de transparencia simpático y barato, pero alienta soluciones simplistas sesgando las agendas políticas. En última instancia, la necesidad de políticas públicas se pierde en la creencia de que la cuantificación es igual a calidad", dijo la profesora del Instituto de Tecnología de Dublín Ellen Hazelkorn.

Pese a todo, su incuestionable éxito demuestra que "responden a una necesidad de información" a la que nadie había atendido, dice el investigador del Instituto de Ciencia y Tecnología de Rumanía Razvan Florian, quien en 2007 publicó un artículo científico sobre los fallos del ranking de la Universidad de Shanghái. Florian habla del interés de esas clasificaciones para elegir universidad, y sí cree que favorecen la transparencia, la rendición de cuentas y la competitividad en pos de la mejora. De hecho, también hay quien piensa que, pese a las limitaciones, el problema de fondo es que a las universidades no les gusta que les evalúen y tienen una cuenta pendiente con la rendición pública de cuentas.

El director del Laboratorio de Cibermetría del CSIC, Isidro F. Aguillo, escribía hace unos meses en el foro de la Revista Iberoamericana de Ciencia, Tecnología y Sociedad: "Se citan sesgos metodológicos, (geográficos, disciplinares, lingüísticos), dudas epistemológicas sobre las bondades del análisis de citas o desconocimiento de la estructura social e idiosincrasia académica de grupos y redes, pero en general lo que se ataca es el propio proceso evaluativo. Existe, pues, un rechazo a la cultura de la evaluación".

En ese mismo artículo, sin embargo, Aguillo reconocía los fallos de los principales rankings internacionales. De hecho, hace unas semanas, los diseccionó en la mesa redonda celebrada en torno a este tema en la Universidad de Navarra, en Pamplona. Por ejemplo, habló sobre el excesivo peso que los premios Nobel tienen en el ranking de Shanghái: si no se contase el Nobel concedido a Severo Ochoa hace medio siglo, la universidad donde había estudiado mucho antes, la Complutense, bajaría unos 80 puestos en la clasificación, y las dos universidades de Berlín, de las más importantes de Europa, no están entre las 100 primeras porque no se ponen de acuerdo sobre por cuál de ellas computa el Nobel de Einstein, por lo que no les cuenta a ninguna. Asimismo, dijo que las encuestas como la que se realiza para la clasificación del Times Higher Education no sirven, sin dejar de lado que le merecen más confianza los rankings que hagan las universidades que los de las empresas privadas. También criticó a los medios, por explicar mal qué son y qué miden esas clasificaciones, o por ir más allá de lo que dicen los autores, errando, por supuesto.

En aquella misma mesa redonda estuvieron Nian Cai Liu, uno de los responsables de la clasificación de Shanghái, y Phil Baty, representando la del THE. Ambos admitieron limitaciones de sus respectivos métodos, pero insistieron en que no ocultan la metodología usada (hay quien les acusa de que no es del todo transparente) y que cada uno puede sacar sus propias conclusiones.

Sin embargo, para el director de Evaluación Institucional de la Universidad Nacional Autónoma de México, Imanol Ordorika, lo más preocupante es que esos rankings más populares tienen un ideal muy claro: el de las universidades elitistas y volcadas en la investigación. Estas tienen su paradigma en los centros más importantes de Estados Unidos, sobre todo, Harvard, que ha ocupado siempre el primer puesto de esas clasificaciones con una sola excepción (este año, el ranking QS, que se desgajó del Times después de un litigio) que ha colocado a Cambridge por encima. "Los rankings no son más que harvarómetros", se queja Ortortika.

El profesor advierte de que, centrándose sobre todo en la investigación y el modelo de Harvard, se están olvidando otros objetivos de la Universidad, como la docencia, el de las universidades que proceden de otras tradiciones, como las europeas en general y las españolas, en particular, o las "constructoras de Estado", como las latinoamericanas, por no hablar de la función de desarrollo de la movilidad social.

Es innegable que el modelo de Harvard no está nada mal como referencia, que probablemente la docencia allí tiene pocos flancos por los que ser criticada (quizá sí por el lado elitista). Pero el problema puede ser el hecho de aceptar sin más un modelo impuesto desde fuera sin pararse a pensar si es realmente el que se quiere alcanzar, plantea Carmen Pérez Esparrells, profesora titular de Economía Aplicada de la Autónoma de Madrid, que firma el análisis que acompaña a este artículo.

En ese contexto, se están ensayando otras fórmulas. Por ejemplo, las que llegan sin más aspiración que ponderar una parte de los resultados universitarios, como el ranking SIR, del grupo español SCImago, liderado por el CSIC, que se centran únicamente en medir la investigación y su impacto; o el Ranking Mundial de Universidades en la Web, también del CSIC, que trata de medir la visibilidad y el impacto de los contenidos de las webs de las universidades (Isidro F. Aguillo es uno de los responsables de este último). Pero estas clasificaciones tampoco se libran de las críticas.

Por su parte, la Comisión Europea está ensayando un multi-ranking: muchas clasificaciones temáticas sin dar una general. "Un ranking universal no tiene sentido. Sin embargo, uno que integrase distintas preferencias del usuario sería muy útil. Por ejemplo, una clasificación para estudiantes que buscan seguir sus estudios en otros países tendría que integrar la oferta de cada universidad (grado, máster, doctorado), las disciplinas, el precio de la matrícula, el coste de la vida, la calidad del recibimiento a los estudiantes extranjeros, etcétera", dice por correo el profesor de la Universidad Politécnica de Tours (Francia) Jean-Charles Billaut.

Pero esa idea choca una vez más con la falta de datos internacionales comparables a disposición del público. "Si las universidades proporcionasen otro tipo de datos, podríamos tener otro tipo de agregaciones más útiles", dice el profesor Ordorika. Y en cualquier caso, según Aguillo, los multi-ranking no sirven porque las clasificaciones "tienen que ser sencillas", aparte de útiles y de estar bien hechas técnicamente.

La cuestión, entonces, sería ponerse de acuerdo en el modelo de universidad que se quiere, elegir los indicadores que lo midan lo mejor posible, acordar también los pesos de cada uno de ellos y aceptar la clasificación. Eso puede hacerse o no -habrá quién lo vea imposible-, pero, mientras tanto, el año que viene volverá a publicarse el ranking de Shanghái y el del Times, y el de QS...

Así, en la Asociación Europea de Universidades apuestan -además de seguir profundizando en los mecanismos internos de las universidades para garantizar la calidad-, por evaluar a los evaluadores, es decir, publicarán cada año un informe sobre las clasificaciones (Anual review of ranking), para que los responsables políticos y de las instituciones entiendan qué significan exactamente, dijo el presidente de la asociación, el suizo Jean-Marc Rapp, en el encuentro de Navarra.

"Los rankings pueden ayudar a las universidades a compararse con sus iguales y puede motivarles para mejorar. Sin embargo, puede ser negativo si se empeñan solo en mejorar los indicadores con los que se construyen los rankings. Creo que las universidades son suficientemente inteligentes para no hacer eso", escribe Florian. Pero, esas clasificaciones, si comparan instituciones tan diversas, tan incomparables según muchos, siempre serán, de alguna manera, injustos. "Los indicadores reflejan solo algunos aspectos de la vida académica. Eso es inevitable y solo se puede mejorar si se asumen los costes de recoger datos más relevantes y precisos", añade el investigador rumano.