El fraude conceptual de los 'rankings' de universidades
De vez en cuando tenemos conocimiento, a través de diferentes medios de comunicación, de diversas clasificaciones de nuestras Universidades (rankings) según, se dice, se supone, su nivel de calidad. Es una especie de fenómeno periódico, de incidencia más mediática que científica, que produce sobre todo ruido y confusión, aparte de la satisfacción más o menos inconfesada de los rectores de las que salen bien paradas en la operación y del enfado explícito de los rectores de las que quedan mal.
Desde una perspectiva meramente técnico-metodológica, estas clasificaciones suelen construirse con elementos discutibles en muchos casos, por falta de rigor y significado en la elección de elementos de análisis, descontextualización de la información, debilidad de los datos, etcétera, lo que suele producir cierta crispación entre personas implicadas en temas de calidad universitaria y la consiguiente propuesta de algunos, bienintencionada pero ingenua, de construir un ranking de universidades bien hecho, riguroso y sin debilidades técnicas, para evitar esta especie de recurrente plaga informativa.
Los rankings que hemos visto últimamente en nuestros periódicos son criticables desde esta perspectiva técnico-metodológica y tiene muchos elementos de debilidad, pero su análisis nos introduciría en terrenos francamente aburridos para muchos de los lectores, pero he de decir que también tendría abundantes puntos de debilidad esa propuesta de "ranking perfecto" que algunos proponen construir.
El mayor problema de los rankings a partir de indicadores diversos ( a menudo algunos pintorescos) no es el técnico-metodológico, que también lo es, pues el problema es mucho más profundo, porque, de hecho, basan su construcción en la asunción de un modelo erróneo de interpretación de la calidad institucional. Y esto, insisto, es una característica de los rankings, que es independiente de la concepción de calidad institucional que tengan sus autores. La calidad global de una universidad, su calidad institucional, no es un concepto que pueda hacerse operativo en una variable, ni en unas pocas; se trata de un concepto multidimensional, con muchas y diversas acepciones. Además, la calidad está condicionada por los objetivos y la tipología de la institución y es relativa a las diversas audiencias implicadas (estudiantes, profesores, gestores, políticos, empleadores...). En suma, calidad institucional es un paraguas bajo el que se integran muchas cosas diversas, cuya interpretación y valoración correcta sólo es posible de una manera contextualizada.
Pues bien, los rankings que estamos comentando hacen caso omiso de esta realidad conceptual y asumen el modelo de que agregando, aditiva y/o interactivamente, algunos elementos (indicadores) relacionados con distintos componentes potenciales del paraguas-calidad, se puede definir un concepto único y universal de calidad y, consecuentemente, clasificar por calidad a las universidades, al margen de su tipología y de sus características específicas y contextuales. En definitiva, la agregación de indicadores que hacen estos rankings no es sino un artificio metodológico, más o menos complejo, que conduce a un resultado que, en rigor, no se sabe lo que significa. Tanto es así que, cambiando los indicadores utilizados en el cálculo, o el método de cálculo, (cada ranking usa los suyos) llegaríamos a otra cosa, que podríamos denominar también indicador de la calidad de la universidad, pero que, de nuevo, tampoco sabríamos lo que realmente significa. Todos sabemos que mezclando trozos de frutas diversas no podemos conseguir una fruta genérica, mayor y más sabrosa; nunca pasamos de unos conglomerados que conocemos como macedonias.
Para edulcorar el problema de la contextualización, algunos rankings introducen en el polinomio de cálculo de la calidad ciertos identificadores descriptivos de las universidades, pero siempre limitándose a elementos cuantificables. Obviamente, el proceso de contextualización es algo más complejo, más rico y más refinado, cualitativa y cuantitativamente, que nunca puede ser sustituido por la introducción de algunos elementos correctores en el aludido polinomio.
Cuando hablamos de calidad institucional, la ineficacia docente no puede ser compensada por tener muchos recursos informáticos, o muchos libros en la biblioteca, que, además, pueden ser viejos, nuevos, buenos, malos, usarse o no usarse. Los magníficos resultados académicos en una titulación nunca pueden hacer menos graves los desastres de otra. Un gran rendimiento investigador del departamento A, desgraciadamente, nunca pueden mejorar el rendimiento del departamento B, que es muy pobre... En otras palabras, el gestor de calidad sabe muy bien que englobar la calidad de una universidad en un número, rompe todas las reglas del sentido común. El asunto se agrava muchísimo más cuando se intenta hacer lo mismo con todas las universidades a la vez, sean cuales sean sus características definitorias y organizativas, su orientación, su oferta y el contexto en que se ubican.
Hay que recordar que los rankings tradicionales americanos, que se empiezan a introducir a principios del segundo cuarto del siglo XX, no son de la naturaleza de los que estamos discutiendo, pues se limitan a comparar unidades más homogéneas como departamentos del mismo área de conocimiento y escuelas o programas formativos similares, especialmente de posgrado o de tipo profesional. Además, la base clásica de clasificación es el promedio del juicio de valor (puntuación) de expertos, habitualmente directores de programas, departamentos, etcétera, del tipo de los comparados, y no la agregación de indicadores de significación diversa. Es mucho más reciente la aparición de los rankings de este último tipo, generalmente del brazo de algún medio de comunicación o de una empresa editorial cercana, que tiene a la elaboración de todo tipo de "rankings universitarios", con todo tipo de refinamientos de cálculo, como ámbito de negocio editorial.
No quiero terminar estos comentarios sin decir que la crítica a los "rankings de universidades" en ningún caso debe entenderse como una crítica a los "indicadores universitarios", que son un instrumento importante para la gestión de la calidad institucional, pero interpretándolos uno a uno y en su contexto. Aquí sólo se critica la utilización abusiva de indicadores, dentro de un marco conceptual erróneo.
Tomás Escudero Escorza es catedrático de Métodos de Investigación y Diagnóstico en Educación-Universidad de Zaragoza y miembro de la Comisión de Coordinación Técnica del Plan de la Calidad de las Universidades.
