La evaluación de la calidad universitaria

Cada año, al aproximarse el final de curso, se publican rankings de universidades con la finalidad declarada de informar a los futuros universitarios y a sus familias de las bondades relativas de los diferentes establecimientos, y la oculta de manipular un mercado, el de las titulaciones universitarias, que está en crisis a causa del descenso demográfico, de la competencia de los módulos profesionales y del crecimiento irracional de las ofertas pública y privada. A grandes rasgos, estas listas son cuestionadas por los detractores de la Ley Orgánica de Universidades (LOU) y defendidas por sus valedores, como el ex director general de Universidades y recién nombrado director de la todopoderosa Agencia Nacional de Calidad y Acreditación.

Antes de referirnos a la evaluación de la calidad, conviene entender que es de naturaleza polifacética y resbaladiza, pues abarca aspectos tan dispares y difíciles de cuantificar como las clases teóricas y prácticas, las tutorías, la orientación laboral de los estudiantes, los programas de prácticas y de intercambio, las actividades extraacadémicas, la utilización de los mecanismos de representación por los diferentes estamentos, la relación entre profesores y alumnos, la dotación y accesibilidad de los servicios (aulas, bibliotecas, salas de estudio y laboratorios, especialmente), la investigación teórica y aplicada, etc. De la evaluación de la calidad de las universidades se han ocupado organismos públicos y privados con metodologías muy diferentes.

Los Planes Nacionales de Evaluación de la Calidad de las Universidades Españolas (PNECUE), creados por el extinto Consejo de Universidades, han propiciado la evaluación individualizada de las titulaciones en las distintas universidades de la siguiente forma. La propia universidad facilita los datos estadísticos de la titulación a una comisión de evaluación interna formada por representantes de profesores, alumnos y personal de administración y servicios (PAS). Esta comisión elabora un informe, de acuerdo con cierto protocolo, que, tras ser discutido y aprobado por el centro, es remitido a los miembros de un comité externo constituido por un académico de la especialidad, un experto en evaluación y un representante del sector empleador. Este comité efectúa una visita a la universidad, durante la cual inspecciona todos los servicios relacionados con la titulación (aulas, laboratorios, bibliotecas, departamentos, centros sociales, instalaciones deportivas, etc.) y se reúne por separado con el equipo directivo del centro, con los directores de departamento, con representantes de los profesores, con representantes de los alumnos de primer curso, de los restantes cursos de la titulación y de doctorado, con egresados y con representantes del PAS.

El informe final (previamente expuesto y discutido en una sesión abierta) enuncia los puntos fuertes y los puntos débiles e incluye una lista de propuestas para la mejora de la calidad de la titulación, pero no le asigna puntuación alguna. Mi experiencia de los últimos años como evaluador externo me ha permitido apreciar que la elaboración del informe interno desencadena una reflexión profunda dentro de la titulación, mientras que el informe final proporciona una buena radiografía de la misma. Estos informes finales son públicos y suelen encontrarse en la página web del centro, siendo, en mi opinión, la mejor herramienta disponible para la elección de universidad y titulación.

Un diario nacional próximo al Gobierno publica anualmente un ranking de las 'mejores universidades' que está basado en las respuestas a una única pregunta realizada, por correo electrónico, a ciertos académicos: ¿en qué universidades -exceptuada la suya propia- tiene mayor calidad la titulación de su especialidad? El criterio de ordenación de las universidades es el número de titulaciones en las que aparece cada una de aquellas entre las cinco mejores. Este procedimiento es cuestionable por la inevitable subjetividad de las respuestas y por la falta de garantías del muestreo.

Todavía más objetable es el llamado Ranking de calidad de las universidades Españolas, elaborado por un equipo de sociólogos subvencionados por el Ministerio de Educación, y que está basado en datos oficiales tan ajenos a la calidad como la proporción de mujeres entre profesores y entre catedráticos, o el número total de libros propiedad de la universidad (sin tener en cuenta que éstos pueden ser inaccesibles -por exceso de demanda o por estar depositados en otro campus- u obsoletos).

Pero, en este Ranking de calidad de las universidades Españolas, es preciso hacer dos consideraciones más. No sólo las variables seleccionadas son inadecuadas y sesgadas y benefician, en consecuencia, a las universidades antiguas y dispersas, sino que son ponderadas arbitrariamente para obtener una presunta medida de calidad global, ignorando las herramientas del análisis estadístico de datos.

Esta metodología difiere en poco de la utilizada por el diario londinense The Times para elaborar sus rankings de las universidades del Reino Unido, si bien el periódico británico utiliza datos oficiales más fiables y elaborados que los españoles (véase O'Leary et al., The Times Good University Guide 2003, Times Books, 2002).

Los rectores (tanto españoles como británicos) desconfían de estos rankings de universidades por su debilidad metodológica y por la inconsistencia de sus resultados. La Universidad de Alicante, sin ir más lejos, ocupaba en 2002 el puesto 13 (de 70) en el primer ranking y el 39 en el segundo.

No sabemos todavía si las nuevas agencias de calidad y acreditación seguirán la estela de los PNECUE o bien serán forzadas a producir rankings de universidades. En cualquier caso, sería un error, pues los resultados académicos e investigadores (tesis leídas, patentes y publicaciones) sólo pueden compararse para una misma titulación, no siendo susceptibles de agregación.

Permítanme subrayar esta disparidad con una cita acaso apócrifa. Cuentan de Gemán Ancochea, atrabiliario ex catedrático de Matemáticas en Madrid, que, tras oír decir a cierto colega que sus últimos trabajos versaban sobre las formas de freír patatas le espetó: 'yo también depongo todos los días, pero no lo publico'.

Miguel Ángel Goberna es catedrático de Estadística e Investigación Operativa de la Universidad de Alicante