Estadísticas y realidades

Los alérgicos sabemos muy bien que con la llegada de la primavera aparece el polen de gramíneas. Pues bien, con la misma previsibilidad, cuando se aproximan las elecciones nuestros medios de comunicación se llenan de encuestas. Y, por supuesto, de análisis de sus resultados. Siempre me ha sorprendido lo minucioso de esos análisis que encuentran sesudas razones para justificar lo injustificable, a saber: que una subida o una bajada de un punto de uno u otro partido es consecuencia directa de una declaración política, de un error, o de cualquier otro hecho concreto. Un punto de subida o de caída en una encuesta cuyo margen de error, ese que figura en la ficha técnica que casi nadie se lee, suele estar en el entorno de un ±2%. Es decir, un punto, que no es estadísticamente representativo. Más allá del efecto sobre la opinión pública que este tipo de análisis puedan tener —que en las circunstancias actuales y dada la volatilidad del “mercado” político, no son despreciables—, el hecho es que con frecuencia carecen de base científica alguna.

Con ser uno de los más frecuentes, éste no es el único caso de error estadístico convertido en verdad pretendidamente incuestionable. Quiero referirme a otro no menos importante: el célebre estudio PISA (Programme for International Student Assessment). No voy a valorar la utilidad que para los sistemas educativos tienen este tipo de estudios, que la tienen. Tampoco las críticas que reciben, cada vez más extendidas y muchas de las cuales comparto. Entre otras cosas, por la utilización exorbitante que de sus resultados hacen algunas autoridades educativas que han descubierto que lo mejor para tener buenas valoraciones en PISA es enseñar a los alumnos a aprobar PISA.

Voy a comentar, simplemente, el uso —¿cómo llamarlo?— poco informado que se hace en nuestro país, y no sólo en nuestro país, de algunos de sus resultados, el empeño en utilizar los informes PISA como si se trataran de las clasificaciones de la Liga de fútbol o del festival de Eurovisión. Porque, como sucede en el caso de las encuestas políticas, muchas veces se interpretan los resultados sin tener en cuenta las limitaciones del método estadístico utilizado para obtener las correspondientes calificaciones. Y ello a pesar de las advertencias que en el informe se recogen, una y otra vez, sobre los intervalos de confianza de los datos y, por tanto, acerca de lo que es y de lo que no es estadísticamente representativo. Pondré algunos ejemplos de lo que quiero decir, relativos al estudio PISA 2012.

Se ha escrito que nuestros alumnos tienen resultados inferiores a los de la mayoría de los países de la Unión Europea. No es cierto. La puntuación media de los alumnos españoles de 15 años en el área de matemáticas es de 484 puntos. La de los países de la Unión Europea es de 489. Una diferencia que no es estadísticamente representativa; es decir, los resultados de nuestros estudiantes están en la media europea. Lo mismo que sucede en lectura y en ciencias, las otras dos áreas evaluadas en el referido informe.

Hemos podido leer que nuestros alumnos habían empeorado en lectura en relación con los resultados obtenidos en el año 2000. Tampoco es cierto; su resultado del año 2012 —488— no es desde el punto de vista estadístico significativamente distinto que los 493 puntos obtenidos en aquel año. Como tampoco se puede decir, como se ha dicho, que los alumnos han mejorado en ciencias en relación con la evaluación del año 2006, por el hecho de haber pasado de 488 a 496 puntos. Ambos resultados, una vez más, no tienen distinta significación estadística.

Tanto más que la utilización incorrecta de alguno de los datos que aparecen en estos informes resulta destacable el poco interés que suscitan otros.

Los informes PISA se utilizan como si fueran el Festival de Eurovisión

Por ejemplo, llama la atención que el esfuerzo de mucha gente para glosar clasificaciones de dudoso valor estadístico utilizando las puntuaciones del informe PISA no haya comenzado por intentar explicar el significado de las diferencias observadas. ¿Por qué a nadie se le ha ocurrido pasar esas puntuaciones a la escala de 1 a 10? Si se hubiera hecho, por ejemplo otorgando un 10 al mejor país de la OCDE y un cero al peor, nos habríamos encontrado con que en ciencias los estudiantes españoles obtendrían una puntuación media de 6,2, la misma que los de la Unión Europea y ligeramente inferior a los de la OCDE, que alcanzarían una puntuación media de un 6,5.

Pero, en fin, lo que resulta más chocante es que tanto despliegue analítico no haya permitido discutir a fondo las diferencias entre los resultados obtenidos por nuestras distintas comunidades autónomas. Que, de entrada, no son mayores que las que se producen en otros países. Como, por cierto, no lo son las diferencias entre los distintos centros educativos. Pero que, sin embargo, merecen un comentario. Porque, por ejemplo, la distancia que separa a la comunidad autónoma que mejor puntuación consigue en matemáticas de la que obtiene peor calificación es de 56 puntos.

Son diferencias que se correlacionan bastante bien tanto con la historia educativa de cada una de ellas como con su desarrollo socioeconómico. En todo caso, una cosa es clara: con las mismas leyes básicas, con la misma ordenación académica, algunas de nuestras comunidades obtienen unos resultados que las colocan entre lugares destacados entre los países de la Unión Europea y otras, por el contrario, ocupan las últimas posiciones. O dicho de otra manera: lo que parece demostrar el informe PISA es que el problema fundamental de nuestro sistema no está en nuestras leyes estatales, idénticas para todas nuestras comunidades, aunque, por supuesto, éstas siempre puedan mejorarse. Es la misma conclusión que podríamos extraer de otros datos que se usan con profusión, los de las tasas de abandono escolar temprano —porcentaje de jóvenes entre los 18 y los 24 años que no poseen ni el título de bachiller ni el de formación profesional de grado medio y que no cursan ningún tipo de estudios— que muestran acusadas diferencias entre comunidades.

Desde hace mucho tiempo se reclama, no sin razón, un amplio consenso educativo en nuestro país. Se piden reformas meditadas y, sobre todo, pactadas. Conviene recordar, en todo caso, que las dos últimas leyes educativas españolas, la LOE del año 2006 y la denominada ley Wert, tuvieron amplios consensos: la LOE a favor, pues solo se opuso el PP; y la ley Wert en contra, ya que sólo la votó el PP. Como conviene precisar que en nuestro país sólo ha habido tres grandes reformas educativas en democracia, o mejor dos y media: la LOGSE de 1990, y las ya mencionadas LOE, que supuso una revisión parcial de la LOGSE, y la ley Wert del año 2013.

Para alcanzar ese deseado consenso es conveniente partir de un diagnóstico compartido. Que empiece por admitir que los resultados educativos no cambian de la noche a la mañana, y que utilice de forma científicamente correcta los estudios de los que disponemos. Empezando por el informe PISA. Y que huya de la tentación de utilizar torticeramente esos informes para justificar leyes que con el pretexto de mejorar la calidad de la educación acaban por imponer recetas puramente ideológicas, del siglo pasado.

Es muy difícil escapar de la tentación de utilizar las certezas que emanan de los números. El problema no son los números sino la forma en la que se llega a ellos. Lo aprendimos de niños: no se puede poner dos decimales a las medidas obtenidas con una regla dividida en decímetros.

Alfredo Pérez Rubalcaba fue ministro de Educación y secretario general del PSOE.