Falta de interés y cansancio en mitad de los exámenes finales: así explica la OCDE las “anomalías” del informe Pisa en España

Ni fraudes ni fallos informáticos, sino más bien hartazgo y falta de interés y motivación. Esta vendría a ser la explicación que ha encontrado la OCDE a ese 5% de respuestas anómalas que detectó en el examen Pisa 2018 de los alumnos españoles y que llevó al organismo internacional a suspender la publicación de resultados en comprensión lectora de todo el país en esta competencia (...

Ni fraudes ni fallos informáticos, sino más bien hartazgo y falta de interés y motivación. Esta vendría a ser la explicación que ha encontrado la OCDE a ese 5% de respuestas anómalas que detectó en el examen Pisa 2018 de los alumnos españoles y que llevó al organismo internacional a suspender la publicación de resultados en comprensión lectora de todo el país en esta competencia (sí difundió los de matemáticas y ciencias). Este jueves, por fin los ha publicado, después de analizar durante meses las anomalías, pero con la advertencia de que su nota no es plenamente comparable con la de años anteriores: 476,5 puntos, 19 menos que en Pisa 2015, 10 puntos por debajo de la media de la OCDE y en el puesto 32 de los 79 países que se someten a esta prueba internacional que mide cada tres años las competencias de los alumnos de 15 años.

También ha publicado un anexo en el que explica cómo ha llegado a la conclusión de que el cúmulo de “comportamiento inverosímil”, con respuestas demasiado rápidas y con patrones rígidos (todas sí o todas no), se debió a “una disposición negativa” y a una falta de esfuerzo; dicho en otras palabras, que seguramente contestaron al tuntún porque no les importaba. Las respuestas anómalas se concentraron en una sección nueva de la prueba de lectura denominada “fluidez lectora”, que muchos españoles contestaron en menos de 20 segundos cuando, en general, los alumnos necesitan entre 50 segundos y dos minutos.

“Hay una buena explicación”, dicen las conclusiones de ese anexo: las respuestas extrañas se concentran en escuelas en las que se aplicaron las pruebas de Pisa hacia el final (estas se extendieron durante un total de 10 semanas, del 2 de abril al 4 de junio de 2018) en cinco regiones que han adelantado todo el proceso de evaluaciones para poder celebrar en junio los clásicos exámenes de recuperación de septiembre: Madrid, Navarra, La Rioja, Cantabria y el País Vasco. “En 2018, algunas regiones de España aplicaron antes sus exámenes finales de décimo grado [cuarto de la ESO], lo cual hizo que el periodo de evaluación de estos exámenes coincidiera con el final de la aplicación de las pruebas de Pisa”, dice la OCDE. En ese contexto, algunos alumnos se enfrentaron a las pruebas con “una disposición negativa” y “no hicieron todo lo posible para demostrar su competencia”.

El informe habla de cinco regiones españolas en las que los exámenes del tercer trimestre se celebraron en la segunda mitad de mayo, los finales del curso a primeros de junio y la recuperación en la segunda mitad de junio. Pero no da sus nombres. Sin embargo, a responsable de análisis de datos de PISA, Miyako IKed confirma que se trata de las comunidades de Madrid (que ha obtenido 46 puntos menos en lectura que en 2015), Navarra (42 menos), La Rioja (24 menos), Cantabria (18 menos) y el País Vasco (16 menos). De las evaluaciones finales de cuarto de ESO depende la obtención del título de Educación Secundaria Obligatoria; con la prueba de Pisa, académicamente, el alumno no se juega nada. El Departamento de Educación Navarra ofrece la misma explicación que la OCDE en una nota difundida este miércoles, en la que además asegura haber detectado “un cierto hastío en el sistema educativo, con una pérdida de interés en las pruebas de evaluación que llegó a convertirse en un boicot a las pruebas de PISA 2018 en cuatro centros públicos”.

El análisis publicado este jueves por la OCDE muestra cómo las respuestas anómalas van aumentando a medida que pasan las semanas (a partir de la sexta y séptima) y señala cómo la tendencia general de descenso del esfuerzo según se va acercando el final del curso (medido por el porcentaje de alumnos que puntúan su propio empeño después de test con 1, 2, o 3 puntos sobre 10) es mucho más pronunciado en esas cinco regiones, en las que se produjo la tormenta perfecta del desinterés. En estas pasaron de en torno al 3% a en torno al 2% en la sexta semana para dispararse a partir de entonces hasta casi el 10%; en el resto de comunidades, el porcentaje de desganados, aunque también crece ligeramente al final, nunca supera el 3%.

En cuanto a los resultados, se produce una caída de 14 puntos en la parte de fluidez lectora en las últimas semanas en las comunidades con evaluaciones solapadas, mientras que en resto no se aprecia un descenso significativo. En la parte general de la prueba de lectura, sin embargo, no se aprecia bajada, lo que indica que esa sección de fluidez lectora “era particularmente sensible a la motivación del alumno”. Aunque no parece que se trate de la dificultad de las preguntas en sí, ya que también han detectado una bajada de 11 puntos en los resultados de la prueba de matemáticas a lo largo del periodo de evaluación de Pisa en las cinco comunidades en cuestión. Así que lo achacan a esas “razones más generales” que afectaron tanto a los resultados de fluidez lectora como de matemáticas. En esta competencia, Navarra, aunque siguió en primer lugar, obtuvo 15 puntos menos que en 2015, Madrid 17 menos y La Rioja bajó ocho. País Vasco y Cantabria, sin embargo, mejoraron en este campo, siete y cuatro puntos, respectivamente.

Sin embargo, la Consejería de Educación de la Comunidad de Madrid rechaza de plano los argumentos del organismo internacional. “Estamos convencidos de que la concentración de exámenes no ha sido un factor determinante pues en este caso ese resultado también se hubiera trasladado en igual magnitud o incluso mayor en ciencias y matemáticas, situación que no ha ocurrido, y que supuestamente se ha concentrado en los resultados de lectura”, ha asegurado un portavoz. Además, niegan que los centros que hicieron más tarde las pruebas tuvieran peores resultados y defienden que la verdadera razón de las incoherencias “proviene de problemas en la aplicación de las 20 preguntas relativas a la fluidez lectora que se incorporaban por primera vez a las pruebas ese año y que condicionaban los resultados”.

En todo caso, a raíz de estas anomalías —cuyo único precedente más o menos similar fue un boicoteo en 2009 en Austria por parte de los profesores, en pleno conflicto laboral con la Administración—, la OCDE está estudiando la posibilidad de introducir cambios en la forma de aplicar y medir los resultados de esa sección de fluidez lectora y también el periodo de aplicación de las pruebas. “Es demasiado pronto para decir algo definitivo, pero acortar el periodo de pruebas puede no ser una solución realista, considerando la complejidad y alcance de la implementación nacional de Pisa”. De momento, el Instituto Nacional de Evaluación Educativa (el organismo dependiente del Ministerio de Educación responsable de las pruebas en España), se ha comprometido con Navarra “a intentar solventar esta situación” de solapamiento de pruebas para el próximo informe Pisa, “proponiendo que se adelante el proceso de aplicación a semanas anteriores a las habituales”, dice la nota del Departamento de Educación de la comunidad foral.

Sesgo a la baja, caída generalizada

La OCDE explica que, tras el análisis de las anomalías, ha decidido publicar “todos los valores plausibles para España, [...] incluidos los valores plausibles para la lectura y las subescalas de lectura”, pero acompañados siempre de una nota en la que advierten “sobre un posible sesgo a la baja en los resultados de rendimiento”. Esa nota concluye así: “Aunque los datos de solo una minoría de estudiantes muestran signos claros de falta de compromiso, la comparabilidad de los datos de PISA 2018 para España con los de anteriores evaluaciones de Pisa no pueden garantizarse por completo”.

Hechas estas advertencias, los datos muestran que todas las comunidades han empeorado sus resultados en comprensión lectora respecto a 2015, también las que no se han visto afectadas por la acumulación de respuestas anómalas y, por tanto, con las que ese sesgo a la baja debería ser menor. Unas pocas han bajado más o menos lo mismo que la media de la OCDE, que ha caído de 493 a 487: son Baleares (también seis puntos, hasta quedarse en 479), Murcia (-5, 481) y Asturias (-3, 495). En el lado opuesto están la Comunidad Valencia, con 26 puntos menos y una media de 473, y Castilla y León, que a pesar de haber bajado 25 puntos (hasta 497), sigue teniendo la media más alta de España, solo un punto por debajo de Alemania y cuatro por encima de Francia.

En el listado general, los países asiáticos, con China (555) y Singapur (549) a la cabeza, ocupan los puestos más altos. Los primeros países de la OCDE son Estonia (523), Canadá (520) y Finlandia (520). Teniendo en cuenta que los especialistas en Pisa calculan que 40 puntos equivalen a un curso entero de conocimientos y habilidades, se puede hacer los cálculos entre los países y las comunidades que se desee (el gráfico que aparece al final del texto ofrece el resultado en lectura de todos los países participantes en Pisa 2018. Entre ellos, se ha colocado a las comunidades autónomas españolas según su puntuación).

Volviendo a España, si se compara la situación, con 2009, la última prueba que se centró en la competencia lectora de los alumnos de 15 años (el informe se centra cada vez en una de las destrezas principales), algunas comunidades muestran cierta mejoría; destacan sobre todo las islas. Canarias ha obtenido 24 puntos más que en 2009, reduciendo un tercio su distancia con la media de la OCDE (que sigue siendo en cualquier caso de 15 puntos). Y Baleares tiene 22 puntos más y se queda a ocho de la media internacional (en 2009 estaba a 36).

En todo caso, el comportamiento de España en la prueba de comprensión lectora de Pisa ha sido siempre muy errático, con grandes oscilaciones en las siete ediciones del informe desde el año 2000: ha sido 493, 481, 461, 481, 488, 496 y 477.

En cuanto a los niveles de competencia, salvando las distancias, con todas las salvedades y con peores resultados tanto en España como a nivel internacional, la imagen que arroja Pisa 2018 es muy parecida a la de 2009, con más o menos los mismos porcentajes de alumnos en los niveles más bajos (23% España, 22% OCDE), unos pocos más en los intermedios (72% frente a 69%) y la mitad en los niveles más altos (4% frente a 8%).

Y, a pesar de la gris imagen que pueden dar muchos de estos resultados, el informe Pisa siempre ofrece algunos indicadores que colocan bien a España, en general, los que tienen que ver con el impacto académico de las diferencias socioeconómicas. La distancia de resultados entre inmigrantes y nativos está en España por debajo de la media (32 puntos menos frente a 43), y el porcentaje de alumnos resilientes (los que viviendo en los entornos más desfavorecidos son capaces de obtener los mejores resultados) también: el 15% frente al 11,4%.

Siga EL PAÍS EDUCACIÓN en Twitter o Facebook

Apúntese a la Newsletter de Educación de EL PAÍS