Preguntas y respuestas sobre PISA

¿Qué es? Es una prueba, un examen, que intenta medir, no si los alumnos se saben los contenidos de las asignaturas o las áreas de estudio, sino lo que los alumnos saben hacer con lo que han aprendido. Hay tres pruebas con resultados independientes: la competencia lectora, la matemática y la científica. Cada año, PISA se centra en una de ellas, que acaparan la mayoría de las preguntas, y las otras se quedan con una pequeña parte. En 2000, se centró en lectura; en 2003, en matemáticas; en 2006, en ciencias; y en 2009, de nuevo, en lectura. La última, en 2012, se ha vuelto a centrar centrar en matemáticas.

¿Quién lo hace? La OCDE, en colaboración con los países participantes, lleva a cabo la prueba a la que se somete una muestra representativa de los alumnos de 15 años de cada país (en la última prueba han sido 65). Da igual que hayan repetido o no. Por ejemplo, en España un tercio de los alumnos que la han hecho en ocasiones anteriores están en 2º o 3º de ESO, en vez de 4º, el curso que les correspondería por edad. La muestra debe ser representativa en función del reparto de alumnos entre escuela pública y privada, la presencia de inmigrantes, etcétera. En cada país hacen la prueba entre 4.500 y 10.000 estudiantes. Si alguna región o comunidad de un país quiere tener datos propios, independientes de los generales de su Estado, debe ampliar la muestra de estudiantes que se evalúan. En España, año a año se han ido sumando comunidades y han participado en 2012 más de 25.000 alumnos, de tal manera que en el informe que ahora se presenta solo hay tres autonomías que no tendrán datos propios: Canarias, Castilla-La Mancha y Comunidad Valenciana. Cada país o comunidad debe sufragar el coste de las pruebas.

¿Cómo se mide? Las preguntas a las que se enfrentan los alumnos no son las clásicas de un examen en un instituto, precisamente porque intentan ver cómo se maneja la información más que cuánta información se tiene. Veamos algún ejemplo. Se entrega a los chavales una gráfica sobre el funcionamiento de una puerta giratoria con el siguiente texto: "Una puerta giratoria consta de tres hojas que giran dentro de un espacio circular. El diámetro interior de dicho espacio es de 2 metros (200 centímetros). Las tres hojas de la puerta dividen el espacio en tres sectores iguales. El siguiente plano muestra las hojas de la puerta en tres posiciones diferentes vistas desde arriba". A partir de ahí, la pregunta es "¿Cuánto mide (en grados) el ángulo formado por dos hojas de la puerta?". 

Cada una de las preguntas se someten a pruebas de fiabilidad (es decir, si una pregunta que se considera fácil es respondida mal sistemáticamente por alumnos con buenos resultados en general, es que algo falla) y hay algunas preguntas "ancla", similares en cada examen, que permiten comparar de forma fiable con pruebas anteriores.

Las dificultades de cada pregunta son importantes porque el objetivo es colocar a cada alumno dentro de un nivel de competencia.

¿Qué son los niveles de competencia?Tomemos el ejemplo de la competencia matemática. En ella, se dividen las destrezas en tres dimensiones: procesos (formulación matemática de situaciones; empleo de conceptos, datos, procedimientos y razonamientos matemáticos; e interpretación, aplicación y valoración de los resultados matemáticos), contenidos (cambio y relaciones; espacio y forma; cantidad; e incertidumbre y datos), y contextos (personales, profesionales, científicos y sociales), según explica una entrada del blog del Instituto de Evaluación. Los que tienen el nivel 1 de matemáticas saben "responder a preguntas relacionadas con contextos que les son conocidos" y "son capaces de identificar la información y llevar a cabo procedimientos rutinarios siguiendo unas instrucciones directas en situaciones explícitas". En el otro extremo, los del nivel 6 "saben formar conceptos, generalizar y utilizar información basada en investigaciones y modelos de situaciones de problemas complejos, pueden relacionar diferentes fuentes de información y representaciones y traducirlas entre ellas de manera flexible y poseen un pensamiento y razonamiento matemático avanzado". La pregunta de las puertas giratorias es de nivel 3.

De igual manera se dividen el resto de destrezas, la lectora y la científica.

¿Cómo se leen los resultados? El catedrático de Sociología Julio Carabaña explicaba hace tres años de la siguiente manera la puntuación de PISA: "La puntuación media de los países de la OCDE en PISA se establece por definición en 500, y la desviación típica en 100. Con esa métrica, diferencias de 10 y hasta 20 puntos son diferencias pequeñas". La puntuación media más alta de un país en lectura en 2009 fue de 556 (Shanghái), y la más baja, 314 (Kirguistán). España obtuvo 481. Estados Unidos, 500, y Francia, 496.