Cuando el examinador es una máquina

Imagine que realiza un examen de la universidad y, en lugar de obtener la nota puesta por un catedrático unas semanas después, hace clic en el botón enviar y recibe la nota al instante, después de que el trabajo haya sido puntuado por un programa informático. Más aún: imagine que el sistema le permite reescribir inmediatamente la prueba para intentar mejorar la nota.

EdX, una empresa sin ánimo de lucro fundada por la Universidad de Harvard y el Instituto Tecnológico de Massachusetts a fin de ofrecer cursos en Internet, ha presentado este sistema y va a hacer que su software automatizado esté disponible gratuitamente en la red para cualquier institución que quiera usarlo. El programa emplea la inteligencia artificial para puntuar trabajos y breves respuestas escritas, lo que libera a los catedráticos para que puedan dedicarse a otras tareas.

Aunque los sistemas automatizados de puntuación para pruebas de respuesta múltiple y verdadero o falso ya se usan de manera generalizada, la utilización de la tecnología de la inteligencia artificial para puntuar respuestas extensas todavía no ha recibido el respaldo general de los educadores y hay muchos que la critican.

Anant Agarwal, presidente de EdX, vaticina que el software de puntuación instantánea puede ser una herramienta pedagógica útil, al permitir a los estudiantes hacer pruebas y escribir trabajos una y otra vez y mejorar la calidad de sus respuestas.

Pero los escépticos alegan que el sistema automatizado no puede igualar a los profesores reales. Les Perelman, uno de los detractores del sistema desde hace mucho tiempo, ha atraído la atención en varias ocasiones por reunir trabajos sin sentido que han engañado a los programas de calificación mediante software para que les pusiesen notas altas.

“Mi primera y principal objeción a la investigación es que no hay ninguna prueba estadística válida que compare el software directamente con la corrección por humanos”, señala Perelman, director de escritura jubilado y actualmente investigador del Massachusetts Institute of Technology.

Forma parte de un grupo de educadores que han hecho circular una petición en contra del programa de evaluación automatizada. El grupo, llamado Profesionales contra la Evaluación Automática de Trabajos de Estudiantes en Pruebas de Alto Nivel, ha recogido casi 2.000 firmas. “Afrontemos la realidad de la evaluación automática de los trabajos”, se lee en un párrafo de la declaración del grupo. “Los ordenadores no saben leer. No pueden medir los elementos esenciales de la comunicación escrita eficaz: precisión, razonamiento, suficiencia de las pruebas, sentido común, postura ética, argumentación convincente, organización lógica, claridad y veracidad”.

La herramienta de evaluación de EdX exige que profesores o correctores humanos puntúen primero 100 trabajos. El sistema usa luego técnicas de aprendizaje automático para entrenarse. Agarwal cree que el software se está acercando a las capacidades de la corrección humana. “Hay un largo camino por delante, pero las ventajas son inmensas”, explica. “Hemos descubierto que la calidad de la calificación es similar a la variación que se puede encontrar entre instructores diferentes”.

EdX no es la primera que usa la tecnología de la evaluación automatizada, que se remonta a los primeros ordenadores centrales de los sesenta. Varias empresas ofrecen programas comerciales para puntuar las respuestas de las pruebas escritas. En algunos casos, el programa se usa como un “segundo lector” para comprobar la fiabilidad de los correctores humanos.

La Universidad de Stanford, en California, anunció hace poco que trabajaría con EdX para desarrollar un sistema educativo conjunto que incorporase la tecnología de evaluación automatizada. Dos nuevas empresas, Coursera y Udacity, fundadas hace poco por miembros del profesorado de Stanford a fin de crear “cursos en Internet abiertos a todo el mundo”, también se dedican a los sistemas de evaluación automatizada. “Los estudiantes tienden de forma natural a reenviar el trabajo hasta que les sale bien”, dice Daphne Koller, fundadora de Coursera.

El año pasado, la Fundación Hewlett patrocinó dos premios de 100.000 dólares destinados a mejorar el programa de calificación de trabajos y respuestas cortas. Mark D. Shermis, de la Universidad de Akron, en Ohio, supervisó el concurso. En su opinión, la tecnología tiene un lugar en el mundo educativo. Con clases cada vez más numerosas, a la mayoría de los profesores les resulta imposible ofrecer una evaluación significativa de los trabajos escritos, afirma. Además, según Shermis, quienes critican la tecnología “a menudo proceden de instituciones muy prestigiosas en las que, de hecho, se realiza una labor de evaluación mucho mejor que la que nunca podrá hacer una máquina”. “Parece haber cierta falta de valoración de lo que sucede en el mundo real”.