Algoritmos en sustitución de examinadores humanos

Los exámenes estándar de final del curso escolar en Estados Unidos suelen incluir una redacción, lo cual exige la contratación de humanos para calificarlas una a una. Ahora, un concurso para comprobar en qué medida pueden predecir unos algoritmos presentados por estadísticos profesionales y genios de la estadística las puntuaciones asignadas por evaluadores humanos ha demostrado que son inquietantemente precisos.

El concurso fue organizado por Kaggle, una página web que celebra competiciones de modelos predictivos, lo cual brinda a los clientes la ventaja de una multitud internacional de estadísticos. El lema de Kaggle es: “Estamos convirtiendo la estadística en un deporte”. Algunos de sus clientes ofrecen premios cuantiosos a cambio de la propiedad intelectual utilizada en los modelos ganadores.

En el concurso de puntuación de redacciones que acaba de concluir participaron 159 equipos. Al mismo tiempo, la Hewlett Foundation, de Menlo Park, California, patrocinó un estudio sobre motores automáticos de calificación de redacciones que ahora se ha puesto a la venta. Los investigadores descubrieron que arrojaban unas puntuaciones prácticamente idénticas a las de los evaluadores humanos.

Barbara Chow, directora de programas educativos en la Hewlett Foundation, explica: “Habíamos oído decir que los algoritmos creados por máquinas son tan buenos como los evaluadores humanos, pero queríamos crear una plataforma neutral y justa para valorar las diversas afirmaciones de los vendedores. Y resulta que dichas afirmaciones no son exageradas”.

Los algoritmos ofrecen una medición muy rudimentaria, la asignación de una única puntuación, por ejemplo, a la redacción de un alumno de séptimo curso, y no un comentario sobre el uso de la metáfora en un seminario de escritura creativa de un universitario de último curso. Pero el programa rebaja notablemente el coste de la puntuación de una redacción, que asciende a dos o tres dólares cada una, y es posible que incluso lo elimine.

Y cuando sea más sofisticado, en lugar de que el profesor llene la redacción de marcas para indicar errores, podría hacerlo el programa. Este también podría proporcionar sin esfuerzo explicaciones completas y ejercicios prácticos.

“Dar a los estudiantes un comentario crítico instantáneo sobre gramática, puntuación, léxico y estructura sintáctica hará que se encarguen más redacciones y permitirá a los profesores concentrarse en aptitudes más relevantes”, comenta Tom Vander Ark, consejero delegado de OpenEd Solutions, una asesoría que trabaja con la Hewlett Foundation.Los docentes todavía tendrían que juzgar el contenido de las redacciones, ya que los estudiantes pueden engañar al programa introduciendo datos absurdos en los que un humano repararía, pero el ordenador, no.

Jason Tigg, que reside en Londres y forma parte del equipo que ganó el concurso de evaluación de redacciones en Kaggle, es un corredor de bolsa que utiliza extensas series de datos sobre precios. Pero el programa de puntuación de redacciones que desarrollaron él y sus compañeros de equipo emplea unas series de datos relativamente pequeñas y PC corrientes, así que la infraestructura adicional para las escuelas sería nula.

Los ordenadores portátiles de los estudiantes todavía no tienen instalado el incansable instructor de escritura virtual, pero un modelo estadístico mejorado puede hacer que eso llegue pronto.