Los peligros de que la inteligencia artificial vaya al cole

Cuando hay niños por medio, las excelentísimas decisiones basadas en datos las carga el diablo. Esta sería la moraleja del tercer caso de estudio ficcional creado por la Universidad de Princeton para fomentar el debate sobre los futuros tropiezos de la inteligencia en su intersección con nosotros, los indefensos humanos de carne, hueso y sentimientos.

En esta ocasión, los hechos ocurren en un instituto público de Pittsburg (Pensilvania) obsesionado con mejorar el rendimiento de los alumnos. Los niños complican la ecuación, pero no es que la cosa mejore mucho cuando solo tenemos adultos en los datasets. Cualquier paso en falso puede conducir a un atropello a la privacidad, el necesario respeto a la condición humana del prójimo y la transparencia. Así sucedió en el Minerva High School.

• Un director en apuros

El señor Vulcani, director del instituto, tenía un problema con sus estudiantes. Uno de cada diez dejaba el centro antes de completar sus estudios y el 45% necesitaban cursos extra para conseguir graduarse. De la mejora de estas cifras dependían la financiación e incluso la supervivencia del centro.

A falta de hadas madrinas, la institución optó por sacar provecho a la ingente cantidad de información que ya estaban recopilando sobre el comportamiento de los chavales. En estas bases de datos no solo había expedientes académicos y de conducta. Buena parte de la infraestructura y procesos del centro estaban adaptados a la interacción con tarjetas magnéticas: la puerta de la librería, la asistencia a clase, las máquinas de snacks... Hasta el WiFi del instituto monitorizaba el uso de internet en los móviles de los alumnos y sus movimientos por el recinto con gran precisión.

Más información

Los peligros de un mundo de algoritmos cotillas

Los peligros de confiar ciegamente en una ‘app’

• Una decisión regulera

Todos estos sacos y sacos y sacos de información procedentes de varios años de enseñanza y concentrados en formato digital se pusieron entonces a disposición de una empresa local de data science, Hephaestats, que con la habitual grandilocuencia había prometido al centro profundizar en sus procesos de negocio "a través de novedosas aproximaciones que emplean inteligencia artificial".

Dadas las prisas por corregir la situación, el señor Vulcani se saltó la parte de informar a los padres de este trámite y pedir las autorizaciones oportunas para el uso de los datos. Argumentó que la decisión contaba con el apoyo de la junta educativa y entraba dentro de sus competencias.

• ¿Un éxito?

Al cabo del análisis Hephaestats identificó ocho variables cuya interacción bastaba para predecir el abandono escolar con un 92% de precisión: excesiva ambición en la selección de asignaturas, responsabilidades domésticas, deficiencias nutricionales... Con este sistema se identificaron los alumnos de riesgo y se elaboraron perfiles para que los docentes pudieran entender mejor cada caso y actuar en consecuencia.

También se introdujeron cambios administrativos: las comidas más azucaradas se eliminaron de la cafetería y los profesores recibieron la instrucción de centrarse más en los estudiantes con problemas que en aquellos de los que ya se podían esperar buenos resultados.

Al cabo del año lectivo, el Minerva High School, las cifras del horror habían sido reemplazadas por otras que reflejaban rendimientos superiores a la media. Vulcani calificaba la mejora como "encomiable" y se deshacía en elogios para Hephaestats, su salvadora.

• No, un marrón

Más tarde que pronto, llegó el momento de comunicárselo a padres y alumnos, que escenificaron una acogida bastante menos cálida que la de Vulcani. La mejora del rendimiento se vio empañada por la preocupación por el modo en que se había utilizado la información de los menores y la noticia de que el plan del instituto era continuar con la recopilación de datos para mejorar la precisión de las predicciones. Al malestar de los padres se unieron entonces otros profesores que habían asistido a los cambios con desasosiego.

Las críticas se centraron en tres asuntos:

1. Privacidad. La descortesía de preguntar primero quedaba en una anécdota al considerar el volumen de datos personales que se habían puesto al alcance de una entidad comercial.
2. Deshumanización de alumnos y profesores. Aunque el sistema se vendía como beneficioso para los alumnos, los críticos argumentaron que en realidad estaba pensado para mejorar la posición del instituto en los ránkings. Los alumnos se sentían ratas de laboratorio y los profesores veían como un sistema de inteligencia artificial anulaba su formación, experiencia e intuición.
3. Transparencia. Si te dijeran que un algoritmo va a tomar cartas en tu futuro, ¿no te gustaría saber cómo funciona?

Por si fuera poco, algunos profesores adujeron ellos ya habían propuesto parte de los cambios que habían obrado el milagro, incluso antes de la triunfal llegada de Hephaestats. La empresa de data science se llevó también alguna que otra acusación de vender la moto con su inteligencia artificial. Un profesor de matemáticas escribió una carta al periódico denunciando que lo único que estaban haciendo era aplicar modelos estadísticos que ya estaban inventados.

• ¿Cómo lo ve Princeton?

1. Privacidad. "Al diseñar un sistema de gobernanza de inteligencia artificial, es inevitable hacer algunas concesiones. Por ejemplo, la privacidad individual debe contraponerse al deseo de alcanzar fines sociales legítimos".
2. Autonomía. "La autonomía es la habilidad de un individuo para tomar decisiones y actuar por sí mismo. Hephaestats y otros sistemas pueden poner en riesgo este valor"
3. Retórica. "El uso del lenguaje es muy importante, especialmente al retratar y describir nuevas tecnologías. Hephaestats eligió etiquetar su solución como 'inteligencia artificial', pero también podrían haber nombrado su aproximación como un asunto de ciencias sociales o estadística".