La inteligencia artificial en la universidad

Dentro de los usos de las nuevas tecnologías en el ámbito de la educación, la inteligencia artificial ha adquirido un papel preponderante en el imaginario colectivo. Sin embargo, pese a que los procesos de enseñanza/aprendizaje son particularmente delicados por sus implicaciones y consecuencias, no todas las aplicaciones de la IA tienen las mismas repercusiones. Como explican Wang, Kapoor, Barocas y Narayanan (Against predictive optimization-SSRN, 2022), los sistemas que usan aprendizaje automático para predecir resultados futuros y toman decisiones sobre individuos con base en esas predicciones presentan un mayor número de problemas relacionados con la equidad, la imparcialidad, la justicia, la protección de colectivos vulnerables o la mitigación de desigualdades.

Como ejemplo de este tipo de sistemas bienintencionados, consideremos uno destinado a prevenir el abandono en un grado universitario. Es posible desarrollar un modelo de IA que prediga la nota de cada estudiante al final de su primer año de universidad exclusivamente a partir de los datos que consigne en su solicitud de matrícula, con el objetivo de identificar personas que estén en riesgo inicial de abandono e intervenir pronto sobre ellas.

Las empresas que comercializan estas aplicaciones promocionan sus productos presentándolos como capaces de predicciones “precisas”, “imparciales” y “eficientes”. Sin embargo, hay un conjunto de limitaciones severas que son inherentes a este tipo de aplicación de la IA y que erosionan fatalmente su legitimidad. Veamos algunas:

A. Buenas predicciones no tienen por qué llevar a buenas decisiones. Un sistema algorítmico está basado en datos, pero estos no incluyen información sobre el efecto de futuras intervenciones: no se optimiza el impacto real de las mismas. Por ejemplo, puede haber estudiantes para quienes la predicción indique que están en riesgo de abandono, pero esto puede deberse a que, pongamos, estén en mitad de una mudanza. En casos como ese, la intervención será obviamente mucho menos eficaz. La misma intervención, decidida por una persona, al menos ofrecerá mecanismos para ser revertida (un correo al equipo docente sería suficiente). Las intervenciones automáticas pueden afectar irremediablemente a lo predicho, y también se comprueba que la agregación de predicciones individuales óptimas no tiene por qué llevar a una decisión global óptima. Finalmente, algunos tipos de intervenciones se adaptan mejor a una formulación predictiva que otros. Esto restringe las intervenciones concebibles, y puede resultar en que quienes toman las decisiones descarten aquellas no basadas en IA, pese a que podrían llevar a mejores resultados. Por ejemplo, puede ser más fácil imaginar un sistema para predecir si un trabajo ha sido plagiado usando ChatGPT que preguntarse si un enunciado que pueda ser respondido mediante ChatGPT es un enunciado adecuado que permite testar si el alumnado ha adquirido las competencias necesarias.

B. Es difícil medir aquello que realmente nos preocupa ya que, generalmente, lo que queremos predecir no es directamente observable: es un “constructo”. Así, en su lugar, es necesario conformarse con variables que pueden, de forma indirecta, acercarse a una representación del constructo. Por ejemplo, usamos las notas medias como indicador de éxito en el aprendizaje, pese a la cantidad de evidencias de las limitaciones de los exámenes como forma de evaluación. El hecho de que el propio constructo no sea medible supone que siempre habrá un desajuste entre el objetivo de la predicción (la variable medible) y lo que supuestamente mide. Por supuesto, esto pone en cuestión cualquier afirmación sobre la precisión del sistema.

C. Los datos de entrenamiento no suelen ser representativos de los datos reales, y, como sabe cualquier estudiante de IA, cuando esto sucede es arriesgado hacer afirmaciones sobre las bondades del modelo. Pueden ocurrir variaciones en la distribución de probabilidad de los datos por múltiples motivos. Por ejemplo, la población usada para entrenar es, frecuentemente, distinta de la población objetivo. Puede que solo haya datos de un subconjunto de personas, o que la población evolucione o, peor, que la propia intervención del sistema la hagan evolucionar.

D. Si el objetivo es predecir comportamientos, tenemos que asumir que no todo es predecible (con o sin IA). Hay muchos motivos por los que las predicciones están condenadas a ser imperfectas: algunos prácticos (por ejemplo, los límites a la capacidad de observar las vidas de las personas afectadas) y otros más fundamentales, como que ciertas decisiones son con frecuencia fruto del momento: actos irreflexivos que es imposible predecir. Todo esto contradice una de las promesas de la IA: la precisión. Esta es clave para que las instituciones consigan sus objetivos, por ejemplo, evitar el abandono del alumnado, o recomendarles materiales o cursos. Si las predicciones fueran aleatorias, la gente perdería confianza en la institución. Sin embargo, no está claro del todo qué nivel concreto de precisión resulta aceptable en cada caso. No existe un consenso acerca de qué constituye un nivel de precisión aceptable en cada caso, y cómo deberían ponderarse los costes relativos de los falsos positivos y los falsos negativos.

E. Los algoritmos no funcionan igual para distintos colectivos: no es posible mitigar los sesgos porque la desigualdad depende de condiciones subyacentes. Al tratar de intervenir en esto, es frecuente poner el foco en la parte técnica del sistema. Sin embargo, es difícil que una intervención sobre el algoritmo para mitigar desigualdades estadísticas cambie las condiciones de partida que dieron lugar a las desigualdades. También es importante recordar que la mejor intervención en una situación dada no tiene por qué ser algorítmica. El problema es que las medidas no algorítmicas, que ahondan con más profundidad en la realidad y que generalmente involucran a personas, son costosas y están en conflicto con otra promesa de la IA: la corrección tecnológica de sesgos humanos.

F. Dado que son imperfectos y tienen tasas de error distintas de cero, los algoritmos decisorios en contextos humanos requieren mecanismos accesibles para entender e impugnar las decisiones. Debe haber una explicación acompañando cada decisión, y la primera debe permitir a cualquiera entender por qué fue tomada la segunda, incluyendo los datos personales involucrados así como detalles sobre el modelo utilizado. Además, ha de existir un procedimiento accesible para revisar y corregir las decisiones que sean impugnadas. Sin embargo, dada la complejidad de estos sistemas caja-negra, la inclusión de mecanismos de impugnabilidad requeriría muchos recursos humanos y técnicos (recolectar y presentar los datos usados, interpretar las decisiones, educar a los sujetos de las mismas acerca del mecanismo de toma de decisiones, revisar las impugnaciones…), cosa que pone en cuestión su mayor eficiencia.

En definitiva, esta acumulación de carencias inherentes a los sistemas decisorios sobre personas a partir de predicciones basadas en técnicas de aprendizaje automático afecta de forma crucial a su legitimidad. Pese a que ciertamente pueden existir formas de aliviarlas en casos concretos, la carga de prueba queda del lado de las empresas comercializadoras. Es evidente que hoy en día la IA es una tecnología inmadura. Por eso, universidades y otras instituciones deberían aplicar un principio de prudencia radical a la hora de optar por soluciones basadas en IA para intervenir en los procesos de enseñanza y aprendizaje, ya que los principios básicos de su función social pueden verse gravemente afectados.