Asilo, educación o trabajo: los derechos fundamentales que la IA puede socavar en Europa

Los mecanismos de control impuestos por Bruselas a las herramientas de inteligencia artificial (IA) no son suficientes para garantizar que respeten los derechos fundamentales. Así lo cree la Agencia de la UE para los Derechos Fundamentales (FRA), que ha analizado la incidencia de la IA en cinco áreas consideradas de alto riesgo: asilo, educación, laboral, aplicación de la ley y beneficios sociales.

El informe que publica este jueves el FRA supone un revés para la Comisión, que hace tan solo dos semanas concedió a las tecnológicas 16 meses adicionales para que puedan adaptar sus herramientas de IA de “alto riesgo” a la normativa europea. Para esta agencia independiente de la UE, la normativa europea no tiene bien resuelto cómo abordar los sistemas de alto riesgo. Es más: las propias empresas que los desarrollaron tampoco saben cómo prevenir su posible vulneración de derechos fundamentales.

Los casos revisados incluyen el uso de IA en solicitudes de empleo; más concretamente, en herramientas que filtran y ponderan currículos. También analizan mecanismos automáticos para determinar si alguien puede o no recibir una ayuda por discapacidad, así como herramientas de vigilancia de exámenes o de medición de la capacidad lectora de los niños. “Estos sistemas deben de ser confiables, en tanto que pueden moldear decisiones importantes que afectan a la vida diaria de la gente”, señala el informe.

La agencia concluye que los proveedores de este tipo de sistemas son conscientes de los problemas que pueden causar en materia de protección de datos o de discriminación de género, pero no tienen en cuenta que también pueden vulnerar derechos fundamentales. Por ejemplo, las herramientas que evalúan las capacidades lectoras de los niños no consideran cómo puede afectar su veredicto al derecho a la educación del menor.

En vigor desde agosto de 2024, aunque su implementación total estaba fijada para dos años más tarde, el reglamento europeo de IA clasifica los sistemas de inteligencia artificial en función de los riesgos que implica su aplicación para la ciudadanía y les asigna distintas obligaciones y requisitos a cumplir. Por ejemplo, las herramientas de “riesgo nulo”, como los detectores de spam, no tienen restricción alguna, mientras que las de “riesgo inaceptable” (las “que trasciendan la conciencia de una persona”, las que exploten sus vulnerabilidades o las que infieran emociones, raza u opiniones políticas) directamente están prohibidas.

Un escalón por debajo de las prohibidas están las aplicaciones de “alto riesgo”, que requieren de una supervisión permanente. Se incluyen en esta categoría los sistemas de identificación biométrica remota, los sistemas de categorización biométrica, los que afecten a la seguridad de las infraestructuras críticas y los relacionados con la educación, el empleo y la prestación de servicios públicos esenciales, la aplicación de la ley o la gestión de la migración.

Desconcierto en la industria

La Comisión decidió hace dos semanas retrasar 16 meses el inicio de la supervisión de estos sistemas. El argumento de Bruselas: antes de imponer el cumplimiento de la norma, deberán haberse publicado los estándares de lo que es y no es aceptable que hagan estas herramientas, y eso todavía no ha sucedido.

El informe del FRA, realizado a partir de entrevistas a proveedores, operadores y expertos, revela que “muchos de quienes desarrollan, venden o usan sistemas de IA de alto riesgo no saben cómo evaluar sistemáticamente o mitigar los riesgos” que implican estas herramientas en materia de derechos fundamentales.

La agencia considera que la autorregulación, el trabajo que puedan hacer por su cuenta los proveedores de IA para evaluar el potencial de riesgo de sus sistemas, es relevante, pero “no tiene en cuenta de manera sistemática los derechos fundamentales”.