Nueva York regula el uso de algoritmos en los procesos de selección para evitar prejuicios raciales o sexistas

Nueva York es el banco de pruebas de leyes pioneras en EE UU, lo que en algunos casos equivale a decir también en el resto del mundo. Entre las aprobadas recientemente, además de la que fija un sueldo mínimo para los repartidores y otra que prohíbe la discriminación laboral por razones de peso, una tercera, en vigor desde este miércoles, pone coto al uso descontrolado de la Inteligencia Artificial (IA). La nueva norma impone restricciones a la utilización de herramientas automatizadas de decisión de empleo (AEDT, en sus siglas inglesas) para impedir que el proceso de selección de personal se vea condicionado por prejuicios sexistas y raciales. Los sistemas de decisión automatizados son popularmente conocidos como algoritmos.

La ley, la primera de este tipo en el mundo según algunos expertos, estipula que los programas informáticos de contratación basados en el aprendizaje automático o la IA deben superar una auditoría realizada por una empresa externa para demostrar que están limpios de sesgos racistas o sexistas. Una herramienta automatizada de decisión de empleo (AEDT) es un programa informático que utiliza el aprendizaje automático, el modelado estadístico, el análisis de datos o la inteligencia artificial para ayudar sustancialmente a la contratación, es decir, facilitar o agilizar la elección de la persona adecuada según el algoritmo.

Según la ley de Nueva York, los empleadores o agencias de empleo que deseen utilizar AEDT deben asegurarse de que se ha realizado una auditoría de sesgos antes de utilizar la herramienta; publicar un resumen de los resultados de la auditoría en su sitio web, y notificar a los candidatos y empleados que el programa se utilizará para evaluarlos, así como incluir instrucciones para solicitar un ajuste razonable de requisitos del puesto y capacidades personales. Asimismo, la empresa deberá publicar en su sitio web un aviso sobre el tipo y la fuente de los datos utilizados para la herramienta y la política de conservación de datos. Las empresas que utilicen software AEDT de terceros ya no pueden recurrir por ley a dichos programas si no han sido auditados.

Los programas de contratación basados en IA venían siendo objeto de escrutinio por presentar sesgos de racismo, sexismo y otros prejuicios, pero ha habido que esperar a la generalización de aplicaciones como ChatGPT y Midjourney para que los congresistas e incluso muchos ejecutivos de empresas tecnológicas se planteen una regulación. Hasta ahora, el Congreso ha dado pocas pistas sobre cuáles podrían ser esos límites.

Las ciudades utilizan tecnologías algorítmicas y automatizadas para tomar todo tipo de decisiones, desde determinar la distribución del censo escolar hasta decidir si alguien debe quedar en libertad bajo fianza antes de un juicio. Pero hasta ahora existían pocas salvaguardas para garantizar que estas tecnologías tomen decisiones justas. Las primeras experiencias con herramientas de IA demostraron en los últimos años que pueden ser categóricamente injustas: por ejemplo, a finales de la pasada década se descubrió que los algoritmos utilizados por las fuerzas del orden para evaluar y puntuar los riesgos de seguridad de menores o delincuentes fichados pueden afectar de forma negativa y desproporcionada a los afroamericanos, el grupo de población más susceptible, junto con el de los latinos, de ser arrestado o interpelado por la policía.

Los expertos afirman que, aunque la nueva ley neoyorquina es importante para los trabajadores, sigue siendo muy limitada. Julia Stoyanovich, profesora de informática de la Universidad de Nueva York y miembro fundador del Grupo de Trabajo sobre Sistemas de Decisiones Automatizadas de la ciudad -el primero de este tipo en EE UU, establecido en 2018 para revisar el uso de algoritmos en los programas de la ciudad-, considera que es un comienzo importante, pero aún muy limitado. “Me alegro mucho de que la ley esté en vigor, de que ahora haya normas y de que vayamos a empezar a aplicarlas”, declaró la investigadora a NBC News. “Pero también hay muchas lagunas. Por ejemplo, la auditoría de prejuicios es muy limitada en cuanto a categorías. No tenemos en cuenta la discriminación por edad, por ejemplo, que en la contratación es muy importante, o por discapacidad”, añadió. La experta tampoco ve claro cómo se aplicará la ley ni en qué medida, pero lo cierto es que la iniciativa de Nueva York contribuye a alimentar el debate sobre el desarrollo y el uso descontrolados de la IA.

Puedes seguir a EL PAÍS Tecnología en Facebook y Twitter o apuntarte aquí para recibir nuestra newsletter semanal.