Algoritmos que desafían a las leyes

El uso de algoritmos para la toma de decisiones automatizadas por parte de las empresas e instituciones es cada vez más frecuente. Y va a más. Ante esta expansión, a la que de momento no se le adivinan límites, se multiplican los expertos que alertan de los resultados injustos o perjudiciales que pueden producir para quienes se ven afectados por su aplicación. Consecuencias a las que la legislación debe dar respuesta.

El objetivo de los algoritmos es predecir situaciones futuras en forma de probabilidades, aplicando determinadas fórmulas a grandes conjuntos de datos. Sin embargo, como pone de manifiesto la matemática Cathy O’Neil en el libro Armas de destrucción matemática (Capitán Swing), este sistema plantea dos problemas. En primer lugar, que es muy habitual que los diseñadores del modelo no dispongan de los datos relativos a los comportamientos que más les interesan y que, para solventar esta carencia, acudan a otros datos sustitutivos. Por ejemplo, que se emplee para determinar el riesgo de que una persona devuelva o no un préstamo información tan poco fiable como su código postal o sus patrones de uso de lenguaje.

El segundo problema es que las fórmulas utilizadas, a pesar de su reputación de ser imparciales, reflejan los objetivos e ideología de quien las diseña. Y lo hacen, además, de una manera opaca y, por ello, incontestable para los afectados. De esta forma, los modelos pueden adoptar decisiones muy injustas o dañinas sin que, quienes las padecen, sepan los motivos ni puedan presentar oposición.

Quizás el caso más llamativo sea el del sistema informático Compas que, como explica Moisés Barrio, letrado del Consejo de Estado y abogado experto en tecnología, es una herramienta de inteligencia artificial utilizada por tribunales estadounidenses para evaluar la probabilidad de que un convicto reincida (lo que condiciona la probabilidad de que le sea otorgada la libertad condicional). El modelo no utiliza la raza del sujeto en su evaluación, pero sí considera otros criterios sesgados como su código postal de residencia. El resultado “puede ser racista”, señala Barrio, porque, en la práctica, atribuye mayores índices de peligrosidad a los afroamericanos que a los blancos.

Evaluación de solvencia

Según Paloma Llaneza, consejero delegado y responsable de información tecnológica de Razona, estos algoritmos predictivos “sesgados, no transparentes y no sujetos al escrutinio del afectado o un tercero” suelen utilizarse para establecer un rating o clasificación de los particulares que pretenden realizar algún tipo de negocio. Así, al intentar obtener un crédito o contratar un seguro, su evaluación algorítmica determina la posibilidad de acceder al dinero o el coste de contrato.

A este respecto, la catedrática de Derecho civil y vicepresidenta de la Fundación Hay Derecho, Matilde Cuena, destaca como un importante factor de riesgo para el mercado crediticio español el hecho de que en nuestro país solo se comparta información negativa sobre la morosidad. La central de Información de Riesgos del Banco de España (CIRBE) sí comparte información positiva con entidades declarantes, pero solo de operaciones cuyo riesgo acumulado supere los 9.000 euros. En opinión de Cuena, ello provoca baja calidad de los datos del modelo, lo que puede favorecer que se produzcan correlaciones espurias que conduzcan a una incorrecta evaluación de la solvencia de los clientes. Algo que puede afectar negativamente a la estabilidad del sistema financiero y llevar a otra burbuja crediticia, o cerrar el grifo del dinero a buenos pagadores.

La utilización de los algoritmos ha irrumpido de lleno en el ámbito laboral, en donde, según destaca Jesús Mercader, catedrático de Derecho del Trabajo de la Universidad Carlos III, tiene ya una proyección actual y un futuro de enorme alcance. En su opinión, el uso de estas fórmulas se puede convertir en fundamental en la gestión de los recursos humanos, lo que afectará a aspectos tan sustanciales de la vida de los trabajadores como su promoción o los sistemas de evaluación del desempeño.

Por el momento, los algoritmos ya se emplean en los procesos de selección de personal. Pero, como advierte el experto, su uso como instrumento para la definición de perfiles profesionales puede provocar resultados indeseables. Basta recordar el reciente caso del modelo utilizado por Amazon que, por haber sido entrenado con currículos de candidatos mayoritariamente hombres, penalizaba a las mujeres con independencia de su formación y experiencia.

Por el momento, la legislación no ha entrado a fondo a resolver todos estos conflictos que, por otro lado, requieren revisar algunas de las estructuras tradicionales del Derecho. El Reglamento General de Protección de Datos (RGPD) proporciona una primera línea de defensa. La norma prevé que, en el caso de las decisiones automatizadas que afecten a las personas, el interesado tiene “como mínimo” el derecho a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión. Paloma Llaneza recuerda que el RGPD también establece la obligación de informar sobre la lógica de los algoritmos utilizados, pero sin precisar el modo en que debe facilitarse esta información. Aunque se muestra escéptica: “Me temo que las empresas no quieren ser transparentes sobre dicho uso, ni sobre la fuente de los datos que los alimentan”.

Por eso Moisés Barrio propone la creación de un organismo público independiente e interdisciplinar “que vigile el buen funcionamiento de los algoritmos para asegurar que el comportamiento de las aplicaciones es correcto y es legal”. Y todo ello sin olvidar, como subraya Cathy O’Neil que “en cada caso deberemos preguntarnos no solo quién diseñó el modelo, sino también qué es lo que la persona o la empresa en cuestión intentan lograr con él”.