Por qué puede ser peligroso que un algoritmo decida si contratarte o concederte un crédito

En 2014 Amazon desarrolló una inteligencia artificial de reclutamiento que aprendió que los hombres eran preferibles y empezó a discriminar a las mujeres. Un año más tarde un usuario de Google Photos se dio cuenta de que el programa etiquetaba a sus amigos negros como gorilas. En 2018 se descubrió que un algoritmo que analizó la posibilidad de reincidir de un millón de convictos en EE UU fallaba tanto como una persona cualquiera sin especiales conocimientos judiciales o de criminalística. Decisiones que antes eran tomadas por humanos hoy en día son tomadas por sistemas de inteligencia artificial. Algunas relativas a la contratación de personas, la concesión de créditos, los diagnósticos médicos o incluso las sentencias judiciales. Pero el uso de estos sistemas conlleva un riesgo, ya que los datos con los que los algoritmos son entrenados están condicionados por nuestros conocimientos y prejuicios.

“Los datos son un reflejo de la realidad. Si la realidad tiene prejuicios, los datos también”, explica Richard Benjamins, embajador de big data e inteligencia artificial de Telefónica, a EL PAÍS. Para evitar que un algoritmo discrimine a ciertos colectivos, sostiene, hay que verificar que los datos de entrenamiento no contienen ningún sesgo y durante el testeo del algoritmo analizar el ratio de falsos positivos y negativos. “Es mucho más grave un algoritmo que discrimina de una manera no deseada en los dominios jurídicos, de préstamos o de admisión a la educación que en dominios como la recomendación de películas o de publicidad”, afirma Benjamins.

Isabel Fernández, managing director de inteligencia aplicada de Accenture, pone como ejemplo la concesión de hipotecas de manera automática: “Imaginemos que en el pasado la mayoría de los solicitantes eran hombres. Y a las pocas mujeres a las que se les concedía una hipoteca pasaban unos criterios tan exigentes que todas cumplían con el compromiso de pago. Si utilizamos estos datos sin más, el sistema concluiría que hoy en día, las mujeres son mejores pagadoras que los hombres, lo que sólo es un reflejo de un prejuicio del pasado”.

Sin embargo, las mujeres son en muchas ocasiones las perjudicadas por estos sesgos. “Los algoritmos generalmente se desarrollan porque mayoritariamente hombres blancos de entre 25 y 50 años así lo han decidido durante una reunión. Partiendo de esa base, es difícil que llegue la opinión o percepción de grupos minoritarios o del otro 50% de la población como son las mujeres”, explica Nerea Luis Mingueza. Esta investigadora en robótica e inteligencia artificial de la Universidad Carlos III asegura que los grupos infrarrepresentados siempre se verán más afectados por los productos tecnológicos: “Por ejemplo, las voces femeninas o de niños fallan más en los sistemas de reconocimiento del habla”.

“Los datos son un reflejo de la realidad. Si la realidad tiene prejuicios, los datos también”

Las minorías son más susceptibles de ser afectadas por estos sesgos por una cuestión de estadística, según afirma José María Lucia, socio responsable del centro de inteligencia artificial y análisis de datos de EY Wavespace: “El número de casos disponible para el entrenamiento va a ser menor”. “Además, todos aquellos colectivos que hayan sufrido discriminación en el pasado de cualquier tipo pueden ser susceptibles, ya que al utilizar datos históricos podemos estar incluyendo, sin darnos cuenta, dicho sesgo en el entrenamiento”, explica.

Este el caso de la población negra en EE UU, según apunta el senior manager en Accenture Juan Alonso: “Se ha comprobado que ante un mismo tipo de falta como fumar un porro en público o la posesión de pequeñas dosis de marihuana, a un blanco no le detienen pero a alguien de color sí”. Por lo tanto, sostiene que hay un porcentaje mayor de personas negras en la base de datos y un algoritmo entrenado con esta información tendría un sesgo racista.

Fuentes de Google explican que es primordial “tener mucho cuidado” al otorgar poder a un sistema de inteligencia artificial de tomar cualquier decisión por su cuenta: “La inteligencia artificial produce respuestas basadas en datos existentes, por lo que los humanos deben reconocer que no necesariamente dan resultados impecables”. Por ello, la compañía apuestan por que en la mayoría de aplicaciones la decisión final sea tomada por una persona.

La caja negra

Las máquinas terminan siendo en muchas ocasiones una caja negra llena de secretos incluso para sus propios desarrolladores, que son incapaces de entender qué camino ha seguido el modelo para llegar a una determinada conclusión. Alonso sostiene que “normalmente cuando te juzgan, te dan una explicación en una sentencia”: “Pero el problema es que este tipo de algoritmos son opacos. Te enfrentas a una especie de oráculo que va a dar un veredicto”.

“Las personas tienen derecho a preguntar cómo un sistema inteligente sugiere ciertas decisiones y no otras y las empresas tienen el deber de ayudar a las personas a entender el proceso de decisión”

“Imaginad que vais a un festival al aire libre y cuando llegáis a primera fila, los responsables de seguridad os echan sin daros una explicación. Os vais a sentir indignados. Pero si os explican que la primera fila está reservada para personas en silla de ruedas, te vas a ir para atrás pero no te vas a enfadar. Lo mismo pasa con estos algoritmos, si no sabemos lo que está pasando se puede producir un sentimiento de insatisfacción”, explica Alonso.

Para acabar con este dilema, los investigadores que trabajan en inteligencia artificial reivindican la transparencia y explicación del modelo de entrenamiento. Grandes empresas tecnológicas como Microsoft defienden varios principios para hacer un uso responsable de la inteligencia artificial e impulsan iniciativas para intentar abrir la caja negra de los algoritmos y explicar el por qué de sus decisiones.

Telefonica está organizando un reto en el área de LUCA —su unidad de datos— con el fin de crear nuevas herramientas para detectar los sesgos no deseados en los datos. Accenture ha desarrollado AI Fairness e IBM también ha desarrollado su propia herramienta que detecta sesgos y explica cómo la inteligencia artificial toma determinadas decisiones. Para Francesca Rossi, directora de ética en inteligencia artificial de IBM, la clave está en que los sistemas de inteligencia artificial sean transparentes y confiables: “Las personas tienen derecho a preguntar cómo un sistema inteligente sugiere ciertas decisiones y no otras y las empresas tienen el deber de ayudar a las personas a entender el proceso de decisión”.