¿Quién vigila que los algoritmos no sean racistas o sexistas?

Imagine que se pudieran saber las probabilidades de que un recién nacido vaya a ser maltratado durante sus primeros cinco años de vida. ¿Merecería la pena invertir recursos para tener esa información? Ciertamente, sería de ayuda para los servicios de asistencia social: contar con una lista de los niños con mayor riesgo permitiría monitorizar su situación.

Esa visión fue la que impulsó el desarrollo en Nueva Zelanda de un sistema que, basado en 132 variables (edad de los padres, salud mental, historial delictivo, receptores o no de ayudas…), daba una puntuación de las posibilidades que tenían los recién nacidos de sufrir maltratos. El programa se hizo público en 2014 y se paró al año siguiente, gracias a una investigación que demostró que el sistema se equivocaba en el 70% de los casos.

El motor de ese programa era un algoritmo, es decir, una receta o set de instrucciones que se aplica sobre un conjunto de datos de entrada para resolver un problema. Puede que crea que lo más cerca que está en su vida diaria de un algoritmo es cuando hace una búsqueda en Google. O cuando Spotify le descubre una banda que encaja en sus gustos musicales. Nada de eso: nadamos entre ellos. Un algoritmo a menudo decide si se es merecedor o no de una oferta de trabajo interesante. O si a un banco le conviene darle un crédito.

Más información

Seis cosas que quizá no sabías de los algoritmos

En realidad, ¿qué [...] es exactamente un algoritmo?

Los algoritmos están en todas partes. El ejemplo de Nueva Zelanda pone sobre la mesa dos cuestiones de peso. Primero, no solo los usan las empresas privadas: las instituciones públicas también recurren a ellos para tomar decisiones relevantes. Segundo, los algoritmos se equivocan, y esos errores pueden arruinarle la vida.

La matemática y activista Cathy O’Neil dice que los algoritmos son “opiniones encerradas en matemáticas”. Dependiendo de quién construya esos modelos, qué variables tenga en cuenta y con qué datos se les nutra, darán uno u otro resultado. “Solemos pensar que los algoritmos son neutros, pero no es así. Los sesgos son estructurales y sistémicos, tienen poco que ver con una decisión individual”, explica Virginia Eubanks, profesora de Ciencias Políticas de la Universidad de Albany (Nueva York) y autora de Automating inequality, un libro que bucea en los sesgos socioeconómicos de los algoritmos con un subtítulo significativo: Cómo las herramientas tecnológicas perfilan, controlan y castigan a los pobres.

Eubanks habla en su libro del mencionado sistema de Nueva Zelanda y de otros tantos que funcionan en Estados Unidos. Uno de ellos determina quiénes de los 60.000 sin techo de Los Ángeles tienen derecho a recibir o no alguna ayuda pública; otro, supuestamente diseñado para otorgar beneficios sociales de manera objetiva en Indiana, tuvo que ser cerrado cuando se descubrió que fomentaba recortes en la Administración, que casualmente atravesaba estrecheces presupuestarias, al dejar fuera del sistema a contribuyentes que reunían los requisitos para recibir las ayudas.

Hay otros ejemplos más llamativos. En el condado de Allegheny (Pittsburgh, Pensilvania), un algoritmo de la Oficina de Niños, Jóvenes y Familias trata de predecir el comportamiento futuro de los padres para evitar abusos o maltratos. Lo hace especulando qué es probable que hagan los sujetos analizados basándose en los patrones de comportamiento que mostraron individuos similares en el pasado.

Todo ello a partir de datos públicos, lo que, tal y como demuestra la autora, supone ya una importante discriminación socioeconómica (en EE UU quienes recurren al sistema público son quienes no pueden pagarse el privado). Colegio público, oficina de vivienda, servicio de desempleo, policía del condado… Las personas que se relacionan con estas instituciones son más pobres que ricas, desde luego. Y en EE UU, entre los pobres hay una sobrerrepresentación de negros, latinos y otras minorías étnicas.

Los algoritmos tienen prejuicios: ellos son informáticos y ellas, amas de casa

Las familias ricas, explica Eubanks, también pueden ser disfuncionales, pero el sistema del condado de Allegheny no lo reconocería: las clínicas de desintoxicación o los psiquiatras, por ejemplo, no están dentro del sistema público y por tanto no computan para el algoritmo. “¿Es correcto que el sistema castigue desproporcionadamente a los más vulnerables? ¿Tolerarían los más ricos que se usasen sus datos de este modo? Evidentemente no”, estalla indignada la neoyorquina. “Debemos reflexionar sobre lo que estamos haciendo, qué dice de nosotros como sociedad que se automatice la decisión de si unos padres cuidan bien o mal de sus hijos”, añade.

“En los niveles más altos de la economía, son los seres humanos los que toman las decisiones, aunque utilicen los ordenadores como herramientas útiles. Pero en los niveles intermedios, y especialmente en los más bajos, gran parte del trabajo está automatizado”, escribe O’Neil en Armas de destrucción matemática. Si a un licenciado en la facultad de Derecho de Stanford le dicen en la entrevista de un prestigioso bufete de abogados que su nombre figura en el sistema asociado a un arresto por crear un laboratorio de metanfetaminas, el entrevistador se reirá, pensando que la máquina se ha equivocado, y continuará con la entrevista. Si un algoritmo determina que un padre no es suficientemente responsable, los riesgos que corre son de todo menos anecdóticos.

• Ciudadanos solventes

A quien vive en EE UU, hay algoritmos que le clasifican como ciudadano solvente o no en función de las probabilidades de que devuelva un préstamo, calculadas a partir de su historial crediticio, nivel de ingresos y otros datos. Su puntuación determinará el tipo de interés que le ofrezcan los bancos, lo que en el caso de una hipoteca puede significar miles de dólares al año. Incluso puede afectar a sus oportunidades laborales, en tanto que hay empresas que no se fían de quienes tienen deudas.

Los sofisticados modelos que sopesan la calificación crediticia de las personas son opacos. “Esta herramienta es demasiado determinante en el éxito o fracaso de las personas como para funcionar envuelta en el secretismo”, espeta Frank Pasquale. Este jurista, profesor de Derecho en la Universidad de Maryland, publicó en 2015 The black box society. The secret algorithms that control money and information, un libro que indaga en la opacidad de los algoritmos que más afectan a nuestras vidas.

Las filtraciones de Edward Snowden demostraron que la NSA usa datos de empresas como Google o Facebook para vigilar a los ciudadanos. Y estas empresas, que disfrutan de una posición cuasi monopolística en el mercado, lo saben casi todo de nosotros. “Puede que no podamos frenar la recolección de datos sobre nosotros mismos, pero sí podemos regular cómo se usan”, asevera Pasquale. “Hay compañías que hacen un cierto dibujo de las personas y sobre él estructuran oportunidades para cada individuo. Por ejemplo, sabemos que hay ciertos productos inmobiliarios, financieros o médicos que se ofrecen a las personas más vulnerables con mensajes a veces fraudulentos”, explica.

“Estamos construyendo una vasta representación 3D y en tiempo real del mundo. Un registro permanente de nosotros mismos. Pero, ¿qué significado tienen estos datos?”, se preguntaba en 2015 el profesor de medios digitales Taylor Owen en su artículo La violencia de los algoritmos (en Foreign Affairs). La respuesta es perturbadora. Muchos de los fallos que tienen los algoritmos aplicados a cuestiones sociales tienen que ver con un error de base: los algoritmos trabajan sobre probabilidades, no con certezas. A menudo se confunden ambas cosas.

• Reglas claras

Si no se establecen reglas claras en torno a la utilización de datos, pronto nos podremos llevar alguna sorpresa desagradable. Por ejemplo, una vez que las empresas hayan acumulado ingentes cantidades de información sobre la salud de sus empleados, se pregunta O’Neil en su libro, ¿qué les impedirá elaborar calificaciones de salud y usarlas para filtrar a los candidatos a un puesto de trabajo? Muchos de los datos sustitutivos que pueden usar en esa tarea, como los pasos dados en un día o los patrones de sueño, no están protegidos por la ley y es legal usarlos. Si las empresas rechazan a aspirantes por su calificación crediticia, tiene sentido que lo hagan también por su salud.

Pero no adelantemos acontecimientos. Lo que sabemos hoy es que los algoritmos demuestran tener prejuicios raciales y de género cuando se les encomienda la selección de personal. Ante la avalancha de currículums que suelen recibir muchas de las grandes multinacionales estadounidenses, es muy común que cada compañía desarrolle lectores de CV para hacer un primer filtrado. Y estos cribados no son neutros. Un grupo de investigadores del MIT envió en 2002, cuando estos sistemas todavía no estaban generalizados, 5.000 currículums a ofertas de trabajo publicadas en periódicos. La mitad de los perfiles inventados tenían nombres típicamente blancos, como Emily Wash, y la otra mitad nombres típicamente negros, como Jamaal Jones.

Los resultados fueron significativos: los perfiles blancos recibieron un 50% más de llamadas. Los sesgos por género también son habituales en la selección de personal. O’Neil explica en su libro cómo la introducción de biombos en las audiciones de músicos multiplicó por cinco la presencia femenina en las orquestas que apostaron por esta práctica.

En un artículo ya clásico firmado por un grupo de profesores de la Universidad de Boston, los autores demostraron que los sistemas de machine learning tienen sesgos sexistas porque en la fuente de datos más habitual, esto es, Internet, abundan asociaciones de conceptos que llevan a la máquina a establecer correlaciones como ama de casa-ella o genio-él. O dicho de otro modo: el algoritmo reproduce los sesgos que de hecho existen en los registros.

• Robots sociales

La ingeniera informática estadounidense de origen ganés Joy Buolamwini se dio cuenta un buen día cuando estudiaba en el MIT de que un robot en el que trabajaba no era capaz de reconocer su rostro. Meses después le pasó lo mismo con un robot social que probó durante una visita en Hong Kong. Cuando se ponía una máscara blanca, la cosa cambiaba.

¿Casualidad? Resulta que ambos sistemas habían usado el mismo software de reconocimiento facial basado en machine learning. “Si tu rostro se desvía demasiado de los patrones que le has dado al sistema para que aprenda, no te detectará, como me pasó a mí”, cuenta en una charla TED colgada en Youtube que acumula más de un millón de visualizaciones. “Los algoritmos, como los virus, pueden propagar sesgos a escala masiva y a un ritmo acelerado”, añade en la grabación. Este tipo de errores son demasiado comunes.

Sin ir más lejos, Google etiquetó hace unos años a tres jóvenes negras como gorilas. La investigadora decidió tomar cartas en el asunto: fundó la Algorithmic Justice League para denunciar los sesgos de los algoritmos, servir de altavoz para que la gente exponga casos de abuso y desarrollar códigos de buenas prácticas en el diseño de estos sistemas. En Europa también tenemos organizaciones que monitorizan los algoritmos.

Dos de las más importantes han sido fundadas por Lorena Jaume-Palasí. Filósofa de formación, a la mallorquina hace tiempo que le interesa la dimensión ética de la automatización y la digitalización. Es cofundadora de AlgorithmWatch, una organización afincada en Berlín (donde reside) que analiza la ética de los procesos algorítmicos. Recientemente abandonó la ONG y ha fundado otra, The Ethical Tech Society, que se centra más en la relevancia social de los sistemas automáticos. “La conversación que tenemos desde hace años sobre los sistemas algorítmicos está basada más en el miedo que en riesgos reales. Hacía falta crear una ONG que lanzase posiciones normativas fundadas en hechos”, explica.

Buena parte de los errores se podrían detectar y solucionar fácilmente. Como los equipos que desarrollan los algoritmos no son interdisciplinares (no entienden de derecho, sociología o ética), crean sistemas que, bajo su punto de vista, están muy bien hechos. Aunque operen sobre campos en los que no están formados y tan complejos como la educación, la sanidad u otros servicios públicos. “Las métricas para evaluar estos sistemas están desarrolladas por la misma gente que los ha creado, con lo que tienes un círculo vicioso: están midiendo lo que creen que tienen que medir”, señala. Jaume-Palasí quiere desarrollar estándares de buenas prácticas, ayudar a que la tecnología cumpla su cometido y no estorbe. En The Ethical Tech Society trabaja en nuevos métodos para evaluar estos sistemas. “He desarrollado un test de penetración ético. Los hackers usan tests de penetración para entender cuál es la integridad o vulnerabilidad de un sistema; a mí me sirven para ver si hay algún tipo de laguna o conflicto ético”.

¿Contribuirá a evitar que se desarrollen más algoritmos como los denunciados por Eubanks? Quizás. ¿Estamos a salvo en Europa de ese tipo de algoritmos, presentes en EE UU y, en grado superlativo, en China? No. “He encontrado un caso alarmante en España, un sistema que emplean instituciones estatales”, alerta Jaume-Palasí. “Estoy negociando con ellos para que lo paren. Si no me hacen caso, sabréis de ello”.