“Los privilegiados son analizados por personas; las masas, por máquinas”

Cathy O'Neil (Cambridge, 1972), doctora en matemáticas por la Universidad de Harvard, cambió el mundo académico por el análisis de riesgo de inversión de la banca. Pensaba que esos fondos eran neutros desde el punto de vista ético, pero su idea no tardó en derrumbarse. Se dio cuenta de "lo destructivas" que pueden ser las matemáticas, y dio un cambio radical: se sumó al grupo de banca alternativa del movimiento Occupy Wall Street —nacido en 2011 en Nueva York para protestar contra los abusos del poder financiero— y comenzó su lucha para concienciar sobre cómo el big data "aumenta" la desigualdad y "amenaza" la democracia.

Más información

Los renegados de Silicon Valley que ahora quieren frenar a las tecnológicas

“Los ricos temen la rebelión de las máquinas, no tienen otra cosa de la que preocuparse”

La autora del libro Armas de destrucción matemática (Capitán Swing, 2017), que también asesora a startups, defiende que los algoritmos generan injusticias porque se basan en modelos matemáticos diseñados para replicar prejuicios, equivocaciones y sesgos humanos. "La crisis financiera dejó claro que las matemáticas no solo están involucradas en muchos de los problemas del mundo, sino que los agravan", considera.

O'Neil, que participó hace unas semanas en un foro sobre el impacto de los algoritmos en las democracias, organizado por Aspen Institute España y la Fundación Telefónica, contestó a las preguntas de EL PAÍS. 

Pregunta. Afirma en su libro que las matemáticas son más importantes que nunca en los asuntos humanos.

Respuesta. No creo que sean las matemáticas, sino los algoritmos. Ese es parte del problema; estamos trasladando nuestra confianza en las matemáticas a unos modelos que no entendemos cómo funcionan. Detrás, siempre hay una opinión, alguien que decide qué es importante. Si miramos las redes sociales, hay sesgos. Por ejemplo, se ordenan los contenidos en función de quién habla más en Twitter o Facebook. Eso no son matemáticas, sino discriminaciones hechas por humanos. La persona que diseña el algoritmo define qué es el éxito.

P. Detrás de los algoritmos hay matemáticos. ¿Son conscientes del sistema de sesgos que están creando?

R. No son necesariamente matemáticos, sino expertos que puedan lidiar con fórmulas lógicas y tengan conocimientos de programación, estadística o matemáticas. Saben trasladar la forma de pensar de los humanos a los sistemas de procesamiento de datos. Muchos de ellos, ganan mucho dinero con ello y aunque desde el punto de vista técnico son capaces de detectar esos fallos, prefieren no pensar en ello. En empresas como Google, hay quienes se dan cuenta, pero si  manifiestan su compromiso con la justicia, los abogados de la compañía les recordarán que se deben a los accionistas. Hay que maximizar los ingresos. No hay suficientes incentivos para transformar el sistema, para hacerlo más justo. El objetivo ético no suele ir acompañado de dinero.

No necesitas formación matemática para entender que una decisión tomada por un algoritmo es injusta

P. Denuncia que los algoritmos nos son transparentes, que no rinden cuentas de su funcionamiento. ¿Cree que los Gobiernos deben regular?

R. Son opacos incluso para los que los diseñan que, en muchas ocasiones, no están lo suficientemente pagados como para entender cómo funcionan. Tampoco comprueban si cumplen con la legalidad. Los Gobiernos deben legislar y definir, por ejemplo, qué convierte a un algoritmo en racista o sexista. 

P. En su libro menciona un caso de una profesora en Estados Unidos a la que echaron por decisión de un algoritmo. ¿Cree que se puede medir la calidad humana con un sistema informático?

R. El distrito escolar de Washington empezó a usar el sistema de puntuación Mathematica para identificar a los profesores menos productivos. Se despidió a 205 docentes después de que ese modelo les considerara malos profesores. Ahora mismo no podemos saber si un trabajador es eficiente con datos. El dilema si es o no un buen profesor no se puede resolver con tecnología, es un problema humano. Muchos de esos profesores no pudieron reclamar porque el secretismo sobre cómo funciona el algoritmo les quita ese derecho.  Al esconder los detalles del funcionamiento, resulta más difícil cuestionar la puntuación o protestar. 

P. ¿Cuál es la clave para poder hacerlo en el futuro?

R. Es un experimento complicado. Primero tiene que haber un consenso entre la comunidad educativa sobre qué elementos definen a un buen profesor. Si se quiere valorar si genera la suficiente curiosidad en el alumno como para que aprenda, ¿cuál es la mejor fórmula para medirlo? Si nos metemos en un aula y observamos, podremos determinar si el docente está incluyendo a todos los estudiantes en la conversación, o si consigue que trabajen en grupo y lleguen a conclusiones o solo hablan entre ellos en clase. Sería muy difícil programar un ordenador para que lo haga. Los expertos en datos tienen la arrogancia de creer que pueden resolver esas cuestiones. Ignoran que primero hace falta un consenso en el campo educativo. Un estúpido algoritmo no va a resolver una cuestión sobre la que nadie se pone de acuerdo. 

Sería muy difícil programar un ordenador para que lo determine si un profesor hace bien su trabajo

P. ¿Las Administraciones usan cada vez más los algoritmos por la falta de perfiles suficientemente formados?

R. Por un lado, ahorran costes en personal. Pero lo más importante: evitan la rendición de cuentas. Cuando usas un algoritmo, el fracaso no es tu culpa. Es la máquina. Estuve trabajando para el Ayuntamiento de Nueva York mientras investigaba para escribir mi libro. Estaban desarrollando un sistema de ayudas para los sin techo, pero me di cuenta de que no querían mejorar sus vidas, sino no fracasar en sus políticas. Pasó lo que querían evitar: el New York Times publicó un artículo sobre la muerte de un niño como consecuencia de un fallo en esa red de ayuda. La culpa era del algoritmo, que no había calculado bien. Creo que no deberíamos dejar a las Administraciones usar algoritmos para eludir la responsabilidad.

P. El uso de algoritmos para la contratación se está extendiendo. ¿Cuáles son los perjuicios?

R. La automatización de los procesos de selección está creciendo entre el 10% y el 15% al año. En Estados Unidos, ya se utilizan con el 60% de los trabajadores potenciales. El 72% de los currículums no son analizados por personas. Los algoritmos suelen castigar a los pobres, mientras los ricos reciben un trato más personal. Por ejemplo, un bufete de abogados de renombre o un exclusivo instituto privado se basarán más en recomendaciones y entrevistas personales durante los procesos de selección que una cadena de comida rápida. Los privilegiados son analizados por personas, mientras que las masas, por máquinas.

Si quieres trabajar en un call center o de cajero, tienes que pasar un test de personalidad. Para un puesto en Goldman Sachs tienes una entrevista. Tu humanidad se tiene en cuenta para un buen trabajo. Para un empleo de sueldo bajo, eres simplemente analizado y categorizado. Una máquina te pone etiquetas. 

P. ¿Cree que falta más formación en matemáticas para ser conscientes de esa manipulación?

R. Eso es ridículo. La gente tiene que entender que es un problema de control político. Hay que ignorar la parte matemática y exigir derechos. No necesitas formación matemática para comprender qué es injusto. Un algoritmo es el resultado de un proceso de toma de decisiones. Si te despiden porque así lo ha determinado un algoritmo, tienes que exigir una explicación. Eso es lo que tiene que cambiar. 

P. ¿En qué otros aspectos están perjudicando los algoritmos los derechos laborales?

R. Hay un fenómeno que se conoce como clopenning (en español, cerrar y abrir al mismo tiempo). Son horarios irregulares que, cada vez, afectan a más empleados con salarios bajos. Esos calendarios son el resultado de la economía de los datos, son algoritmos diseñados para generar eficiencia, que tratan a los trabajadores como meros engranajes. Según datos del Gobierno de Estados Unidos, a dos tercios de los trabajadores del sector servicios y a más del 50% de los dependientes se les informa de su horario laboral con una semana o menos de antelación.

Esta es una de las situaciones extremas que provoca el uso de algoritmos en el ámbito laboral. Hay una ley que estipula que si trabajas al menos 35 horas a la semana, se te deben dar beneficios. Pues hay un algoritmo que se asegura de que ningún empleado haga más de 34 horas. Como no hay ninguna ley que determine que debes trabajar el mismo horario todos los días, el algoritmo no se preocupa de tu vida, y te asigna las horas de trabajo en función de las necesidades de la empresa. Si se prevé un día de lluvia, aumentan las ventas, y cambian los turnos. Hasta el último minuto no deciden. Esas personas no conocen su horario con antelación, no pueden organizar su tiempo libre, estudiar o cuidar de sus hijos. Su calidad de vida se deteriora, y los ordenadores son ciegos a eso. La regulación gubernamental es la única solución.