Seis claves sobre cómo nos gobiernan los algoritmos

No pasa un minuto sin que una máquina decida parte de tu futuro. Y no hablamos solo de que te recomienden libros o películas: también deciden el tipo de interés que vas a pagar, que te llamen o no para hacer una entrevista de trabajo o, incluso, que aumenten o caigan las posibilidades de que cometas un delito.

La gran esperanza pasaba porque los programas informáticos fueran capaces de tomar esas decisiones de una forma más imparcial. La realidad que nos hemos encontrado, en cambio, es que los algoritmos que hemos puesto en funcionamiento no solo replican, sino que amplifican los prejuicios de los ingenieros que los crean.

Ni siquiera los grandes nombres de la tecnología se libran de sus efectos. El mismísimo cofundador de Apple, Steve Wozniak, denunció que la Apple Card le concedía a él una línea de crédito 10 veces superior a la de su mujer por culpa de las decisiones de un algoritmo. Esta tarjeta, lanzada a primavera pasada, es fruto de una alianza con Goldman Sachs y Mastercard. A David Heinemeier Hansson, el fundador de Ruby on Rails, le pasa lo mismo, solo que en su caso las probabilidades de que le den a él el crédito, asegura, son 20 veces superiores. Este es un pequeño repaso, con la ayuda de la agencia Bloomberg y de Ricardo Peña, profesor del Departamento de Sistemas Informáticos y Computación de la Facultad de Informática de la Universidad Complutense de Madrid, para que sepas cómo los algoritmos te están gobernando sin que lo sepas.

Más información

Los omnipresentes algoritmos, con nosotros desde hace 3.000 años

En realidad, ¿qué [...] es exactamente un algoritmo?

• ¿Qué es un algoritmo?

Un algoritmo no es más que una secuencia finita de pasos en cada uno de los cuales se aplica mecánicamente una regla.que permite procesar una información o llevar a cabo una tarea. Un algoritmo puede ser básico: ordenar por orden alfabético. Una receta para hacer tarta de queso también lo es (siempre que no trates de gustar a todos). Los que hacen las empresas de tecnología son mucho más complicados. Facebook o Google han gastado miles de millones desarrollando los suyos. Con ellos ordenan y distribuyen las toneladas de información que alegremente les confiamos día a día.

• ¿De dónde sacan los algoritmos la información?

De nosotros. De todas las pequeñas acciones que llevamos a cada momento. Cada vez que nos registramos en una web sobre salud o consultamos información en Wikipedia o cada vez que vemos un anuncio en nuestro smartphone vamos dejando un rastro que las compañías comparten entre sí para hacer negocio. Todo deja rastro, incluso el más ínfimo clic que haces. Una práctica habitual, además, es la de cruzar datos: en los registros públicos

• Entonces, ¿de dónde viene la discriminación?

Los datos en sí no son inherentemente discriminatorios. Son solo datos. El problema surge de cómo se usan e interpretan, especialmente cuando caracterizan a una persona usando correlaciones o variables proxy: datos que de por sí no tienen gran interés, pero a partir de los cuales se pueden obtener otras que sí lo tienen. Así, lo que escuchas en YouTube o en Spotify puede determinar tu sexo o edad, o las cosas a las que le das el like pueden determinar tu posicionamiento ideológico o nivel económico.

Un estudio publicado en 2017 recogido por Bloomberg sostenía que Facebook había clasificado a algunos usuarios como homosexuales en función de las publicaciones a las que había dado like, incluso aunque no se hubiesen identificado abiertamente como tales.

¿Cuál es el problema? Lo que hace el sistema/algoritmo es agrupar palabras por temas. O por tipo de ropa, si estamos organizando un armario: tenemos la sección abrigos, partes de arriba, camisetas, bufandas, calcetines… y luego establecemos relaciones. ¿Y si la máquina nos dice al ver unos pantalones que el sujeto es un hombre? ¿Es que la mujer no puede llevar pantalones? No, pero el algoritmo intuye que es probable que sea un hombre porque es más probable estadísticamente que sea un hombre.

Son estas relaciones las que han llevado a un equipo de investigadores a concluir que un algoritmo usado para analizar los riesgos para la salud de millones de pacientes en EE UU discrimina sistemáticamente a la población negra. Y lo hace sin saber siquiera su raza.

• ¿Cómo establece la máquina estas relaciones proxy?

Con datos. Cuantos más mejor. Es la forma de la que se nutre el llamado aprendizaje automático (machine learning). Los niños aprenden de sus padres y de lo que leen y en el colegio y al final se hacen personas coherentes que toman decisiones coheren… bueno, dejémoslo en se hacen personas. En el caso del aprendizaje automático, una de las técnicas más frecuentes es la de cebar a la máquina con miles y miles de textos para que encuentre patrones y aprenda por sí misma el idioma, lo que se conoce como mapeo de palabras. Además, tiene que haber una persona que valide las respuestas correctas y rechace las incorrectas. Es decir, la máquina pasa por un periodo de aprendizaje en el cual va ajustando los pesos de sus respuestas a lo que espera el validador. “Es una red artificial para entender la estructura de una frase. La máquina se alimenta con un montón de textos que representan el lenguaje que se está estudiando”, explica Álvaro Barbero, chief data scientist del Instituto de Ingeniería del Conocimiento. “El sistema aprende qué palabras están cercanas a otras y las convierte en números para que la máquina pueda entender el lenguaje. Se utiliza bastante porque es un sistema muy efectivo”.

¿Cuál es el problema de esta práctica? Que a un niño le puedes inculcar que una mujer puede llevar pantalones (aunque cuesta, visto lo visto últimamente). Pero, ¿cómo corriges a una máquina que se ha alimentado de textos y que da por buenos los sesgos sexistas o racistas que hay en ellos? En este artículo de Retina explicábamos el riesgo de amplificación que se produce cuando se alimenta a la máquina y citábamos estudios para apoyar las tesis.

• ¿Riesgo de amplificación?

Si la máquina extrae conclusiones poco precisas de los datos puede llevar a conclusiones falsas. Es como un disparo: un milímetro de desviación de la mira puede resultar en varios metros de distancia respecto al objetivo. Bloomberg cita un caso: La ciudad de Chicago anunció planes en 2017 para emplear un software de vigilancia predictiva para asignar agentes de policía adicionales a áreas más propensas a experimentar crímenes. El problema era que el modelo dirigía más recursos a aquellas áreas donde ya había más presencia policial, dado que reforzaban los prejuicios de los policías.

• ¿Qué se puede hacer para evitarlo?

El problema es tal (y puede ser peor) que existe unos principios básicos de responsabilidad algorímica. Esta la configuración ética, por la que los creadores de los algoritmos deben ser conscientes de que existe una posibilidad de sesgo y en caso de que se produzca, erradicarlo. El siguiente paso es la validación, que obliga a testearlos con pruebas experimentales y tests. Todos los datos usados, además deberían formar parte de un informe en el que se detalle su origen lo que se llama información pública, que ha de ser accesible y estar sujetos a auditorías externas. Es poco probable, sin embargo, que Facebook o Google estén dispuestos a abrir sus valiosísimos algoritmos.