Los peligros de un mundo de algoritmos cotillas

Seguimos desgranando el proyecto más cenizo de la Universidad de Princeton: cuatro escenarios de ficción en los que los tejemanejes de la inteligencia artificial se nos podrían ir de las manos. En el primer capítulo, una app de salud con delirios de grandeza se pasaba los derechos de los usuarios por el botón de cerrar sesión. En esta nueva entrega conoceremos la historia de la app Epimetheus, un sistema de reconocimiento de sonidos que no supo parar a tiempo.

Empecemos por la moraleja:

1. Insensibilidad cultural. Si te ciega el interés comercial y el ansia de expansión podría escapársete el hecho de que tu producto, creado para el mercado americano y entrenado en las sutilezas del inglés, ignora las normas culturales de otros lugares.
2. Categorización dañina. Las etiquetas no son inocuas, sobre todo cuando se emplean para clasificar personas. Y menos inofensivas son cuando el resultado del etiquetado se utiliza para tomar decisiones.
3. Usos imprevistos. Aunque tus intenciones sean buenas, debes tener en cuenta los despropósitos morales y legales que podrían producirse si tu sistema cae en malas manos.

• Érase una vez Epimetheus

Empezó por lo normal para los algoritmos de reconocimiento de sonido: identificar canciones, anuncios... Luego pasó a identificar señales más sutiles. Identificaba a los actores por sus voces. Distinguía hasta los cambios de la marea. Sometido al audio de unos dibujos animados, identificaba al actor de doblaje, aunque estuviera interpretando personajes de edades y géneros distintos.

La app tenía sentido hasta en investigación: sus aplicaciones iban desde la identificación del canto de un pájaro hasta la monitorización del cambio ecológico en ubicaciones remotas.

Epimetheus lo escuchaba todo. Y no se quedaba ahí: sacaba sus conclusiones. Por ejemplo, una vez identificada una persona, la app completaba los resultados con información personal, entradas enciclopédicas y otras fuentes relevantes. ¿Qué podía salir mal?

• Tonto, ciego, sordomudo

Los problemas empezaron cuando Sybel puso a prueba el sistema con su voz. Pese a que había nacido como un hombre, en el sentido biológico, acababa de pasar por una operación de reasignación de sexo y ahora se identificaba psicológica y públicamente como una mujer. Sin embargo, Epimetheus reconocía a Sybel como un varón y, por si fuera poco, completaba sus resultados enlazando vídeos suyos previos a la transición.

¿Es cero el único margen de error aceptable?

Por un lado, errores como este pueden hacer que las personas transgénero no se sientan respetadas por quienes son. Por otro, verse públicamente identificadas en función de su sexo biológico puede convertirles en blancos de acoso. Además, este primer traspié coincidió con la aparición de una multinacional tecnológica especialmente interesada en adquirir Epimetheus. La potencial adopción masiva de la app incrementaría notablemente los incidentes como el de Sybel.

Un margen de error del 0,016% podría parecer desdeñable, pero aplicados a escalas globales se vería amplificado y causaría daños notables en colectivos que ya tienen suficientes problemas. ¿Es cero el único margen de error aceptable?

• Parches

Después de probar, sin éxito, distintas aproximaciones al problema de clasificación, el equipo de investigación de Epimetheus se vio obligado a dar un paso atrás: se eliminaron las etiquetas que podían producir resultados insultantes o dañinos para ciertos colectivos. Epimetheus dejó de diferenciar entre géneros al identificar voces.

Esta solución no tuvo la mejor de las acogidas: algunos observadores adujeron que no se resolvía nada; más bien se borraba del mapa una comunidad que ha luchado duramente por hacerse ver y oír. Lo ideal habría sido, reclamaban, un esfuerzo mayor para eliminar el margen de error para voces transgénero.

Ante esta crítica los investigadores argumentaron que el desarrollo de nuevas tecnologías va inevitablemente acompañado de una curva de aprendizaje y que las compañías tecnológicas necesitan espacio para experimentar.

• ¿Cómo lo ve Princeton?

1. Derechos. "En los casos en que las consecuencias de un error pueden constituir daños significativos, los derechos de aquellos que quedan en el lado perdedor de cierta tecnología tendrían que ponerse en una balanza frente a la utilidad general del sistema".
2. Daños. "Nombrar a una persona y colocarla en una casilla concreta es restarle individualidad y socavar su complejidad. Cuando esa etiqueta contiene connotaciones sociales negativas o asociaciones políticas dañinas, o cuando es una con la que el individuo no se identifica, el daño experimentado puede ser especialmente grave".
3. Neutralidad. "El proceso de trazar distinciones nunca es completamente neutral [...]. Estos juicios de valor pueden influir en los valores de los humanos que utilizan Epimetheus".
4. Responsabilidad posterior. "Una vez que un sistema deja las manos de sus ingenieros originales, estos pueden no tener mucho que decir en cómo se usan sus tecnologías. En ocasiones, esto significa que sistemas que fueron diseñados para producir fines sociales positivos se usan para fines negativos".