Estupidez artificial: el problema que nadie vio venir
Los fallos de diseño en los algoritmos tienen un impacto en la vida de millones de personas
![Una investigadora en un laboratorio de EE UU que emplea sistemas de inteligencia artificial para buscar nuevos materiales.](https://imagenes.elpais.com/resizer/v2/EVON63UATNEVEZFYZJWFR2MFLA.jpg?auth=bfc3ae0af83fa4fd3c3548a424df7c7a40ccaae7dad7911a3b5af211a1b68658&width=414)
Cualquier conductor que vea una señal de stop a la que algún gracioso le ha puesto una pegatina que pone “odio” sabe que sigue siendo una señal de stop y debe parar. En cambio un coche autónomo será incapaz de reconocerla más del 60% de las veces y pasará de largo.
Los sistemas de visión artificial confunden una tortuga de juguete con un rifle y a personas negras con gorilas. Estos dispositivos han sido entrenados para ver patrones y hacen falta solo sutiles cambios de simetría para desbaratarlos, como demuestra el estudio de las señales de tráfico publicado el pasado abril por expertos de varias universidades de EE UU.
Las personas también hemos evolucionado durante miles de años para ver patrones. “Estamos hechos para identificar caras y las vemos en las nubes, en las manchas de la pared, lo hacemos continuamente”, explica José Manuel Molina, del grupo de inteligencia artificial aplicada de la Universidad Carlos III de Madrid. Un humano conoce el contexto de esa imagen, sabe que parece una cara, pero en realidad es una nube. En cambio la experiencia de vida de un algoritmo de visión se limita a bases de datos con miles de imágenes con las que se ha entrenado una y otra vez. “Los algoritmos han sido diseñados para resolver problemas muy concretos, pero no para comprender qué está sucediendo en su entorno, solo ven señales y aplican la misma solución siempre. Las máquinas son totalmente autistas y darles comprensión de su entorno es muy complicado”, resume Molina.
![Ejemplos de señales modificadas para engañar a los sistemas de visión artificial.](https://imagenes.elpais.com/resizer/v2/EPQWQPPJRONL4MTEIFEORFFAMY.jpg?auth=7e26b2b4e1707cd559f7465932684e0f3398a4ba5560189fbc8e70fffb6cfc86&width=414)
Estos fallos están cambiándole la vida a la gente. El sistema de inteligencia artificial Compas que usan los jueces en EE UU como asesor tiene un sesgo y tiende a desaconsejar la libertad a los negros más a menudo que a los blancos. El algoritmo analiza 173 variables —ninguna de ellas es la raza— y da una probabilidad de reincidencia de 0 al 10. “La causa de estos problemas es que las bases de datos con las que funcionan estos algoritmos son de la policía y en ellas hay importantes sesgos racistas”, explica Ramón López de Mántaras, experto en inteligencia artificial del CSIC. Un estudio publicado este mismo año sostiene que el sistema tiene una tasa de error equiparable a la de personas sin conocimientos legales. El problema no es tanto la máquina, sino el riesgo de que el juez delegue en ella.
A un nivel mucho menos grave, la aparente estupidez artificial acecha a cualquiera que use Internet con anuncios omnipresentes de cosas que ya han comprado o que no interesan. Una vez más, la culpa no es de la máquina, sino de la falta de contexto. “Si buscamos un producto en Internet esa información es pública y queda grabada, pero cuando lo compramos la transacción es privada, el algoritmo no sabe que lo has comprado, se lo tienes que enseñar. No es un error, te sigue mostrando lo que cree que te interesa y lo seguirá haciendo hasta que pase su tiempo de olvido”, explica Molina.
![Tortugas identificadas como rifles por el sistema de visión artificial](https://imagenes.elpais.com/resizer/v2/U2D2CZ2DFRK25P4MRTP4CVPLIA.jpg?auth=c9cf4941769391ba8ccfabfccaed183ba3dd894dfc0795478cbc84c00868e8cb&width=414)
En este caso las bases de datos somos nosotros. Los asistentes domésticos de conversación y los sistemas de análisis de cookies en Internet se entrenan y aprenden con nuestro uso de la red. En ocasiones “el algoritmo detecta un patrón que no existe y se empieza a comportar de una forma concreta, por ejemplo mostrando un anuncio en el que pinchamos por error una o dos veces”, explica Carlos Castillo, experto en inteligencia artificial de la Universidad Pompeu Fabra de Barcelona. “Estos errores son como supersticiones que adquieren las máquinas. Tenemos que entender que los sistemas de computación se pueden equivocar, lo importante es saber por qué y cómo corregirlo. En Europa ha entrado en vigor una regulación en este aspecto que nos permite ver qué perfiles automáticos se han creado de nosotros, cambiarlos, borrarlos y saber qué información se está compartiendo sobre nosotros, aunque poca gente se molestará en hacerlo”, explica.
A menudo las empresas propietarias de los algoritmos no permiten que se conozcan los detalles de su funcionamiento. Es lo que sucede con el algoritmo de recomendación de vídeos de YouTube, explica el doctor en inteligencia artificial Guillaume Chaslot, que trabajó en Google (propietaria de YouTube) entre 2010 y 2013. El canal de vídeo online “gana un céntimo de euro por cada hora”, asegura. “Cada día en todo el mundo se ven unas 1.000 millones de horas, con lo que gana mucho dinero. El algoritmo que recomienda otros vídeos después de una reproducción tiene como principal objetivo maximizar el tiempo de permanencia. Lo que sucede es que el algoritmo acaba recomendando vídeos sobre teorías de la conspiración, discursos del odio, racistas o sexistas, porque esos son los que tienen un tiempo de permanencia mayor. En dos o tres clicks puedes acabar viendo uno de estos vídeos, pero todo depende de cada usuario. El algoritmo es tan complejo que no puedes rastrear cada una de las decisiones individuales que tomó para recomendar un contenido. Por supuesto todo esto es un accidente no intencionado por los programadores”, explica.
A menudo las empresas propietarias de los algoritmos no permiten que se conozcan los detalles de su funcionamiento
"Desde 2017 hemos estado introduciendo formas para mejorar el acceso a la información en España incluyendo un estante de noticias de última hora en la página de inicio de YouTube y el estante de mejores noticias en el buscador que ofrece contenido de fuentes de noticias verificadas después de un evento importante", explica Katherine Vargas, portavoz de Google . "Además hemos anunciado más de media docena de nuevas funcionalidades en el último año y una inversión global de 25 millones de dólares para editores de noticias que producen videos en línea para crear una mejor experiencia de noticias", añade.
Chaslot cree que "se ha mejorado mucho el sistema de búsqueda, pero no tanto el de recomendación". El ingeniero ha creado un sistema de inteligencias artificiales que están continuamente viendo YouTube y siguiendo recomendaciones, de forma que pueden consultarse los vídeos más sugeridos cada día, entre los que abundan contenidos de dudoso rigor. Chaslot es asesor del Centro para la Tecnología Humana, formado por un grupo de ingenieros y ejecutivos salidos de la industria tecnológica que intentan denunciar los efectos negativos de la tecnología y revertirlos. “Ahora mismo estamos viviendo las consecuencias de que haya grandes empresas que controlan las mayores plataformas de inteligencia artificial y no haya apenas inversión desde los gobiernos y la sociedad civil para promover usos más positivos”, alerta.
A la amplificación de contenidos radicales en redes sociales se suma una tendencia a sobrevalorar las capacidades de las máquinas. “Nos imaginamos que hay un pequeño cerebro humano dentro del ordenador, pero no, solo es programación y matemáticas”, explica Meredith Broussard, exprogramadora, profesora de periodismo en la Universidad de Nueva York y autora del libro Artificial Unintelligence (Estupidez artificial). “Un sistema de visión artificial ve una imagen, sitúa una retícula de píxeles sobre ella y busca patrones entre los puntos. Si ve arcos y óvalos dirá que es una cara, aunque en realidad esté mirando un nabo. Por eso es importante enseñarle a la gente a desarrollar programas de aprendizaje computacional. Al principio les suena a magia, pero es solo escribir códigos. Una vez que lo ven se sienten defraudados”, resalta.
Broussard habla de "la creencia extendida entre la mayoría de los programadores de que las soluciones tecnológicas son siempre mejores que las humanas"."Los pioneros de este campo decían que el mundo de la alta tecnología sería glorioso y libre. Tardamos demasiado tiempo en cuestionarles. Incluso ahora es difícil para muchos aceptar que lo que imaginaban hace 20 años sobre cómo sería la tecnología era un engaño", resalta.
En julio de 2017 muchos pensaron que lo inevitable había pasado. Facebook había desconectado dos robots de conversación porque habían desarrollado un lenguaje secreto para comunicarse sin que lo supieran sus programadores. Una de sus diálogos era:
“–Bob: Yo puedo yo yo lo demás...
–Alice: bolas tienen cero para mí para mí para mí para mí para mí para mí para”
El objetivo de los programadores era crear algoritmos capaces de negociar con humanos y para ello les entrenaron para repartirse tres tipos de objetos: sombreros, bolas, libros. El objetivo principal era llegar a negociaciones exitosas así que los robots empezaron a usar repeticiones de palabras sin tener en cuenta su coherencia. Llegaban a acuerdos válidos según los parámetros fijados por los programadores pero la charla era incomprensible para los humanos, como desveló Wired. “Fue un simple error de programación. Ninguna máquina tiene intenciones ni las tendrán nunca. Pueden enseñarse a sí mismas a jugar al Go y derrotar a un campeón, pero no saben que están jugando. Si pusiésemos a esa misma máquina a distinguir fotos de perros y gatos olvidaría todo lo anterior. Solo pueden hacer una cosa a la vez”, resalta Mántaras. “Es cierto que hace años nadie podía predecir que la inteligencia artificial se pusiera tan de moda y se hablara tanto de los problemas que podía traer asociados, pero hace ya 42 años que [el informático del MIT] Joseph Weizenbaum escribió que nunca deberíamos dejar que los ordenadores tomasen decisiones importantes porque nunca tendrán cualidades humanas como la compasión y la sabiduría”.
Tu suscripción se está usando en otro dispositivo
¿Quieres añadir otro usuario a tu suscripción?
Si continúas leyendo en este dispositivo, no se podrá leer en el otro.
FlechaTu suscripción se está usando en otro dispositivo y solo puedes acceder a EL PAÍS desde un dispositivo a la vez.
Si quieres compartir tu cuenta, cambia tu suscripción a la modalidad Premium, así podrás añadir otro usuario. Cada uno accederá con su propia cuenta de email, lo que os permitirá personalizar vuestra experiencia en EL PAÍS.
En el caso de no saber quién está usando tu cuenta, te recomendamos cambiar tu contraseña aquí.
Si decides continuar compartiendo tu cuenta, este mensaje se mostrará en tu dispositivo y en el de la otra persona que está usando tu cuenta de forma indefinida, afectando a tu experiencia de lectura. Puedes consultar aquí los términos y condiciones de la suscripción digital.
Sobre la firma
![Nuño Domínguez](https://imagenes.elpais.com/resizer/v2/https%3A%2F%2Fs3.amazonaws.com%2Farc-authors%2Fprisa%2F9dbc3f39-e6af-419d-8731-911cbacd8d76.jpg?auth=1fcdc0b04d2aa8c70c82cd8c026ba4236931a0777de631c8a3dc8bdc2ab99a72&width=100&height=100&smart=true)