El ojo que vigila tus movimientos

Los aficionados al cine o la literatura distópica sabemos lo mucho que la inteligencia artificial (IA) puede hacer por nosotros, pero también lo mucho que otros pueden hacer con ella contra nosotros. La IA es parte esencial de la economía de datos, cuyo poder se nutre de la huella que vamos dejando al movernos, ya sea en el espacio físico o navegando por internet. Sin datos no hay IA. Y cuando haya desplegado todo su potencial con la computación cuántica, cambiará nuestras vidas de un modo que ahora ni siquiera podemos imaginar. Y tanto puede ser para bien como para mal. Por eso es un alivio saber que la Comisión Europea quiere conjurar los riesgos con una regulación que de momento prohibirá algunas de sus aplicaciones más inquietantes, como la vigilancia intrusiva o los sistemas de puntuación social.

La propuesta legislativa presentada esta semana prohíbe el uso de sistemas de vigilancia biométrica remota en tiempo real y en espacios públicos salvo en casos excepcionales (una amenaza terrorista) y siempre bajo control judicial. El uso de técnicas de reconocimiento facial es habitual ya en China, que aplica un programa estatal denominado Sky Net con millones de cámaras instaladas en todo el país y un programa centralizado que permite determinar en cuestión de segundos la identidad de una persona que haya pasado por una de ellas. En Europa, estos programas estarán prohibidos. Sus peligros son evidentes: en una deriva autoritaria, este tipo de vigilancia intrusiva podría convertirse en una herramienta de control social, pero también puede inducir a errores graves de identificación y amplificar prejuicios raciales o de género. Un estudio de Joy Buolamwini en 2018 encontró que el porcentaje de errores era muy superior en mujeres negras que en hombres blancos. En manos de determinadas patrullas policiales norteamericanas o tailandesas, que disparan antes de preguntar, un error en la forma de identificar a un sospechoso podría tener consecuencias fatales.

Pero los peligros de estas técnicas van más allá de la amenaza de un Gran Hermano vigilante y controlador. Incluso en condiciones de asentimiento social pueden ser terriblemente perturbadoras. Por eso el reglamento sobre IA que propone la Comisión Europea prohíbe también la utilización de software de puntuación social (social scoring). Este tipo de programas combinan las técnicas de reconocimiento facial con un sistema de premios y castigos destinado a promover determinadas conductas. Son programas que puntúan la credibilidad o la reputación de una persona según unos baremos que se obtienen a partir de los datos que genera su comportamiento. El capítulo titulado Nosedive (Caída en picado) de la serie británica Black Mirror muestra las terribles consecuencias de un sistema en el que cada persona puntúa y es puntuado en cada una de sus interacciones sociales, y de cuya calificación depende poder ascender en el trabajo, poder tener una vivienda mejor o acceder a determinados servicios. La actual obsesión por los like y el recuento de seguidores llevados al paroxismo. Lo que se muestra en Black Mirror no está ya tan lejos: la ciudad china de Shanghái aplica un sistema de puntuación social con premios y castigos como refuerzo de su programa de gestión inteligente de los residuos urbanos.