Daniel Howden, fiscalizador de la inteligencia artificial: “Estos sistemas ya están afectando los derechos humanos y civiles”

El periodista británico Daniel Howden (50 años, Weymouth), experto en corrupción y migración, ha sido corresponsal de los principales medios de comunicación ingleses durante gran parte de su carrera. Tres años atrás, en pleno auge de la inteligencia artificial (IA), fundó Lighthouse Reports, una plataforma dedicada a indagar cómo los gobiernos centrales y locales en el mundo están utilizando los algoritmos para tomar decisiones y exigirles una rendición de cuentas. La plataforma, que se asocia con periódicos, podcast o televisiones, ha trabajado con más de 120 medios para publicar sus informes cocreados con los periodistas de las respectivas alianzas.

La estrategia de Howden es poner a especialistas sin las prisas de una redacción y aprovechar la vitrina y la relación ya cimentada de los medios con el público. Han elaborado unas 20 investigaciones anuales en distintos rincones del planeta. Sobre sus descubrimientos habla en esta entrevista realizada en Santiago, cuando participó del Proyecto Algoritmos Éticos de la Universidad Adolfo Ibañez, con apoyo del laboratorio de innovación del Banco Interamericano de Desarrollo (Bid Lab).

Pregunta. ¿Por qué quiso enfocarse en la rendición de cuentas sobre el uso de algoritmos?

Respuesta. Los sistemas automatizados de toma de decisiones que se están implementando en todo el mundo, como en la justicia penal, en la salud o en los servicios de bienestar sin mucha o nula consulta pública. Estamos siendo vigilados, clasificados y puntuados por sistemas que la mayoría de nosotros no entendemos. Para una persona promedio eso significa que se están tomando decisiones sobre sus vidas de las que no tienen ningún control, ya sea a la hora de solicitar una hipoteca, un empleo o un beneficio gubernamental. Si el afectado no puede entender cómo se aceptó o rechazó su petición quiere decir que no pasó por el debido proceso y que no puede impugnar la decisión ni conocer los datos que probablemente no sabía que le habían recopilado. La mayoría de estos sistemas de inteligencia artificial los están implementando los gobiernos, ciudades y agencias públicas sin supervisión. Por eso los periodistas tenemos que entrar a ese espacio incómodo para informar y defender la necesidad de regulación.

P. ¿Con qué se encontró cuando comenzó con Lighthouse?

R. Lo que me frustró fue que el periodismo dedicado a la industria de la tecnología siempre hablaba de la Inteligencia Artificial como algo oscuro que ocurriría en un futuro cercano: “Esto va a suceder”. Pero ignoraban el hecho de que ya hay cosas sobre las que informar que están presentes en nuestras vidas. Si estás en la parte más pobre del mundo, es muy posible que el apoyo internacional que se destina a los programas de ayuda se base en un algoritmo desarrollado por el Banco Mundial que calcula la pobreza con una metodología bastante controvertida.

P. ¿En qué casos se está utilizando este sistema de toma de decisiones automatizadas?

R. En las sentencias de justicia penal de Estados Unidos y algunos lugares de Europa en mayor y menor medida, por ejemplo. Los sistemas proporcionan puntuaciones de riesgo, que luego los jueces las utilizan para dictar sentencias y determinar cuánto tiempo de cárcel debe cumplir un detenido. Las autoridades penitenciarias los utilizan para decidir quién debe ingresar en una prisión de máxima seguridad o quién obtiene libertad condicional.

P. ¿Qué información utilizan para dictar la sentencia?

R. Es una interacción de variables. Unas simples, como edad, género, clasificación del delito, pero también etnia, tamaño de la familia, última dirección conocida, registros financieros… Hay factores que no se pueden considerar. Nosotros también analizamos en profundidad los sistemas para detectar fraudes de ciudadanos en los Estados de bienestar. Una pregunta es cómo se decide a quién va a investigar por un posible fraude. En los Países Bajos había un sistema que consideraba 315 variables, donde más de 20 se relacionaban con el lenguaje. ¿Qué intentaban determinar? Quién era ciudadano nativo y quién no y en base a eso ponderar el riesgo. No puedes decir que una persona tiene más probabilidades de cometer un fraude porque es inmigrante.

P. ¿Los sesgos de los sistemas de IA son un espejo de los sesgos de la sociedad?

R. Las empresas tecnológicas que venden estos sistemas afirman que toman decisiones objetivas, lo que elimina el factor del sesgo humano, pero depende de cómo se entrenan. Si el conjunto de datos de entrenamiento son un reflejo de años de acciones sesgadas, ese sesgo se verá reflejado. Un ejemplo que se ha investigado es la vigilancia policial predictiva. El sistema le dice al policía que necesita concentrar recursos en un área porque los registros históricos de delitos se concentran en ese lugar. En teoría, eso suena bien. El riesgo es que durante muchos años se le ha asignado a la policía buscar ciertos tipos de delitos y en ciertos barrios. En Sao Paulo, por ejemplo, un sistema predictivo basado en la ubicación recomienda que la policía se concentre en los barrios pobres, donde viven quienes trabajan en los barrios ricos. Estadísticamente, los del barrio rico tienen más probabilidades de comprar drogas ilegales, pero hacen la transacción en el barrio pobre, por lo que el sistema nunca le indicará a la policía que vaya a la zona rica. Así es cómo se incorpora un sesgo.

P. ¿Qué se hace?

R. Por un lado, los exponentes éticos de la IA postulan que podemos hacer un mejor trabajo en la construcción y el entrenamiento de estos sistemas. Otros creen que estas herramientas no son apropiadas para algunas tareas más sensibles, especialmente vinculadas a los más vulnerables. Pero todavía estamos en la etapa de detectar los sistemas realmente malos y crear incentivos para que las autoridades públicas entiendan mejor la tecnología y trabajen en pos de sistemas mejor entrenados. Nos estamos saltando la parte en que hacemos que funcionen de una manera ética, que rindan cuentas por los errores y se puedan cuestionar sus resultados.

P. ¿La inteligencia artificial está afectando los derechos humanos?

R. Las autoridades públicas están utilizando la IA en gobiernos, ciudades y sistemas nacionales que están afectando los derechos humanos. El sistema para detectar los posibles fraudes en los programas de beneficios sociales o la permanencia de alguien en la cárcel son algunos ejemplos, pero también los sistemas de inteligencia artificial se utilizan cada vez más para decidir quién es entrevistado para un trabajo o cuán idóneo es para otorgarle un préstamo. Nuestra actitud no puede ser decir que es imposible avanzar lo suficientemente rápido para regular la IA así que nos cruzamos de brazos. No podemos decir que es más inteligente que nosotros y que no vamos a intentar evaluar el sesgo en los sistemas que van a tomar decisiones muy básicas que impactan nuestros derechos civiles.

P. ¿Cómo evitamos caer en esa actitud?

R. Alejándonos un poco de la exageración de que la IA es muy emocionante y muy aterradora. No hablar como si fuera algo inevitable que simplemente eliminará nuestra capacidad de tomar decisiones sobre cómo serán nuestras sociedades, dejando toda esa autoridad en las manos de unas pocas empresas tecnológicas. Eso es fantástico para ellas, pero no para cualquiera que espera ser un ciudadano y no sólo un consumidor de un producto. Hay que pensar como lo hicimos con la regulación de los medicamentos: el político promedio no está en condiciones de pasar pruebas sobre los últimos fármacos, eso depende de instituciones públicas que inspeccionan y regulan. En esa área decidimos que era algo de interés público que debía contar con esos salvaguardas.

P. ¿Lo que está pasando se asemeja a lo ocurrido con las redes sociales?

R. Hay una gran cantidad de publicidad en torno a la IA. Nos dicen que lo arreglará todo o nos matará a todos, dos ideas increíblemente embriagadoras, pero que hablan del futuro. Se discute mucho menos qué podemos hacer ahora para abordar los sistemas que ya están en nuestras vidas. Hay reglas sobre todos los otros sistemas que nos afecta, pero está la idea de que la IA es excepcional. Esos argumentos los escuchamos antes de las grandes tecnológicas, como Amazon o Airbnb. Nos dijeron que no se podían regular como a cualquier otro minorista o de la industria hotelera. Cuando Airbnb, por ejemplo, ha tenido un profundo impacto en el costo de los alquileres. Estas empresas no deberían ser las voces dominantes de la conversación. Está bien que nuestros gobiernos piensen cómo crear una legislación flexible y preparada para el futuro que incorpore los derechos civiles y humanos que tenemos. No deberíamos sacrificar los derechos civiles y humanos en pos de un futuro asombroso para la IA.

P. ¿Cuál es la postura de la industria de la IA?

R. Quiere una regulación ligera, sobre la que tenga gran influencia. Los gobiernos pueden desempeñar un papel de dos maneras: establecer un campo de juego regulatorio, lo cual tiene sentido para la industria porque significa que todos los actores deben desarrollar e implementar la tecnología de la misma manera, o establecer un estándar sobre los sistemas que tomarán decisiones que impacten el sector público, ser transparentes sobre estos y exigir que los proveedores de tecnología den acceso a terceros, como los medios de comunicación y los inspectores y auditores.