“La mayor parte de las veces que nos analizan en Internet ni nos enteramos”

Más información

La lucha contra la tiranía de los algoritmos

La otra cara del Big Data

África conectada

El algoritmo que ‘adivina’ los delitos futuros falla tanto como un humano

Cathy O'Neil es una matemática de pelo azul que dedica todos sus esfuerzos a quitar la venda a la ciudadanía sobre los algoritmos que dominan el mundo. Desde los que le indican al banco si eres apto o no para recibir una hipoteca, hasta los deciden quién merece un puesto de trabajo. Un sistema que puede perpetuar las desigualdades existentes en el mundo si no comenzamos a ser críticos, defiende la científica. "Estamos dando poder a unos mecanismos sin preguntarnos si realmente funcionan, eso es un fallo como sociedad", explica desde Nueva York al otro lado del teléfono.

O'Neil, en su libro Armas de destrucción matemática (Capitán Swing). hace un recorrido por algunos ejemplos para poner sobre la realidad esa teoría. Viaja en algunas de sus páginas hasta Reading, una pequeña ciudad de Pensilvania (Estados Unidos) que en 2011 tenía un nivel de pobreza superior al 41%, el más alto de todo el país. Con un cuerpo mermado por la crisis, el jefe de la policía invirtió en un programa de predicción de delitos llamado PredPol que funciona con big data. La aplicación divide la ciudad en cuadrantes y determina en cuál de ellos es más posible que se cometa un delito basándose en el registro histórico de la policía. En el abanico de datos se incluyen desde los más leves como alteración del orden público (beber en la calle, por ejemplo), hasta homicidios.

Cuantos más agentes acuden a los puntos que indica el programa, más detenciones se producen y así se entra en un círculo vicioso que llena las prisiónes de gente, en su mayoría, acusada de delitos menos graves. La mayoría de los detenidos son negros o hispanos. "El mapa de la delicuencia generado de este modo lo que traza en realidad es un rastro de pobreza", apunta la autora. "Seguimos deteniendo a negros por cosas por las que no detenemos a blancos, pero ahora ya no lo decimos abiertamente y lo disfrazamos de ciencia porque lo hacemos con PredPol. Seguimos con el ciclo, porque continuamos arrestando gente de un barrio y los datos nos dicen que tenemos que volver a ese barrio, de esta forma continua la injusticia policial", añade en la entrevista.

Seguimos deteniendo a negros por cosas por las que no detenemos a blancos, pero ahora ya no lo decimos abiertamente y lo disfrazamos de ciencia"

Varios estudios han indicado ya que estamos cediendo el control a unos mecanismos automáticos que perpetúan la discriminación. Desde el algoritmo de Google que detectó en una foto a un negro como un gorila, hasta la máquina que relaciona estar en la cocina con ser una mujer, o el algoritmo de Facebook que mostraba anuncios de casas en venta solo a usuarios blancos. "Los ingenieros piensan en términos de optimizar los recursos, lo que hace falta es diversidad en los equipos que diseñan los algoritmos para que incluyan a gente que piense en las violaciones de los derechos humanos o en como van a afectar esos códigos a la sociedad: sociólogos abogados, psicólogos...", señala.

La matemática asegura que ya es tarde para preocuparse por el hecho de que nuestros datos estén disponibles, que ahora toca preguntar a las compañías y gigantes tecnológicos qué es lo que están haciendo con ellos. “La mayor parte de las veces que nos analizan, especialmente en Internet, ni nos enteramos. Cuando somos conscientes de que nos están puntuando en base a nuestros datos, lo primero que tenemos que hacer es pedir explicaciones, que nos muestren el proceso por el que se nos ha calificado, si es algo importante como una hipoteca o un trabajo, incluso utilizar mecanismos legales. Las veces en las que no nos enteramos, son los Gobiernos europeos y el de Estados Unidos los que tienen que establecer normas que indiquen que cada vez que te estén puntuando tienes que saberlo”, apunta O'Neil.

O'Neil eliminó su cuenta de Facebook hace un año (y la de Twitter tampoco está disponible desde hace unas semanas), justo después de las elecciones en las que ganó Donald Trump y que ahora están en el punto de mira por el uso de los datos de millones de usuarios de Facebook. El escándalo ha llevado a su creador, Mark Zuckerberg, a dar explicaciones en el Senado de Estados Unidos. "Hay que forzar compañías como Facebook a explicar qué estan consiguiendo con productos, en lugar de asumir que están haciendo lo mejor. Ya tenemos la sospecha de que Facebook ha ayudado a difundir noticias falsas, a influenciar el resultado de unas votaciones, a hacer creer a la gente teorías de la conspiración. ¿Por que no tenemos las pruebas reales, por qué no lo enseñan?", se pregunta la experta.

Lo que hace falta es diversidad en los equipos que diseñan los algoritmos para que incluyan a gente que piense en las violaciones de los derechos humanos"

¿Qué sucede con los países menos desarrollados? ¿Son más vulnerables? "Lamentablemente no creo que tengan la oportunidad de tomar las riendas porque las empresas norteamericanas y chinas van a establecer sus reglas más rápido que la propia gente". Los datos varían, pero Africa 2.0 International Foundation apuntaba en una charla hace un año que en el continente africano hay 800 millones de terminales, cuando hace 50 años solo había 40.000 teléfonos. Estos dispositivos, con Internet o sin él, ya son una fuente inagotable de datos para las compañías.

La matemática se muestra optimista, porque al menos los algoritmos forman parte del debate actual, y no se cansa de advertir sobre la confianza ciega en el big data: "Si solo usas datos del pasado, estás condenado a repetirlo. Tienes que preguntarte a dónde quieres llegar, en lugar de limitarte a analizar de dónde vienes. Si estuviéramos orgullosos de nuestro sistema, podríamos querer usar estos datos para seguir con igual, pero no es el caso".

Puedes seguir a PLANETA FUTURO en Twitter y Facebook e Instagram, y suscribirte aquí a nuestra newsletter.