Sabotaje al ‘machine learning’: ¿chihuahua o ‘muffin’?

Culo o codo? Nos cuesta hasta a nosotros. Nadie condenaría a un algoritmo de machine learning por confundir lo uno con lo otro. Incluso podríamos perdonarle que tome a una lavadora por un altavoz. ¿Qué pasa cuando donde hay una tortuga de plástico, nuestra máquina ve un rifle? El caso es real. Y el error no es casual. Los investigadores LabSix -un equipo formado por estudiantes del MIT- han explicado paso a paso cómo consiguieron imprimir en 3D una tortuga de plástico cuyos patrones de diseño llevaban al algoritmo a ver un rifle.

El experimento, que tiene la particularidad de haberse hecho con un objeto en tres dimensiones y por tanto más difícil de falsear, funciona incluso mejor con imágenes. Donde había un gato atigrado, la red neuronal encontró guacamole. "También hicimos una pelota de béisbol que se clasifica como un expreso desde todos los ángulos. Los ejemplos también engañaban a la red neuronal cuando los colocábamos ante fondos semánticamente relevantes. Por ejemplo, nunca verás un rifle bajo el agua o un expreso en un guante de béisbol", explican.

Los algoritmos pueden sufrir alucinaciones. Y el problema engorda cuando sus espejismos no son fruto del azar sino que se han provocado con inputs modificados para forzar el error, como la tortuga-rifle o la pelota-expresso. Los peligros del adversarial machine learning -aprendizaje automático conflictivo o antagónico- son algo más que advertencias de los cenizos y agoreros de la era digital. Hasta Google está midiendo las consecuencias que pueden tener estas tretas en una sociedad que se mueva al son del algoritmo. "La mayoría de los clasificadores de machine learning existentes son altamente vulnerables a ejemplos conflictivos", señalan.

Cajeros, coches autónomos y cámaras de tráfico estarían a la merced de cambios imperceptibles para el ojo humano

"La gente no es muy consciente. Hay mucho hype alrededor de la inteligencia artificial y el machine learning, pero no nos damos cuenta de que ya hay ciberguerra por debajo", explica Alberto Robles, director general de Expert System en España. Sin salir del ordenador, una muestra conflictiva puede sortear los algoritmos de filtros de correo basura o detectores de malware. Un riesgo casi aceptable si se compara con lo que ocurre cuando los ataques llegan a sistemas que operan en el mundo físico. Roman Trusov y Emil Mikhailov -de XIX AI- imaginaron en el blog de la aceleradora Y Combinator cómo podría ocurrir. Un cheque de 100 dólares impreso con lo que al ojo humano le parecería un poco de ruido podría engañar a un cajero automático y canjearse por un millón. Pequeñas modificaciones en una señal podrían desorientar a los futuros coches autónomos: invalidar señales de Stop, aumentar límites de velocidad... Y sin esperar a la conducción sin manos, un toque personal a la matrícula del vehículo podría dejarla irreconocible para las cámaras de tráfico.

"El impacto que esto puede tener a medio-largo plazo es muy grande", advierte Robles, cuya empresa presta sus servicios a aseguradoras que necesitan automatizar procesos de decisión complejos. "Algunas compañías te piden una foto del coche cuando te das de alta, para ver que los cristales están bien. Se ve que mucha gente aprovecha y se cambia para que le entre el arreglo. Esas fotos no las mira nadie, las mira un sistema. Y tú puedes meter ruido para que piense que están bien", razona.

Más información

“Tenemos que aceptar que existe un techo para el machine learning”

La inteligencia artificial todavía no es como nos cuentan las películas

El truco es que nosotros tampoco veríamos nada amenazante en estos ejemplos. Como mucho, una imagen granulada o pequeños desperfectos en la pintura. Además, las alucinaciones de las máquinas también pueden ser auditivas: según demostraron en un estudio publicado hace pocas semanas dos investigadores de la Universidad de Berkeley, es posible construir ejemplos conflictivos de audio para sistemas de reconocimiento de voz. "A partir de cualquier onda de sonido predeterminada, podemos producir otra que es un 99,9% similar pero se transcribe como cualquier otra frase que elijamos, a un ratio de 50 caracteres por segundo", aseguraron Nicholas Carlini y David Wagner. Este sistema permitiría, por ejemplo, ocultar comandos de voz en una canción.

• Robin Hoods 4.0

Estos sabotajes también se están usando como arma para reconquistar nuestros datos y evitar que otros hagan su fortuna a través del expolio más facilón de la historia. Esta es la batalla que Dan Schultz, parte del equipo de Internet Archive, nos anima a librar metiendo ruido en la red. Con su propuesta no engañamos al algoritmo, sino que le damos una manzana envenenada.

"Los publicistas no te dan lo que quieres, te manipulan para que quieras lo que tienen", denuncia Schultz. Con un solo clic en Internet Noise, nuestro explorador comenzará a cargar sitios al azar en múltiples pestañas. Si lo dejamos activo, llenará sus bases de datos de basura sin significado: "pago vaqueros bien inflamación", "entusiasmo aviso falsificación bikini", "oro edificio timador", "dolor semilla", "literatura tigre gasto ingeniero". Internet Noise buscará en Google términos aleatorios como estos, abrirá una web cualquiera y volverá a empezar.

• Guerra al circuito cerrado

Otra cruzada cuya estrategia pasa por ofuscar algoritmos es la que reniega de las cámaras de seguridad con tecnología de reconocimiento facial. La montura de las gafas que fabrica Reflectacles está diseñada para reflejar la luz que emiten las cámaras de infrarrojos y convertir a quien las lleve en un destello sin rostro. Además, las Reflectacles producen el mismo efecto cuando las ilumina un coche, de modo que protegen a los peatones en condiciones de escasa visibilidad.

Pero los problemas de los sistemas de biometría facial no terminan en las gafas reflectantes. De acuerdo con el estudio Accesorios para un crimen, publicado por la Asociación de Maquinaria Informática (AMC), el simple patrón de una montura no solo basta para provocar el error del algoritmo sino que puede llevarle a identificar a otra persona.

• Remedios defectuosos

"Si resolvemos esto, no lo hará un informático, sino un Nobel de Matemáticas", afirma Robles. Las aproximaciones actuales pasan por hacer remiendos al algoritmo. Son básicamente que unas veces funcionan y otras no. Por ejemplo, en lo que se conoce como entrenamiento conflictivo se genera una masa de ejemplos de este tipo y se instruye al sistema para que los reconozca y no se deje engañar por ellos. Basta un ejemplo diferente para tumbar la barricada.

Ian Goodfellow y Nicholas Papernot, expertos en seguridad y privacidad en machine learning, todavía no ven la luz al final del túnel. "Nadia ha diseñado aún un algoritmo de defensa verdaderamente poderoso que pueda resistir una amplia variedad de ataques conflictivos", escriben. La postura de Robles concuerda con esto: "Parte del problema es que la información de los buenos es casi pública. Nosotros mismos presentamos papers, hacemos workshops... Ellos pueden trabajar contra nuestra tecnología. Es como intentar hacer algoritmos de seguridad con el malo mirándote por encima del hombro".