El peligro de que los asistentes de IA se vistan de humanos

La primera vez que me topé con la nueva tecnología Duplex de Google, me resultó al mismo tiempo emocionante y aterrador. Es el tipo de evolución tecnológica que, inicialmente, se percibe como un avance de la humanidad y que tiene el potencial de generar innumerables oportunidades de negocio.

Sin embargo, a medida que se va conociendo su potencial, se detecta cómo los ciberdelincuentes podrían explotarlo con intenciones maliciosas. Por esto, Google Duplex puede no ser tan prometedor y espeluznante como sugirió su primera demostración. Vamos a analizar cuatro cuestiones de privacidad y seguridad que deberíamos tener en cuenta, a medida que los futuros asistentes personales basados en inteligencia artificial (AI) continúan avanzando.

Duplex es una extensión de prueba de concepto para Google Assistant, la tecnología de asistente personal que se encuentra en muchos dispositivos; similar a Siri de Apple y Alexa de Amazon. Todo el mundo se ha acostumbrado a hablar con asistentes personales en los teléfonos y altavoces domésticos, pidiendo desde configurar una alarma hasta recomendar música.

Con los años, estas tecnologías auxiliares han comenzado a sonar cada vez más humanas, y pueden responder a más y más tipos de solicitudes. Sin embargo, siguen siendo bastante limitadas. No pueden mantener una conversación real, ya que suenan reconociblemente robóticas, y siguen siendo muy limitadas en lo que entienden y hacen. Sin embargo, Google Duplex parece diferente.

Si se observa la demostración de Google Duplex, probablemente sorprenda lo humano que suena el asistente. En su demostración, Duplex realiza dos llamadas automáticas para que sus interlocutores fijen una cita. Los destinatarios de las llamadas no reconocen que están hablando con un programa automatizado, y la llamada parece una conversación normal. El asistente automatizado intenta concertar una cita en un día y hora determinados, pero descubre que no hay huecos disponibles y debe ajustarse y ampliar la disponibilidad como corresponde. Se trata de algo que todos hacemos de forma natural cuando hablamos entre nosotros, pero es excepcional cuando se trata de un programa informático. Cuando las preguntas de los interlocutores humanos comienzan a ser complejas y cambian de contexto, Duplex sigue funcionando y responde en consecuencia, incluso emitiendo interjecciones humanas como mm-hmm. El test de Turing supone un desafío a la hora de medir la capacidad que tiene una máquina o programa de comportarse como un ser humano.

Desde el punto de vista tecnológico, Duplex ofrece oportunidades ilimitadas. No obstante, a medida que estas tecnologías progresan, también existe la posibilidad de un mayor uso indebido, por eso es importante analizar cuatro posibles aspectos a corto y largo plazo sobre esta tecnología de IA:

Duplex comienza con engaño: una de las mayores fortalezas de Duplex es que, al mismo tiempo, es un peligro. El objetivo de Duplex es actuar lo más humanamente posible. Los investigadores de Google descubrieron que tan pronto como los humanos se dan cuenta de que están recibiendo la llamada de un robot lo más probable es que cuelguen. Hacer que el sonido de Duplex sea humano es un requisito fundamental para completar algunas tareas no digitales que requieren la cooperación de otro ser humano, como fijar una cita en ausencia de mecanismos de programación digital.

Esto supone que Duplex comienza sus interacciones con la duplicidad en mente. Durante la primera demostración, el interlocutor humano no sabía que estaba hablando con un robot. Esto demuestra que es posible que una IA engañe a los humanos. Una vez que este tipo de tecnología esté ampliamente disponible, los ciberdelincuentes la pueden utilizar con un objetivo más malicioso.

Sin embargo, Google parece haberse percatado de este problema. Hace unos días, mostraron una nueva demo en el mundo real. Durante esta demostración, Duplex mencionó que era un asistente automático al acabar la llamada. Aunque este paso hace que Google Duplex sea más seguro, ahora que el mundo ha visto que la IA puede convencer a alguien de que es un ser humano, solo es cuestión de tiempo que alguien diseñe una llamada de inteligencia artificial con el objetivo de engañar.

Problemas de privacidad: para hacer su trabajo, es probable que tecnologías como Duplex tengan que grabarte, de forma similar a como lo hacen Siri y Alexa. Lo deseable es que las empresas con buenas intenciones solo tengan estas grabaciones temporalmente, lo suficiente para que la IA analice y entienda el discurso. Pero, ¿quién sabe si esto se hace así realmente? Las empresas han elegido almacenar todos los datos que recopilan. Estas grabaciones no solo pueden contener cosas que se dicen y que se querrían mantener en privado, sino que también guardan características personales sobre cada uno nosotros, por ejemplo, los rasgos distintivos de nuestra voz, que podrían utilizarse contra nosotros.

Los sistemas automatizados que registran la voz sin consentimiento no solo violan la privacidad, sino que también podrían tener implicaciones legales serias. Algunos estados tienen leyes sobre las escuchas telefónicas que no permiten grabar a otra persona en una llamada sin su consentimiento. Durante la demostración original, Duplex no advirtió que estaba grabando la llamada. Sin embargo, Google también corrigió esto en su segunda demostración. Ahora, Duplex advierte de su grabación, señalando puntos como: “Soy el servicio de reserva automatizado de Google, así que voy a grabar la llamada”. No obstante, todavía deja al descubierto posibles infracciones en la privacidad por parte de la corporación que tiene la grabación, en cuanto a los millones de voces que se registran, así como cualquier otra cosa sensible que digan. Es bueno para las empresas como Google asegurar que "no harán mal", pero la historia ha demostrado que no siempre se puede tomar a pies juntillas la palabra de las empresas. Antes de que esta tecnología se extienda demasiado, se deberían aprobar algunas regulaciones que limiten cuánto tiempo y qué cantidad de datos pueden almacenar estos tipos de soluciones.

Vishing automatizado: una de las mayores amenazas para la seguridad de la información ni siquiera implica tecnología. La ingeniería social es el acto de engañar a una víctima para que le brinde información que no debería tener. Uno de los hackers más perversos del mundo, Kevin Mitnick, se hizo un nombre por la cantidad de víctimas de ingeniería social vía telefónica; un ataque al que la industria de la seguridad llama vishing (un acrónimo de phishing de voz).

En conferencias de seguridad como DEF CON, a menudo se ven presentaciones en las que los ingenieros sociales envían ataques de vishing a las víctimas. (Este vídeo muestra lo fácil que es cambiar las credenciales de cualquiera con una simple llamada telefónica). El vishing es una de las amenazas de las que resulta más difícil protegerse, ya que la tecnología generalmente no puede ayudar. Se trata de usar la psicología para explotar la debilidad y los actos humanos naturales.

Una de las pocas cosas que realmente salva a la industria de los ataques de vishing es que no escalan. Cada llamada de ingeniería social requiere el tiempo de un humano, que solo puede hacer una llamada a la vez. Sin embargo, imagina que los asistentes de IA son creados para hacer llamadas de vishing. Ahora, una IA puede hacer cientos o miles de llamadas a la vez y los hackers se darán cuenta de esto. 

La buena noticia es que no parece posible que los atacantes puedan aprovechar Google Duplex directamente para atacar. En principio, es un sistema cerrado, solo disponible para el asistente de Google. Los investigadores de Google afirman que únicamente ha sido diseñado para tareas de "dominio cerrado". A pesar de que Duplex parecía mantener una conversación dinámica e interactiva sobre la "programación de citas", no significa que sepa cómo hablar sobre cualquier otra cosa. No parece que los atacantes, puedan usar Duplex para hacer llamadas de vishing ahora mismo 

Sin embargo, Google Duplex demuestra que puede construir una red neuronal recurrente (RNN) que puede hablar como un ser humano y realizar tareas telefónicas específicas. Teniendo en cuenta que Duplex se basa en el proyecto TensorFlowde Google, se puede predecir que no pasará mucho tiempo hasta que los ciberdelincuentes construyan versiones maliciosas similares a Duplex por su cuenta.

Spear-vishing: los futuros "asistentes de IA" podrían sonar como un humano. Duplex ha demostrado que la tecnología de IA es lo suficientemente fuerte como para que un hacker motivado pueda crear un asistente de teléfono de inteligencia artificial que hace llamadas de vishing. La IA y el machine learning también permiten a los investigadores imitar las voces e imágenes. De hecho, el año pasado una compañía llamada Lyrebird dio a conocer un algoritmo de simulación de voz que podría imitar a una persona real, simplemente con tener un pequeño fragmento de audio de su voz. Ahora solo hay que imaginar una enorme biblioteca de audio que podría utilizarse para imitar voces. Las llamadas automatizadas de vishing desde un ordenador son bastante malas, pero ¿y si estas llamadas simulan venir de amigos, familiares o incluso de tu jefe?

El spear-phishing (una estafa de correo electrónico o comunicaciones dirigida a personas, organizaciones o empresas específicas) se ha convertido en una gran amenaza. A menudo, los hackers más sofisticados aprenden sobre cada uno y usan ese conocimiento para diseñar correos electrónicos a los que es más probable responder. Un ejemplo es crear un correo electrónico que parece proceder de tu jefe. Ahora imagina una llamada que procede de tu jefe, que suena como su voz, habla con su cadencia, pero que en realidad es un asistente de inteligencia artificial que usa un algoritmo de imitación de voz con un objetivo malicioso.

Personalmente, creo que esta tecnología es benigna, no es ni buena ni mala. La forma en que se decida usarla definirá si finalmente salva o destruye a la humanidad. Google Duplex se ve como una tecnología extraordinaria; sin embargo, hay que darse cuenta del potencial negativo que tienen productos como Duplex, o productos que aprovechan la IA de otra forma. En definitiva, sin duda hay una forma de aprovechar estas tecnologías para mejorar la sociedad, pero hay que plantear nuevas regulaciones, un diseño de seguridad y otras salvaguardas que limiten el daño potencial que pueden lograr las tecnologías más potentes. No se deje engañar y no permita ser engañado por un Duplex malicioso no verificado.

Corey Nachreiner es CTO de WatchGuard Technologies