Los peligros de charlar con un chatbot policía (de paisano)

El auge del cibercrimen no es ningún invento. Siete años han bastado para que pasemos de 37.412 a 81.307 infracciones penales relacionadas con esta forma de hacer el mal que ya no es tan nueva pero sí está en constante evolución. ¿Te preocupa? A los gobernantes de Panóptica les tenía en un sinvivir.

Esta es la nación que ha inventado la Universidad de Princeton para el último de sus casos de estudio sobre la interacción de la inteligencia artificial y la ética. Panóptica era un estado democrático de tradición legal liberal que tenía un problemón en internet. Los cibercriminales se estaban cebando en los mayores del país. Robando sus identidades y vendiéndolas en la dark web, cuyo difícil acceso frustraba las investigaciones de la policía y airaba más y más a los ciudadanos, que se veían indefensos.

• Un chatbot de refuerzo

En medio del caos nació Jeremy. Un chatbot capaz de identificar cibercriminales utilizando técnicas de procesamiento del lenguaje para identificar patrones en sus comunicaciones online.

Una vez completado el entrenamiento, Jeremy ponía en práctica lo aprendido para hacerse pasar por un cibercriminal más y entablar conversación con individuos sospechosos de haber robado identidades o comerciado con ellas. De estos diálogos podían luego extraerse pistas sobre los planes de los malhechores e incluso pruebas para posibles procedimientos judiciales.

Sobre el papel, era el plan perfecto. Libre de las limitaciones propias del ser humano, Jeremy desarrollaba sus funciones sin descanso, con máxima eficiencia y a gran escala. Además, nadie podía acusarle de sesgos como los que suelen detectarse en el trabajo de los policías humanos. Y por si fuera poco, para evitar invadir la intimidad de los ciudadanos de Panóptica, se limitó el alcance de Jeremy. El chatbot solo podía charlar con individuos que ya formasen parte de investigaciones abiertas.

Más información

Los peligros de un mundo de algoritmos cotillas

Los peligros de confiar ciegamente en una ‘app’

• El triunfo (momentáneo) del chatbot

Los resultados no se hicieron esperar. Después de docenas de detenciones facilitadas por Jeremy, el pánico cesó. Panóptica respiró tranquila. Pero solo un ratito.

Uno de los detenidos en la primera racha de éxitos procedía de Hedonia, un país vecino. Aunque el arresto se había producido mientras el criminal veraneaba en Panóptica, este jamás había vivido allí ni había perpetrado crimen alguno dentro de las fronteras de dicho estado. Además, el comercio con identidades robadas no era una actividad explícitamente ilegal en su país de origen.

Pero los problemas no acababan ahí. De acuerdo con la versión del ciberdelicuente, Jeremy le había tendido una trampa. Aunque él no tenía pensado vender ninguna de las identidades que tenía en su poder, Jeremy le empujó a hacerlo. Posteriormente, las transcripciones de la conversación demostraron que el chatbot había ofrecido cada vez más dinero al cibercriminal a cambio de sus identidades.

• El chatbot de la discordia

Las alegaciones del visitante y el conflicto diplomático que su detención había desencadenado entre Hedonia y Panóptica sembraron la duda entre los ciudadanos de este último país. ¿Se había pasado de la raya el chatbot policía?

1. Responsabilidad en caso de inducción al crimen. Si el modus operandi del chatbot era ofrecer más y más dinero hasta que el ciberdelincuente cayera en la trampa. ¿Estaba frenando el crimen o fomentándolo entre los criminales en potencia? Si el papel de Jeremy era realmente favorecer que tales crímenes se perpetraran, su misma intervención parece restar responsabilidad al malhechor que acaba por acceder a la transacción.
2. Rendición de cuentas. Para preservar la efectividad de Jeremy, se mantuvieron en secreto detalles de su funcionamiento, como el modo en que el algoritmo elige a un individuo u otro para entablar conversación. Los vecinos de Panóptica se preguntaban si valía la pena utilizar un policía automatizado cuando esta técnica limitaba la posterior rendición de cuentas.

Ante estas dudas, el gobierno insistió en que Jeremy solo interactuaría con aquellos ciudadanos que ya estuviesen siendo investigados e incorporaron al proceso puntos de intervención humana para comprobar la buena marcha del sistema automatizado. En lo relativo a los posibles conflictos con otras naciones, investigadores y policías estuvieron de acuerdo en que se consideraría que los casos estaban bajo la jurisdicción de Panóptica, siempre que los crímenes en cuestión se hubieran perpetrado a través de servidores instalados en el país.

• ¿Qué dice Princeton?

1. Automatización. "En el estado actual del desarrollo tecnológico, los sistemas de inteligencia artificial requieren continuo soporte de los humanos [...]. Mientras la tecnología mejora, es probable que los humanos empiecen a representar papeles más y más pequeños en lo que consideramos labores esencialmente humanas, como la aplicación de la ley".
2. Ética. "Las intervenciones activas como las de Jeremy pueden tener impactos impredecibles en el comportamiento".
3. Soberanía. "Los nuevos sistemas han cambiado las expectativas de acción gubernamental. Si los gobiernos ignoran los cibercrímenes que afectan a sus ciudadanos, se percibe que no están haciendo suficiente para protegerlos. Por otro lado, si los gobiernos actúan contra ciudadanos extranjeros, podrían infringir la soberanía de otras naciones".