Google crea Perspective para luchar contra los ‘trolls’ en las noticias

El 47% de los usuarios de Internet en Estados Unidos ha sufrido acoso. Un 72% ha sido testigo de este abuso. Y casi un tercio se autocensura a la hora de poner un mensaje, por miedo a las consecuencias. Estas cifras, del estudio Acoso online y abuso digital del Instituto de Investigación Data Society, son las que han terminado de convencer a Google de que había que luchar contra los trolls de la Red y "convertir Internet en un espacio más seguro". El gran gigante tecnológico lanza este jueves Perspective, una herramienta que utiliza inteligencia artificial para identificar comentarios "tóxicos" en las noticias con el objetivo de que pueden ser revisados y excluidos de la conversación.

"El desafío actual es crear una buena conversación en Internet. Hay muchísima gente tratando de entablar debates en las secciones de comentarios de las páginas webs, pero terminan marchándose y dejando la conversación por culpa de otra gente que insulta o falta al respeto", ha explicado en una conferencia telefónica Jared Cohen, fundador y presidente de Jigsaw. Esta empresa —antes conocida como Google Ideas— ha sido la encargada de desarrollar el código para plantar cara a los trolls.

Perspective puede ser utilizada de forma gratuita por cualquier editor y desarrollador de contenido

Perspective puede ser utilizada de forma gratuita por cualquier editor y desarrollador de contenido, ya que es de código abierto. Es decir, no se trata de una tecnología creada por Google para uso exclusivo de Google, sino que "el objetivo es empoderar a los editores de publicaciones y plataformas para que ellos puedan decidir lo que se puede o no decir en sus páginas webs", ha sostenido Cohen.

Los editores pueden decidir lo que hacer con la información que reciben de Perspective. Desde Jigsaw plantean varias opciones: marcar los comentarios para que sean revisados por sus propios moderadores y decidir si los incluyen en una conversación; permitir que los usuarios vean la toxicidad potencial de su comentario cuando lo están escribiendo, o clasificar los comentarios según este criterio, para "facilitar la búsqueda de grandes debates escondidos en conversaciones tóxicas".

Aprender a leer insultos

El funcionamiento es, en teoría, sencillo. Primero, un equipo de personas se dedica a revisar comentarios y crea una base de datos en la que se incluyen aquellos que consideran tóxicos —porque contienen insultos, palabrotas o faltas de respeto—. Después Perspective, de forma autónoma, se encarga de analizar decenas de miles de comentarios de páginas webs. Para saber cuáles son tóxicos, los evalúa y compara con los que están en la base de datos. Si hay una similitud con los que ya se consideran perjudiciales, los identifica y añade. "Así, si alguien está diciéndole a otro feo, estúpido o idiota, se comprueba si esas palabras se identifican con algunos de los comentarios tóxicos que el sistema ya tiene almacenados. Es una manera de entrenarlo", describe Cohen.

La inteligencia artificial identificará mejor los insultos y comentarios tóxicos cuánto más se use

La clave del funcionamiento de Perspective está en la utilización del aprendizaje automático (machine learning). Esta forma de inteligencia artificial analiza datos y crea patrones a partir de los aciertos. Así, cuánto más se usa, más aprende. Los datos, en este caso los comentarios, son su alimento. "Perspective no es perfecta todavía porque está en una etapa muy inicial, pero cuántos más datos tenga, mejor funcionara. Cuántos más comentarios analice, más perfecta será", ha asegurado Cohen.

Durante este tiempo de entrenamiento, sus creadores saben que Perspective cometerá errores, por lo que confían en la labor de revisión. Esta tarea la pueden llevar a cabo tanto editores como usuarios que estén leyendo los comentarios. Si estos no consideran que “feo” sea un insulto, el sistema tampoco lo detectará como tal. Esa dependencia plantea la posibilidad de que la máquina tome decisiones erróneas sobre lo que es reprobable o no; como ocurrió con Tay, el bot de Microsoft, que aprendía en base a las conversaciones que mantenía en Twitter y terminó proclamando insultos racistas y negando el genocidio nazi.

Acerca de esta posibilidad, el fundador de Jigsaw se ha mostrado seguro de su producto: "Estamos ofreciendo la posibilidad de mejorar y según los datos que manejamos ni a los editores ni a los usuarios les gustan estos comentarios insultantes".

Solo disponible en inglés

De momento, esta herramienta solo está disponible en inglés, aunque próximamente —no han especificado fecha— llegará en más idiomas. Cuando editores y plataformas de otros países se muestren interesados en colaborar, se podrán empezar a recoger datos de esos lenguajes para construir un modelo, como se hizo con el inglés y The New York Times. Jigsaw empezó a probar la tecnología hace algunos meses con el periódico estadounidense, que ya tenía un equipo que se encargaba de examinar y moderar los comentarios antes de que se publicaran. El personal del Times analiza en tiempo real alrededor de 11.000 comentarios cada día. Una cantidad que ha provocado que solo se permita comentar en un 10% de los artículos. El objetivo de Perspective es ayudarles a clasificarlos con más rapidez al mismo tiempo que nutren a su algoritmo con todos esos ejemplos. 

La iniciativa de Google no es nueva. Otras empresas como Twitter o Mozilla ya han empezado acciones similares. En el caso de la red social, la decisión de plantar cara a los trolls estuvo motivada porque compañías como Salesforce y Disney declinaron comprarla por los problemas de moderación y la falta de una comunidad saludable. Así, Twitter ha puesto a disposición de los usuarios herramientas para silenciar una conversación y marcar palabras intolerables. De esta manera, se puede dejar un hilo de conversación sin recibir notificaciones y tener una lista negra de palabras hirientes para que no se puedan relacionar con tu perfil, ni citarte con ellas. Sin embargo, muchos usuarios consideran que el dejar de ver algo, cuando se silencia un mensaje o se bloquea a un usuario, no es freno suficiente.