Usando aprendizaje automático para detectar a ISIS

Cómo el aprendizaje automático puede encontrar extremistas en las redes sociales

Tauhid Zaman ||Lea el estudio completo: “Finding extremists in online social networks”

Los grupos extremistas a menudo usan las redes sociales en línea para reclutar miembros y difundir propaganda. Tauhid Zaman, profesor asociado de gestión de operaciones en Yale SOM, y sus colegas investigaron recientemente cómo la inteligencia artificial podría ayudar a los esfuerzos para detectar y suspender dichas cuentas, antes de que el usuario publique contenido dañino. Los hallazgos del equipo podrían ayudar a las agencias de aplicación de la ley a rastrear a los partidarios de ISIS o los supremacistas blancos.

Liderazgo de operaciones de tecnología de datos

Por Roberta Kwok || Yale Insights

En octubre de 2015, un partidario británico del ISIS llamado Sally Jones publicó un tweet con el hashtag #RunRobertRun. El tuit incluía un enlace a otro mensaje que contenía la supuesta dirección de Robert O’Neill, el ex SEAL de la Marina que afirma haber matado a Osama bin Laden. Cuando Twitter suspendió la cuenta de Jones, la información se había extendido a otros partidarios de ISIS.

O'Neill no vivía en esa dirección y permaneció ileso. Pero el tuit de Jones es un ejemplo preocupante de cómo los grupos extremistas explotan las redes sociales para atraer a otros a su causa e incitar a la violencia. "Twitter solía ser una broma, algo divertido para los niños", dice Tauhid Zaman, profesor asociado de gestión de operaciones en Yale SOM. "Ahora es un problema de seguridad nacional".

En un estudio reciente, el equipo de Zaman investigó cómo identificar afiliados de ISIS en Twitter para que sus cuentas puedan cerrarse rápidamente. Los investigadores utilizaron el aprendizaje automático para predecir qué usuarios tenían más probabilidades de ser extremistas, en función de características tales como a quién seguía la persona. Los usuarios suspendidos a menudo se registran nuevamente con un nombre ligeramente diferente, por lo que el equipo también desarrolló estrategias para detectar estas nuevas cuentas.

Si bien el estudio se centró en Twitter, Zaman dice que el método es lo suficientemente general como para aplicarlo a otras redes sociales en línea. Y cree que las estrategias deberían funcionar para otros grupos extremistas, como los supremacistas blancos, que exhiben un comportamiento similar, como la creación de cuentas duplicadas. "Juegan el mismo juego", dice Zaman.

En 2014, Christopher Marks, un teniente coronel del ejército de EE. UU., era estudiante de doctorado en el laboratorio de Zaman y quería estudiar redes sociales. En ese momento, ISIS tenía una presencia creciente en Twitter.

Zaman y Marks decidieron intentar detectar cuentas de ISIS incluso antes de que el usuario publicara algún mensaje. Para cuando la persona tuiteó contenido dañino, Zaman dice que "podría ser demasiado tarde".

Para investigar, colaboraron con Jytte Klausen, investigadora de la Universidad de Brandeis que estudia el yihadismo occidental. Klausen proporcionó una lista de alrededor de 100 usuarios de Twitter conocidos por estar afiliados a ISIS. Luego, el equipo identificó a los seguidores de esas personas, las personas que siguieron, las personas conectadas con los seguidores, y así sucesivamente, lo que arrojó más de 1.3 millones de cuentas. Sin embargo, no todos esos usuarios eran extremistas; Por ejemplo, algunos eran investigadores que estudiaban ISIS.
"Cuando matas una cuenta de ISIS, vuelve".

El equipo de Zaman luego rastreó alrededor de 647,000 de las cuentas durante varios meses, y en septiembre de 2015, Twitter había suspendido aproximadamente 35,000 de ellas, presumiblemente porque esos usuarios habían publicado contenido extremista. Entonces, los investigadores utilizaron IA para identificar las características típicas de las cuentas suspendidas. Por ejemplo, seguir a ciertos usuarios u ocultar la ubicación de uno estaba vinculado a una mayor probabilidad de extremismo.

Sobre la base de esas medidas, los investigadores pudieron identificar automáticamente alrededor del 60% de las cuentas que luego se suspendieron. Alrededor del 10% de los usuarios marcados eran falsos positivos. (El software se puede ajustar para establecer un umbral más estricto, dice Zaman, en cuyo caso identificaría más afiliados de ISIS y produciría más falsos positivos).

Luego, el equipo quería detectar nuevas cuentas creadas por usuarios suspendidos. A menudo, "cuando matas una cuenta de ISIS, vuelve", dice Zaman.

El software que simplemente buscaba similitudes en nombres y fotos funcionó bastante bien. Los usuarios suspendidos a menudo eligen un nombre de pantalla e imagen similares para su nueva cuenta porque quieren que los seguidores anteriores los encuentren, dice.

Pero los investigadores finalmente desarrollaron una estrategia de búsqueda más eficiente. Cuando un usuario suspendido creó una nueva cuenta, esa persona probablemente volvería a seguir a muchas de las mismas personas que habían seguido anteriormente. Entonces, una forma de encontrar a ese usuario era buscar en las redes de cuentas seguidas previamente por la cuenta suspendida.

Utilizando el aprendizaje automático, el equipo asignó a cada cuenta un puntaje, que capturó la probabilidad de que un usuario suspendido los volviera a seguir. El mejor enfoque, dice Zaman, era priorizar la búsqueda en las redes de cuentas con un puntaje alto y relativamente pocos seguidores. Después de buscar en la red de una cuenta un seguidor similar a la cuenta suspendida, el software pasó al siguiente amigo de la lista y repitió el proceso. "Eso te da la forma más rápida de encontrar estas cuentas", dice Zaman.

Zaman señala que si bien las agencias de aplicación de la ley podrían usar el software para erradicar a los extremistas, los gobiernos autoritarios podrían hacer lo mismo para sofocar la resistencia. "Si lo usa incorrectamente, es la supresión de la disidencia", dice.

Y una persona siempre debe revisar el resultado para confirmar si el software realizó la llamada correcta. "Quieres que un humano sea el último punto de control", dice Zaman.

Es probable que el software no supere los métodos internos de Twitter para señalar a los extremistas porque la empresa tiene acceso a más datos, como las direcciones IP. Pero Zaman dice que el método del equipo ayudará a cualquier red social a combatir grupos peligrosos.

"Nuevos tipos de grupos extremistas continuarán apareciendo en diferentes redes sociales y los usarán para propaganda y reclutamiento", dice. "Nuestra investigación proporciona un conjunto de herramientas que pueden detectar y monitorear estos grupos sin importar en qué red se encuentren y qué mensaje peligroso defiendan".