Facebook evaluaba las cuentas por el comportamiento de sus amigos para que los spammers no pudieran burlar las reglas

Como informó Ars Technica en marzo de 2020, Facebook registra miles de millones de usuarios activos al mes y solo una pequeña fracción son abusivos: cuentas falsas o comprometidas, spammers y estafadores. Quienes operan esas cuentas pueden ver los datos de la cuenta y aprender qué desencadena las prohibiciones, lo que genera una carrera armamentista. Los investigadores de Facebook pasaron de los datos de la cuenta a metadatos sobre las conexiones de una cuenta, como cuántas publicaciones hace un amigo típico o con qué frecuencia se envían solicitudes de amistad, y los combinaron en un perfil de "entidad profunda".

La premisa es que las cuentas normales se conectan con cuentas normales, mientras que los abusadores se conectan con bots y cuentas inusuales. Eso hace que sea difícil para los abusadores saber qué usa el algoritmo y difícil cambiarlo. La clasificación consume muchos recursos de cómputo porque recorre el grafo de la red para cada usuario.

Es un sistema de dos niveles. Una red neuronal entrenada con un gran volumen de etiquetas de baja calidad se detiene una capa antes de su decisión binaria, lo que da un vector de 32 números. Luego, árboles de decisión entrenados con un conjunto más pequeño de etiquetas humanas de alta calidad, una por cada tipo de abuso, como spammers o cuentas secuestradas, toman la decisión final.

Puntuar una cuenta a partir del comportamiento agregado de sus vecinos, metadatos que los estafadores no pueden ver ni cambiar a bajo costo, en lugar de sus propias características.

El comportamiento de los vecinos agregado a través de un grafo de red no es visible para el propietario de una cuenta y es costoso de falsificar.

Usar tanto el gran conjunto de datos ruidosos como el pequeño conjunto de datos etiquetados por humanos de alta calidad aporta escala y precisión.

Árboles de decisión separados por tipo de abuso permiten que cada nivel se ajuste a un tipo específico de abusador.

Las cuentas bloqueadas alimentan el reentrenamiento en segundo plano, y el sistema compara métricas para decidir cuándo reemplazar el modelo en producción.

Frente a adversarios que estudian tu clasificador, basa las decisiones en señales que les resulten costosas de falsificar, como quiénes son sus conexiones.

Según el artículo, Facebook dijo que el sistema llevaba un tiempo en producción y que bloqueaba al menos quinientos millones de cuentas por trimestre, con un pico superior a 2000 millones en el primer trimestre de 2019 (cifras de Facebook, no verificadas de forma independiente). Ars señala que cómo aplicar la tecnología, por ejemplo a cuentas de desinformación, es una cuestión de política, y Facebook dijo que también estaba ampliando la moderación humana.