Facebook jugeait les comptes d'après le comportement de leurs amis, afin que les spammeurs ne puissent pas contourner les règles

Comme l'a rapporté Ars Technica en mars 2020, Facebook compte des milliards d'utilisateurs actifs par mois et seule une petite fraction est abusive : comptes faux ou compromis, spammeurs et escrocs. Les personnes qui gèrent de tels comptes peuvent voir les données du compte et apprendre ce qui déclenche les bannissements, ce qui crée une course aux armements. Les chercheurs de Facebook sont passés des données du compte aux métadonnées sur les connexions d'un compte, comme le nombre de publications d'un ami typique ou la fréquence d'envoi de demandes d'ami, et les ont combinées dans un profil de « deep entity ».

L'hypothèse est que les comptes normaux se connectent à des comptes normaux, tandis que les abuseurs se connectent à des bots et à des comptes inhabituels. Cela rend difficile pour les abuseurs de savoir ce que l'algorithme utilise et difficile de le modifier. La classification est gourmande en calcul car elle parcourt le graphe du réseau pour chaque utilisateur.

Il s'agit d'un système à deux niveaux. Un réseau de neurones entraîné sur un grand volume d'étiquettes de faible qualité est arrêté une couche avant sa décision binaire, ce qui donne un vecteur de 32 nombres. Des arbres de décision entraînés sur un ensemble plus restreint d'étiquettes humaines de haute qualité, une par type d'abus comme les spammeurs ou les comptes détournés, prennent ensuite la décision finale.

Noter un compte à partir du comportement agrégé de ses voisins, des métadonnées que les escrocs ne peuvent ni voir ni modifier à moindre coût, plutôt qu'à partir de ses propres caractéristiques.

Le comportement des voisins agrégé sur un graphe de réseau n'est pas visible pour le propriétaire d'un compte et est coûteux à falsifier.

L'utilisation à la fois du grand ensemble de données bruitées et du petit ensemble de données de haute qualité étiquetées par des humains permet d'obtenir à la fois l'échelle et la précision.

Des arbres de décision distincts par type d'abus permettent à chaque niveau de s'ajuster à un type spécifique d'abuseur.

Les comptes bloqués alimentent le réentraînement en arrière-plan, et le système compare les métriques pour décider quand remplacer le modèle en production.

Face à des adversaires qui étudient votre classificateur, fondez les décisions sur des signaux qu'il leur est coûteux de falsifier, comme l'identité de leurs connexions.

Selon l'article, Facebook a déclaré que le système était en production depuis un certain temps et avait bloqué au moins un demi-milliard de comptes par trimestre, avec un pic au-dessus de 2 milliards au premier trimestre 2019 (chiffres de Facebook, non vérifiés indépendamment). Ars note que la manière d'appliquer cette technologie, par exemple aux comptes de désinformation, est une question de politique, et Facebook a déclaré qu'il élargissait aussi la modération humaine.