Facebook bewertete Konten anhand des Verhaltens ihrer Freunde, damit Spammer die Regeln nicht umgehen konnten

Wie Ars Technica im März 2020 berichtete, verzeichnet Facebook monatlich Milliarden aktiver Nutzer, von denen nur ein kleiner Bruchteil missbräuchlich handelt: gefälschte oder kompromittierte Konten, Spammer und Betrüger. Wer solche Konten betreibt, kann Kontodaten einsehen und lernen, was Sperren auslöst, was ein Wettrüsten erzeugt. Die Forscher von Facebook gingen von Kontodaten zu Metadaten über die Verbindungen eines Kontos über, etwa wie viele Beiträge ein typischer Freund veröffentlicht oder wie oft Freundschaftsanfragen ausgehen, und fassten diese zu einem „Deep-Entity“-Profil zusammen.

Die Annahme ist, dass normale Konten sich mit normalen Konten verbinden, während Missbraucher sich mit Bots und ungewöhnlichen Konten verbinden. Dadurch ist für Missbraucher schwer zu erkennen, was der Algorithmus verwendet, und es ist schwer zu ändern. Die Klassifizierung ist rechenintensiv, weil sie für jeden Nutzer den Netzwerkgraphen durchläuft.

Es ist ein zweistufiges System. Ein neuronales Netz, das auf einer großen Menge minderwertiger Labels trainiert wurde, wird eine Schicht vor seiner binären Entscheidung gestoppt und liefert einen Vektor aus 32 Zahlen. Entscheidungsbäume, die auf einem kleineren Satz hochwertiger menschlicher Labels trainiert wurden – eines pro Missbrauchsart wie Spammer oder gekaperte Konten –, treffen dann die endgültige Entscheidung.

Ein Konto anhand des aggregierten Verhaltens seiner Nachbarn bewerten – Metadaten, die Betrüger weder einsehen noch billig ändern können – statt anhand seiner eigenen Merkmale.

Das über einen Netzwerkgraphen aggregierte Verhalten der Nachbarn ist für den Kontoinhaber nicht sichtbar und teuer zu fälschen.

Die Nutzung sowohl des großen verrauschten Datensatzes als auch des kleinen, von Menschen hochwertig gelabelten Datensatzes liefert Skalierung und Genauigkeit.

Getrennte Entscheidungsbäume pro Missbrauchsart ermöglichen es jeder Stufe, sich auf eine bestimmte Art von Missbraucher einzustellen.

Gesperrte Konten fließen im Hintergrund in das Neutraining ein, und das System vergleicht Kennzahlen, um zu entscheiden, wann das Produktionsmodell ersetzt wird.

Gegen Gegner, die Ihren Klassifikator studieren, Entscheidungen auf Signale stützen, die für sie teuer zu fälschen sind, etwa darauf, wer ihre Verbindungen sind.

Laut dem Artikel erklärte Facebook, das System sei seit einiger Zeit in Produktion und habe mindestens eine halbe Milliarde Konten pro Quartal gesperrt, mit einem Höchstwert von über 2 Milliarden im ersten Quartal 2019 (Facebook-Angaben, nicht unabhängig überprüft). Ars merkt an, dass die Frage, wie die Technologie anzuwenden sei, etwa auf Konten für Fehlinformationen, eine politische Frage sei, und Facebook erklärte, es baue auch die menschliche Moderation aus.