Facebookは友人の行動でアカウントを判定し、スパマーがルールを悪用できないようにした

2020年3月にArs Technicaが報じたように、Facebookは月間数十億人のアクティブユーザーを抱えており、そのうち悪用しているのはごく一部にすぎない。偽造アカウントや乗っ取られたアカウント、スパマー、詐欺師などである。こうしたアカウントを運営する人々はアカウントデータを見ることができ、何がBANの引き金になるかを学習できるため、いたちごっこが生じる。Facebookの研究者たちは、アカウントデータから、典型的な友人が投稿する数や友達リクエストが送られる頻度など、アカウントのつながりに関するメタデータへと移行し、これらを組み合わせて「ディープエンティティ」プロファイルを作成した。

前提は、正常なアカウントは正常なアカウントとつながる一方、悪用者はボットや異常なアカウントとつながるというものである。これにより、悪用者がアルゴリズムが何を使っているかを知ることは難しくなり、変更することも難しくなる。分類はユーザーごとにネットワークグラフをクロールするため、計算負荷が高い。

これは2層構造のシステムである。大量の低品質ラベルで訓練されたニューラルネットワークは、二値判定の一層手前で止められ、32個の数値からなるベクトルを出力する。次に、スパマーや乗っ取られたアカウントなど悪用の種類ごとに1つずつ、より小規模な高品質の人手ラベルで訓練された決定木が最終判定を下す。

アカウント自身の特徴ではなく、詐欺師が見ることも安価に変更することもできないメタデータである、隣人の集約的な行動からアカウントを採点する。

ネットワークグラフ全体で集約された隣人の行動は、アカウントの所有者には見えず、偽装するにはコストがかかる。

大規模でノイズの多いデータセットと、小規模で高品質な人手ラベルのデータセットの両方を使うことで、規模と精度の両方を得られる。

悪用の種類ごとに別々の決定木を用意することで、各層が特定の種類の悪用者に合わせて調整できる。

ブロックされたアカウントはバックグラウンドで再訓練に供され、システムは指標を比較して本番モデルをいつ置き換えるかを決定する。

あなたの分類器を研究する敵対者に対しては、そのつながりが誰であるかなど、敵対者が偽造するのにコストがかかるシグナルに基づいて判断する。

記事によると、Facebookはこのシステムがしばらく本番環境で稼働しており、四半期ごとに少なくとも5億アカウントをブロックし、2019年第1四半期には20億を超えてピークに達したと述べた（Facebookの数値であり、独立した検証はされていない）。Arsは、この技術をどのように適用するか、例えば誤情報アカウントに適用するかは政策上の問題であると指摘し、Facebookは人的モデレーションも拡大していると述べた。