페이스북은 스패머가 규칙을 악용할 수 없도록 계정을 친구들의 행동으로 판단했다

2020년 3월 Ars Technica가 보도한 바에 따르면, 페이스북은 월간 수십억 명의 활성 사용자를 보유하고 있으며 그중 극히 일부만이 악의적이다: 가짜 또는 탈취된 계정, 스패머, 사기꾼 등이다. 그러한 계정을 운영하는 사람들은 계정 데이터를 볼 수 있고 무엇이 차단을 유발하는지 학습할 수 있어 군비 경쟁이 벌어진다. 페이스북 연구진은 계정 데이터에서 계정 연결에 관한 메타데이터, 예컨대 일반적인 친구가 작성하는 게시물 수나 친구 요청이 얼마나 자주 나가는지 등으로 눈을 돌려 이를 "심층 개체" 프로필로 결합했다.

전제는 정상 계정은 정상 계정과 연결되는 반면, 악용자는 봇과 비정상 계정과 연결된다는 것이다. 이로 인해 악용자는 알고리즘이 무엇을 사용하는지 알기 어렵고 이를 바꾸기도 어렵다. 분류는 각 사용자에 대해 네트워크 그래프를 크롤링해야 하므로 연산 집약적이다.

이는 2단계 시스템이다. 대량의 저품질 레이블로 훈련된 신경망은 이진 결정 직전 한 층에서 멈추어 32개 숫자의 벡터를 산출한다. 그런 다음 스패머나 탈취된 계정 등 악용 유형별로 하나씩, 더 적은 고품질 인간 레이블로 훈련된 결정 트리가 최종 판정을 내린다.

사기꾼이 볼 수 없거나 값싸게 바꿀 수 없는 메타데이터인 이웃의 집계된 행동을 기반으로, 계정 자체의 특징 대신 계정의 점수를 매긴다.

네트워크 그래프 전반에 걸쳐 집계된 이웃의 행동은 계정 소유자에게 보이지 않으며 위조하는 데 비용이 많이 든다.

크고 잡음이 많은 데이터 세트와 작지만 고품질의 인간 레이블 데이터 세트를 모두 사용함으로써 규모와 정확성을 모두 얻는다.

악용 유형별로 별도의 결정 트리를 두어 각 단계가 특정 유형의 악용자에 맞게 조정될 수 있다.

차단된 계정은 백그라운드에서 재훈련에 투입되며, 시스템은 지표를 비교하여 생산 모델을 언제 교체할지 결정한다.

분류기를 연구하는 적대자에 맞서, 그들이 위조하기에 비용이 많이 드는 신호, 예컨대 그들의 연결이 누구인지에 기반하여 결정을 내려라.

기사에 따르면, 페이스북은 이 시스템이 한동안 생산 환경에서 운영되어 왔으며 분기당 최소 5억 개의 계정을 차단했고 2019년 1분기에는 20억 개를 넘어 정점을 찍었다고 밝혔다(페이스북의 수치이며 독립적으로 검증되지 않음). Ars는 이 기술을 허위 정보 계정 등에 적용하는 방법은 정책 문제라고 지적했으며, 페이스북은 인간 검토도 확대하고 있다고 밝혔다.