Facebook avaliava contas pelo comportamento dos amigos para que spammers não conseguissem burlar as regras

Como o Ars Technica noticiou em março de 2020, o Facebook tem bilhões de usuários ativos por mês e apenas uma pequena fração é abusiva: contas falsas ou comprometidas, spammers e golpistas. As pessoas que operam essas contas conseguem ver os dados da conta e descobrir o que dispara banimentos, criando uma corrida armamentista. Os pesquisadores do Facebook passaram dos dados da conta para metadados sobre as conexões de uma conta, como quantas postagens um amigo típico faz ou com que frequência os pedidos de amizade são enviados, e combinaram esses dados em um perfil de "entidade profunda".

A premissa é que contas normais se conectam com contas normais, enquanto abusadores se conectam com bots e contas incomuns. Isso torna difícil para os abusadores saber o que o algoritmo usa e difícil alterá-lo. A classificação consome muitos recursos computacionais porque percorre o grafo da rede para cada usuário.

É um sistema de dois níveis. Uma rede neural treinada com um grande volume de rótulos de baixa qualidade é interrompida uma camada antes de sua decisão binária, gerando um vetor de 32 números. Árvores de decisão treinadas com um conjunto menor de rótulos humanos de alta qualidade, um por tipo de abuso, como spammers ou contas sequestradas, então tomam a decisão final.

Pontuar uma conta a partir do comportamento agregado de seus vizinhos, metadados que os golpistas não conseguem ver nem alterar a baixo custo, em vez de usar as características da própria conta.

O comportamento dos vizinhos agregado em um grafo de rede não é visível para o dono da conta e é caro de falsificar.

Usar tanto o grande conjunto de dados ruidosos quanto o pequeno conjunto rotulado por humanos com alta qualidade proporciona escala e precisão.

Árvores de decisão separadas por tipo de abuso permitem que cada nível se ajuste a um tipo específico de abusador.

Contas bloqueadas alimentam o retreinamento em segundo plano, e o sistema compara métricas para decidir quando substituir o modelo em produção.

Contra adversários que estudam seu classificador, baseie as decisões em sinais que sejam caros para eles forjarem, como quem são suas conexões.

Segundo o artigo, o Facebook afirmou que o sistema estava em produção havia algum tempo e bloqueava pelo menos meio bilhão de contas por trimestre, chegando a mais de 2 bilhões no primeiro trimestre de 2019 (números do Facebook, não verificados de forma independente). O Ars observa que como aplicar a tecnologia, por exemplo a contas de desinformação, é uma questão de política, e o Facebook disse que também estava ampliando a moderação humana.