O PhotoGuard do MIT altera pixels de forma invisível para que edições de fotos por IA desmoronem

No momento, qualquer pessoa pode pegar uma selfie encontrada online e editá-la com um modelo de IA generativa — e o resultado pode ser impossível de provar como falso. "Qualquer um pode pegar nossa imagem, modificá-la como quiser, nos colocar em situações de aparência muito ruim e nos chantagear", disse Hadi Salman, estudante de doutorado do MIT que contribuiu para a pesquisa. O PhotoGuard é a resposta do laboratório: uma ferramenta que altera fotos de maneiras minúsculas, invisíveis ao olho humano, mas fatais à manipulação por IA.

O mecanismo vem em duas técnicas, ambas construídas contra o Stable Diffusion. Na primeira, o PhotoGuard adiciona sinais imperceptíveis para que o modelo interprete a imagem como algo completamente diferente — um bloco de cinza puro. Na segunda, ele codifica sinais secretos que perturbam a forma como o modelo gera imagens, de modo que uma tentativa de edição — digamos, trocar roupas casuais por ternos por meio de um comando de texto — produza um borrão não natural em vez de uma correspondência realista.

Em teoria, as pessoas poderiam aplicar o escudo protetor às imagens antes de enviá-las; o professor do MIT Aleksander Madry argumentou que uma abordagem mais eficaz seria as empresas de tecnologia imunizarem as imagens automaticamente à medida que as pessoas as enviam para suas plataformas. O uso mais urgente da ferramenta é defensivo: impedir que selfies de mulheres sejam transformadas em pornografia deepfake não consensual. É também, alertou Madry, uma corrida armamentista — novos modelos de IA que podem anular tais proteções continuam surgindo.

Alterar fotos de maneiras invisíveis aos humanos, mas adversariais aos modelos de difusão: uma imagem "imunizada" se edita como um borrão não natural em vez de uma falsificação convincente.

Os modelos de difusão leem imagens como números, então uma imagem pode carregar duas mensagens ao mesmo tempo — uma legível para humanos, outra adversarial para o modelo.

A defesa ataca a manipulação na origem: em vez de detectar falsificações depois do fato, ela faz a própria edição falhar.

A imunização não precisa da cooperação da ferramenta do atacante, já que a perturbação viaja dentro do próprio arquivo de imagem.

O limite conhecido é honesto: funciona de forma confiável apenas no Stable Diffusion de código aberto, e os desenvolvedores de modelos podem se adaptar — daí o enquadramento de corrida armamentista.

Você pode combater um modelo generativo na própria matemática dele: perturbe a entrada para que a mesma edição que favorece uma imagem limpa destrua uma imagem imunizada.

Até a reportagem da MIT Technology Review de 2023-10-24, o PhotoGuard funcionava de forma confiável no Stable Diffusion; Madry propôs que as plataformas o aplicassem automaticamente aos uploads, ao mesmo tempo que alertou que modelos mais novos podem anular tais proteções.