Le PhotoGuard du MIT modifie les pixels de façon invisible pour que les retouches d'images par IA échouent

Aujourd'hui, n'importe qui peut prendre un selfie trouvé en ligne et le retoucher avec un modèle d'IA générative — et le résultat peut être impossible à prouver comme faux. « N'importe qui peut prendre notre image, la modifier comme il le veut, nous placer dans des situations très compromettantes et nous faire chanter », a déclaré Hadi Salman, doctorant au MIT qui a contribué à la recherche. PhotoGuard est la réponse du laboratoire : un outil qui altère les photos de manière infime, invisible à l'œil humain mais fatale à la manipulation par IA.

Le mécanisme repose sur deux techniques, toutes deux conçues contre Stable Diffusion. Dans la première, PhotoGuard ajoute des signaux imperceptibles pour que le modèle interprète l'image comme quelque chose de tout à fait différent — un bloc de gris pur. Dans la seconde, il encode des signaux secrets qui perturbent la façon dont le modèle génère les images, de sorte qu'une tentative de retouche — par exemple, remplacer des vêtements décontractés par des costumes via une invite textuelle — produise un flou artificiel au lieu d'une correspondance réaliste.

En théorie, les gens pourraient appliquer le bouclier protecteur aux images avant de les téléverser ; le professeur du MIT Aleksander Madry a soutenu qu'une approche plus efficace consisterait pour les entreprises technologiques à immuniser automatiquement les images au moment où les gens les téléversent sur leurs plateformes. L'usage le plus urgent de l'outil est défensif : empêcher que des selfies de femmes soient transformés en pornographie deepfake non consentie. C'est aussi, a mis en garde Madry, une course aux armements — de nouveaux modèles d'IA susceptibles de contourner ces protections ne cessent d'apparaître.

Altérer les photos de manière invisible pour les humains mais adversariale pour les modèles de diffusion : une image « immunisée » se retouche en un flou artificiel au lieu d'un faux convaincant.

Les modèles de diffusion lisent les images comme des nombres, de sorte qu'une image peut porter deux messages à la fois — l'un lisible pour les humains, l'autre adversariale pour le modèle.

La défense cible la manipulation à la source : au lieu de détecter les faux après coup, elle fait échouer la retouche elle-même.

L'immunisation ne nécessite aucune coopération de l'outil de l'attaquant, puisque la perturbation est portée à l'intérieur même du fichier image.

La limite connue est honnête : elle ne fonctionne de manière fiable que sur Stable Diffusion, le modèle open source, et les développeurs de modèles peuvent s'adapter — d'où le cadre de course aux armements.

On peut combattre un modèle génératif avec ses propres mathématiques : perturber l'entrée pour que la même retouche qui flatte une image propre détruise une image immunisée.

Au moment du rapport de MIT Technology Review du 2023-10-24, PhotoGuard fonctionnait de manière fiable sur Stable Diffusion ; Madry a proposé que les plateformes l'appliquent automatiquement aux téléversements, tout en avertissant que des modèles plus récents pourraient contourner ces protections.