MIT의 PhotoGuard는 픽셀을 보이지 않게 변형해 사진에 대한 AI 편집이 무너지게 한다

현재 누구든 온라인에서 찾은 셀카를 생성형 AI 모델로 편집할 수 있으며, 그 결과물이 가짜임을 입증하는 것은 불가능할 수 있다. 이 연구에 기여한 MIT 박사과정생 하디 살만은 "누구든 우리의 이미지를 가져다 마음대로 수정하고, 우리를 매우 안 좋게 보이는 상황에 집어넣고, 협박할 수 있다"고 말했다. PhotoGuard는 연구실의 답이다. 인간의 눈에는 보이지 않지만 AI 조작에는 치명적인 아주 작은 방식으로 사진을 변형하는 도구다.

이 메커니즘은 두 가지 기법으로 구성되며, 둘 다 Stable Diffusion에 대응해 만들어졌다. 첫 번째로 PhotoGuard는 모델이 이미지를 전혀 다른 것 — 순수한 회색 덩어리 — 으로 해석하도록 눈에 띄지 않는 신호를 추가한다. 두 번째로는 모델이 이미지를 생성하는 방식을 교란하는 비밀 신호를 인코딩하여, 편집 시도 — 예컨대 텍스트 프롬프트로 평상복을 정장으로 바꾸는 것 — 가 사실적인 일치 대신 부자연스러운 흐림을 만들어내도록 한다.

이론적으로 사람들은 이미지를 업로드하기 전에 보호막을 적용할 수 있다. MIT 교수 알렉산더 매드리는 더 효과적인 접근은 기술 기업들이 사람들이 플랫폼에 이미지를 업로드할 때 자동으로 면역화하는 것이라고 주장했다. 이 도구의 가장 시급한 용도는 방어적이다. 여성의 셀카가 비동의 딥페이크 포르노로 변환되는 것을 막는 것이다. 매드리는 또한 이것이 군비 경쟁이라고 경고했다. 그러한 보호를 무력화할 수 있는 새로운 AI 모델이 계속 등장하고 있다.

인간에게는 보이지 않지만 확산 모델에는 적대적인 방식으로 사진을 변형한다. '면역화된' 이미지는 설득력 있는 가짜 대신 부자연스러운 흐림으로 편집된다.

확산 모델은 이미지를 숫자로 읽기 때문에, 이미지는 동시에 두 가지 메시지를 담을 수 있다. 하나는 인간이 읽을 수 있고, 다른 하나는 모델에 적대적이다.

이 방어는 조작을 근원에서 겨냥한다. 사후에 가짜를 탐지하는 대신, 편집 자체를 실패하게 만든다.

교란 신호가 이미지 파일 자체에 실려 있기 때문에 면역화는 공격자의 도구로부터 어떤 협조도 필요로 하지 않는다.

알려진 한계는 정직하다. 오픈소스 Stable Diffusion에서만 안정적으로 작동하며, 모델 개발자들이 적응할 수 있다 — 그래서 군비 경쟁이라는 틀이 붙는다.

생성형 모델을 그 자체의 수학으로 맞설 수 있다. 입력을 교란하여 깨끗한 이미지를 돋보이게 하는 동일한 편집이 면역화된 이미지에서는 파괴되도록 만드는 것이다.

2023-10-24 MIT Technology Review 보도 기준으로, PhotoGuard는 Stable Diffusion에서 안정적으로 작동했다. 매드리는 플랫폼이 업로드에 이를 자동으로 적용할 것을 제안하면서, 더 새로운 모델들이 그러한 보호를 무력화할 수 있다고 경고했다.