개발자들이 4시간 만에 클로드의 보이지 않는 EU 규정 준수 워터마크를 무력화했다

앤트로픽이 EU AI법 준수를 위해 클로드 모델이 AI 생성 텍스트에 보이지 않는 기계 판독 가능 워터마크를 전 세계적으로 삽입할 것이라고 확인한 지 4시간 만에, 개발자 기욤 마이어는 이를 무력화하는 도구를 공개했다. 클로드가 생성한 텍스트에서 워터마크를 제거하는 코드는 GitHub에서 입소문을 탔고, X에서 2만 건 이상의 북마크를 받았으며 100명이 넘는 기여자를 끌어모았다.

앤트로픽은 클로드가 단어와 구문을 선택하는 방식에 패턴을 남겨 텍스트에 워터마크를 새긴다. 이는 사람이 식별할 수 없지만 기계는 감지할 수 있다. 이 기법인 SynthID는 구글이 개발해 2023년부터 사용해 왔으며, OpenAI의 스콧 애런슨은 유사한 방식을 제안했지만 워터마크가 고객을 떠나게 할까 우려해 회사는 이를 배포하지 않았다.

이 우회 방법들은 이 기법의 통계적 성질을 악용한다. 마이어의 방식은 워터마크를 적용하지 않는 LLM을 사용해 동의어를 바꾸고 내용을 재구성한 재작성본을 생성한다. 소프트웨어 엔지니어 에릭 휴스는 클로드 자체로 15분 만에 보이지 않는 문자와 유사 문자를 제거하고 문장 순서를 바꾸며 단어를 교체하는 도구를 만들었다. 옥스퍼드의 레온 클론은 응답을 압축하거나 의미가 크게 다른 아랍어로 번역했다가 다시 번역하면 패턴이 사라진다고 말한다. 앤트로픽도 크게 편집되거나 바꿔 쓰이거나 번역된 콘텐츠에는 워터마크가 남지 않을 수 있음을 인정했다.

이 규정은 제공자에게 합성 콘텐츠를 표시하도록 요구하며 위반 시 연매출의 최대 3%에 달하는 벌금을 부과하고, 제공자가 우회 도구를 마케팅하는 것을 금지하지만, 독립적인 도구에는 법적 제한을 두지 않는다. 앤트로픽은 워터마크가 응답의 '의미, 품질, 가독성을 바꾸지 않는다'고 말하며 사용자가 직접 확인할 수 있도록 텍스트 감지 API를 출시할 계획이라고 밝혔다.

단어 선택 통계에 새겨진 워터마크는 첫 번째 재작성에서 사라진다. 텍스트를 깨끗한 모델에 통과시키거나 번역했다가 되돌리면 패턴이 없어진다.

이는 출력 통계 기반 워터마크의 실질적인 수명을 보여준다. 기법이 공개되고 생태계에 워터마크가 없는 재작성 도구가 존재하면 수명은 몇 시간에 불과하다.

우회에는 특별한 수학이 필요 없다. 동의어 교체, 순서 변경, 또는 번역 왕복이면 충분한데, 어떤 재작성이든 워터마크가 깃든 바로 그 단어 선택을 다시 굴리기 때문이다.

규제 설계는 문을 열어 두었다. 제공자는 우회 도구를 마케팅할 수 없지만 독립적인 도구에는 아무런 제한이 없다.

편집되거나 번역된 텍스트는 표시를 잃을 수 있다는 앤트로픽 자신의 인정은 이 메커니즘의 핵심 한계를 시인한 것이다.

출력의 통계적 속성에 의존하는 규정 준수는 생태계에서 가장 약한 재작성 도구만큼만 강하다. 깨끗한 경로 하나만 있으면 전체 기법이 선택 사항이 된다.

마이어의 도구는 계속 퍼져 나갔고, 프리랜서 작가와 소셜 미디어 크리에이터들이 사용을 문의했다. OpenAI, 마이크로소프트, 메타를 포함한 190개 조직이 EU의 투명성 실천 강령에 서명했으며, 워터마크는 8월부터 모든 신규 모델에, 12월까지 기존 모델에 요구된다. 다만 얼마나 많은 연구소가 텍스트 워터마크를 구현할지, 그리고 어느 것이 앤트로픽이 계획한 감지 API 출시에 견딜 수 있을지는 여전히 미해결로 남아 있다.