아마추어도 이길 수 있는 Go 프로그램이 KataGo의 사각지대를 찾아냈다 — 그리고 초인적 AI를 이겼다

최상위 인간 선수를 이기는 오픈소스 Go AI KataGo는 수백만 번의 자기 대국을 통해 게임을 학습했다. 2022년 11월, 당시 UC 버클리 박사과정생이었던 Adam Gleave를 포함한 AI 연구자 팀은 이를 무찌르는 방법을 발표했다: 신경망과 몬테카를로 트리 탐색으로 구축된 적대적 정책으로, 그 학습이 남긴 사각지대를 악용한다.

Gleave는 대국 중에 적대자가 먼저 바둑판의 작은 귀퉁이를 차지하고 KataGo가 나머지를 가져가도록 놔두며, 자신의 영역에 잡기 쉬운 돌을 심는다고 설명한다. '이것은 KataGo가 이미 이겼다고 착각하게 만든다'고 그는 말한다 — 그러나 왼쪽 아래 영역은 실제로는 점수에 기여하지 않는데, 흑돌이 있기 때문에 완전히 확보된 것이 아니기 때문이다.

자신이 이기고 있다고 확신한 KataGo는 패스를 두고, 연속 두 번의 패스로 게임이 끝나며, 집계는 적대자의 귀퉁이 영역만 센다. 이 속임수는 적대자가 인간 아마추어도 비교적 쉽게 이길 정도로 약함에도 불구하고 통하는데, 그 유일한 목적은 예상치 못한 취약점을 공격하는 것이다.

Gleave는 이 결과가 인간 수준의 성능을 내는 것처럼 보이는 AI 시스템이 '종종 매우 이질적인 방식으로 그렇게 하기 때문에, 인간에게 놀라운 방식으로 실패할 수 있다'는 것을 보여준다고 말한다 — Go에서는 재미있지만, 안전이 중요한 시스템에는 경고가 되며, 평균적 성능이 아니라 최악의 실패 모드를 찾아내는 자동화된 테스트의 필요성을 강조한다.

기계를 능가하지 말고 속여라: 한 귀퉁이를 차지하고, AI가 '이기는' 듯하지만 확보되지 않은 영역을 가져가게 두면, AI가 조기에 패스하여 허풍으로 게임이 끝난다.

그것은 더 나은 Go를 두어서가 아니라 AI가 게임을 채점하는 방식을 악용하여 초인적 게임 AI를 무찌른다.

승리 메커니즘은 허풍이다: 상대가 이미 이겼다고 믿게 만든 뒤, 그 영역이 아직 확보되지 않은 상태에서 게임을 끝낸다.

적대자는 설계상 Go를 못한다 — 아마추어들이 이긴다 — 이는 결과를 강함의 격차가 아닌 취약점 발견으로 분리시킨다.

이는 모든 딥러닝 시스템에 대한 경고를 일반화한다: 분포 밖 입력은 평균적 테스트가 결코 보지 못하는 방식으로 행동을 뒤집을 수 있다.

초인적인 평균 성능은 이질적인 추론을 숨길 수 있다: 모든 벤치마크를 통과하는 시스템도 분포 밖 입력에서는 실패할 수 있으므로, 평균적 점수가 아니라 최악의 행동을 테스트해야 한다.

논문 저자들은 이 결과를 게임을 넘어선 응용을 포함하여, 최악의 실패 모드에 대비한 AI 시스템의 더 나은 자동화된 테스트를 위한 논거로 제시했다 — 예를 들어 자율주행차도 마찬가지로 훈련 세트 밖의 시나리오에 속을 수 있다. Gleave는 KataGo에서 드러난 전략이 그러한 사각지대 중 '아마도' 하나일 것이라고 언급했다.