구글 연구진, 심층 신경망이 쉽게 속는 원인을 고차원 선형성에서 찾아

2014년 무렵, 최신 신경망에는 알려졌지만 설명되지 않는 실패가 있었다. 이미지를 아주 작은, 의도적으로 최악의 경우를 노린 교란으로 바꾸면 — 흔히 사람의 눈에는 보이지 않을 만큼 작게 — 네트워크가 높은 확신을 가지고 잘못 분류한다. 같은 변형 이미지가 서로 다른 데이터로 학습된 여러 아키텍처를 속이는 경향이 있었고, 이는 결함이 특정 네트워크가 아니라 학습 방식 자체에 있다는 것을 시사했다.

초기 설명은 심층 신경망의 극단적인 비선형성과 과적합을 탓했지만, 드롭아웃, 사전 학습, 모델 평균화 같은 표준 해법으로는 취약성이 사라지지 않았다. 굿펠로, 슐렌스, 세게디는 반대 가정을 시험했다. 잘 학습되는 아키텍처(ReLU, 맥스아웃, LSTM)는 의도적으로 거의 선형이며, 고차원 입력 공간에서는 선형성만으로 충분하다는 것이다. 수십만 개의 픽셀이 각각 이미지 정밀도 1비트 미만으로 조정되면, 내적의 작은 항들이 모여 네트워크 활성화에 하나의 큰 변화를 만든다.

이 관점은 빠른 공격을 낳았다. 입력 주변에서 비용을 선형화하고 기울기의 부호만큼 교란하는 것으로, 역전파 한 번이면 된다. MNIST에서 이 방법은 얕은 소프트맥스 모델을 99.9% 오류로, 맥스아웃 네트워크를 89.4% 오분류로 몰아넣었고, 둘 다 높은 확신을 보였다. ImageNet에서는 픽셀당 0.007의 교란만으로 판다가 긴팔원숭이로 바뀌었다. 값싼 생성은 방어 방식도 바꿨다. 이런 예시로 적대적 학습을 하면 드롭아웃만으로는 얻지 못한 정규화 효과가 생기고 테스트 세트 오류가 줄었다.

이 연구는 현업 엔지니어에게도 이 실패를 이해시켰다. 2015년 12월 말, Recurse Center의 Codewords는 줄리아 에번스의 그림 해설을 실어 도커화된 노트북으로 GoogLeNet에 대한 공격을 재현했는데 — 검은 이미지가 종이 타월이 되고 판다가 독수리가 되었다 — Hacker News 스레드는 268점과 66개 댓글을 얻었고, 독자들은 이 논문이 이후의 신경망 물결에도 여전히 적용된다고 지적했다.

선형성을 가정한다. 기울기의 부호를 따라 교란한 뒤 그 공격들로 학습한다

초기 시도는 비선형성과 과적합을 탓했다. 반대를 가정하자 적대적 예시는 미스터리가 아니라 예측 가능한 것이 되었다

메커니즘은 차원에 따라 확장된다. 센서 정밀도보다 작은 교란도 수십만 픽셀에 걸쳐 합쳐져 결정적인 출력 변화를 만든다

공격당 역전파 한 번이면 적대적 학습이 실용적이 되어, 실패 모드를 드롭아웃만 능가하는 정규화 장치로 바꿨다

전이를 설명한다. 고차원에서 선형적으로 행동하는 모델은 모두 같은 맹점을 공유하므로, 하나의 예시가 여러 아키텍처와 학습 세트를 속인다

모델이 불가사의해 보이는 방식으로 실패할 때는 가장 값싼 설명부터 시험하라. 실패를 값싸게 생성할 수 있다면, 그것에 맞서 값싸게 학습할 수도 있다.

첫 버전은 2014년 12월 20일 arXiv에 올라왔고 2015년 3월에 개정되었다. 교란 0.007에서 판다가 긴팔원숭이로 바뀐 이미지는 적대적 예시의 대표 그림이 되었다. 1년 뒤 줄리아 에번스의 Codewords 해설은 독자들이 GPU 없는 노트북에서 이 속임수를 재현하게 했는데 — 판다가 독수리가 되고 검은 화면이 종이 타월이 되었다 — Hacker News에서 268점과 66개 댓글을 얻었고, 한 독자는 이 논문이 이후의 신경망 물결에도 여전히 크게 적용된다고 말했다.