Kalal의 Predator 추적기는 자신의 실수를 통해 학습하여 어떤 객체든 따라가게 되었다

2011년 당시 컴퓨터 비전 객체 추적은 보통 짧은 구간 동안 고정된 외형을 따라가는 것을 의미했다. 카메라를 움직이거나, 객체를 회전시키거나, 객체가 프레임을 벗어나게 하면 추적기는 놓쳤다. 데모가 제공하지 못했던 것은 카메라가 본 거의 모든 것을 한 번 선택하면 따라갈 수 있고, 실행되는 동안 계속 개선되는 추적기였다.

영국 서리 대학의 체코인 박사과정 학생 Zdenek Kalal은 박사 학위의 일환으로 Predator를 만들고 비디오로 시연했다. 그는 자신의 손가락을 한 번 선택했고, 시스템은 이후 그의 손을 거의 완벽하게 추적하며 움직임으로부터 학습하여 세션 동안 추적이 개선되었다. 짧은 훈련 과정을 거치면 동일한 시스템이 손끝, 얼굴 또는 고속도로를 달리는 자동차를 따라가도록 가르칠 수 있다고 기사는 언급했다.

근본적인 선택은 추적기를 구축 시점에 고정하는 대신 사용 중에 학습하도록 하는 것이었다. 이 데모는 실수로부터 학습하는 알고리즘으로 소개되었으며, 대학 웹사이트에 게시된 12개의 비디오와 코드를 통해 누구나 그 동작을 보고 주장을 직접 검증할 수 있었다.

이 기사는 그 결과를 핸즈프리 인터페이스로 가는 길로 해석했다. 알고리즘이 운영 체제에 내장되면 이마 위의 점, 손끝 또는 움직이는 머리로 컴퓨터를 조종할 수 있고, 손을 사용할 수 없는 사람들도 인터페이스를 얻을 수 있다는 것이다. 이 데모가 2011년 4월 3일 Hacker News에 도달했을 때 460점과 76개의 댓글을 얻었으며, Kalal은 "Technology Everywhere" 상을 받았다.

한 번의 클릭으로 추적기가 시작되고, 모든 실수가 실시간으로 추적기를 훈련시킨다

학습이 사용 중에 일어나므로, 객체가 변하면서 정확도가 떨어지는 대신 비디오가 재생되는 동안 정확도가 누적된다.

한 번의 클릭으로 대상이 정의되므로, 동일한 알고리즘이 각 객체마다 새로운 모델을 구축하지 않고도 손가락, 얼굴 또는 자동차를 따라갈 수 있다.

카메라가 보여주는 것, 즉 자신의 실수까지도 학습하기 때문에 짧은 훈련 과정으로 크기, 방향 및 가시성의 변화에 적응할 수 있다.

데모 비디오와 코드를 공개한 것은 박사 과정 프로젝트를 수천 명의 엔지니어가 보고 탐구할 수 있는 것으로 바꾸었고, 이것이 이 아이디어를 널리 퍼뜨렸다.

시스템이 사전 훈련되지 않은 객체를 처리해야 할 때, 고정된 모델을 배포하는 대신 런타임에서 자신의 실수로부터 학습하게 하라. 실시간 피드백은 각 실패를 다음 개선으로 바꾼다.

Predator는 2011년 4월 기술 청중에게 도달하여 Hacker News에서 460점과 76개의 댓글을 얻었다. 독자들은 서리 대학의 Kalal 페이지를 찾아 이 방법의 배경이 된 논문들을 확인했고, 무료로 제공된다고 광고된 코드가 당시에는 GPL 고지 하에 이메일 요청 시에만 배포된다는 것을 알게 되었으며, 여러 댓글 작성자가 이에 이의를 제기했다. 다른 이들은 손 뒤로 사라진 손끝과 같이 어디서 실패할지 탐구했다. 이 기사는 "Technology Everywhere" 상을 기록하고 움직이는 머리로 조종되는 인터페이스를 예견하지만, 이 출처들에는 상용 제품이나 측정된 채택 사례가 나타나지 않는다.