KalalのPredatorトラッカーは自身の失敗から学び、あらゆる物体を追跡できるようになった

2011年当時のコンピュータビジョンによる物体追跡は、通常、短い区間の間、固定された外観を追い続けることを意味していた。カメラを動かしたり、物体を回転させたり、物体がフレーム外に出てしまえば、トラッカーはそれを見失った。デモが提供できなかったのは、一度選択すればカメラが捉えたほぼあらゆるものを追跡でき、動作しながら精度を高め続けるトラッカーだった。

英国サリー大学のチェコ人博士課程学生Zdenek Kalalは、博士号取得の一環としてPredatorを構築し、ビデオで実演した。彼は自分の指を一度選択すると、システムはその後ほぼ完璧に両手を追跡し、動きから学習することでセッション中に追跡精度が向上した。短い学習パスによって、同じシステムに指先、顔、あるいは高速道路を走る車を追跡するよう教えられることが、その記事で指摘されていた。

根底にある選択は、トラッカーを構築時に固定するのではなく、使用中に学習させることだった。このデモは、誤りから学ぶアルゴリズムとして位置づけられ、大学のウェブサイトに投稿された12本のビデオとコードにより、誰でもその挙動を視聴し、主張を自ら検証できた。

この記事は、その成果をハンズフリーインターフェースへの道筋として読み解いた。アルゴリズムをオペレーティングシステムに組み込めば、額の点、指先、あるいは動く頭でコンピュータを操作でき、手を使えない人々がインターフェースを得られる可能性がある。このデモが2011年4月3日にHacker Newsに到達すると、460ポイントと76件のコメントを集め、Kalalは「Technology Everywhere」賞で表彰された。

一度のクリックでトラッカーを初期化し、失敗するたびにライブで学習する

学習は使用中に行われるため、物体が変化して精度が低下するのではなく、ビデオの再生中に精度が累積的に向上する。

一度のクリックで対象を定義するため、同じアルゴリズムが物体ごとに新しいモデルを構築することなく、指、顔、車を追跡できる。

カメラが映すもの、それ自体の失敗からも学習するため、短い学習パスでスケール、向き、可視性の変化に適応できる。

デモビデオとコードを公開したことで、博士課程のプロジェクトが数千人のエンジニアが視聴し検証できるものになり、それがこのアイデアを広めた。

システムが事前学習していない物体を扱わなければならない場合、固定されたモデルを出荷するのではなく、実行時の自身の失敗から学習させるべきだ。ライブフィードバックが各失敗を次の改善に変える。

Predatorは2011年4月に技術者層に到達し、Hacker Newsで460ポイントと76件のコメントを集めた。読者らはサリー大学のKalalのページを見つけ、この手法の背後にある論文に注目し、自由に利用可能と宣伝されていたコードが、当時はGPL表示の下でメールによるリクエストによってのみ公開されていたことを知り、何人かのコメンテーターがそれを問題視した。また他の者たちは、手の後ろで指先を見失う場合など、どこで破綻するかを探った。この記事は「Technology Everywhere」賞を記録し、動く頭で操作するインターフェースを予見しているが、これらの情報源には商用製品や測定された採用実績は登場しない。