Kalals Predator-Tracker lernte aus seinen eigenen Fehlern, jedem Objekt zu folgen

Objektverfolgung in der Computer Vision bedeutete 2011 üblicherweise, ein festes Erscheinungsbild über eine kurze Strecke hinweg zu verfolgen: Bewegte man die Kamera, drehte sich das Objekt oder verließ es das Bild, verlor der Tracker es. Was die Demos nicht boten, war ein Tracker, der nahezu allem folgen konnte, was eine Kamera sah, sobald es ausgewählt war, und der während des Betriebs immer besser wurde.

Zdenek Kalal, ein tschechischer Doktorand an der University of Surrey im Vereinigten Königreich, entwickelte Predator im Rahmen seiner Promotion und führte ihn in einem Video vor: Er wählte einmal seinen eigenen Finger aus, und das System verfolgte anschließend seine Hände nahezu perfekt und lernte aus der Bewegung, sodass sich die Verfolgung im Verlauf der Sitzung verbesserte. Ein kurzer Trainingsdurchlauf, so vermerkte der Bericht, könne dasselbe System lehren, einer Fingerspitze, einem Gesicht oder einem auf einer Autobahn rasenden Auto zu folgen.

Die zugrunde liegende Entscheidung bestand darin, den Tracker während seiner Nutzung lernen zu lassen, statt ihn zum Zeitpunkt der Erstellung festzulegen. Die Demonstration wurde als ein Algorithmus präsentiert, der aus Fehlern lernt, und eine Reihe von zwölf Videos samt Code, die auf der Website der Universität veröffentlicht wurden, ermöglichte es jedem, das Verhalten anzusehen und die Behauptung selbst zu prüfen.

Der Artikel deutete das Ergebnis als Weg zu freihändigen Schnittstellen: Mit dem in ein Betriebssystem integrierten Algorithmus könnten ein Punkt auf der Stirn, eine Fingerspitze oder ein sich bewegender Kopf einen Computer steuern, und Menschen ohne Gebrauch ihrer Hände könnten eine Schnittstelle erhalten. Als die Demo am 3. April 2011 Hacker News erreichte, erzielte sie 460 Punkte und 76 Kommentare, und Kalal wurde mit einem „Technology Everywhere“-Award ausgezeichnet.

Ein Klick legt den Ausgangspunkt für einen Tracker fest; jeder Fehlgriff trainiert ihn live weiter

Das Lernen findet während der Nutzung statt, sodass die Genauigkeit zunimmt, während das Video läuft, statt abzunehmen, wenn sich das Objekt verändert.

Ein Klick definiert das Ziel, sodass derselbe Algorithmus einem Finger, einem Gesicht oder einem Auto folgen kann, ohne für jedes Objekt ein neues Modell zu erstellen.

Weil er aus dem lernt, was die Kamera zeigt, einschließlich seiner eigenen Fehlgriffe, kann ein kurzer Trainingsdurchlauf ihn an Änderungen von Maßstab, Ausrichtung und Sichtbarkeit anpassen.

Die Veröffentlichung von Demo-Videos und Code machte aus einem Promotionsprojekt etwas, das Tausende von Ingenieuren ansehen und untersuchen konnten, und das trug die Idee weiter.

Wenn ein System Objekte bewältigen muss, auf die es nie vorab trainiert wurde, sollte man es aus seinen eigenen Fehlgriffen zur Laufzeit lernen lassen, statt ein eingefrorenes Modell auszuliefern: Live-Rückmeldung verwandelt jeden Fehlschlag in die nächste Verbesserung.

Predator erreichte im April 2011 ein technisches Publikum und erzielte 460 Punkte und 76 Kommentare auf Hacker News. Leser fanden Kalals Seite an der University of Surrey, bemerkten die hinter der Methode stehenden Arbeiten und sahen, dass der als frei verfügbar beworbene Code damals nur auf Anfrage per E-Mail unter einer GPL-Lizenz herausgegeben wurde, was mehrere Kommentatoren beanstandeten. Andere untersuchten, wo er versagen würde, etwa bei einer Fingerspitze, die hinter einer Hand verloren geht. Der Artikel verzeichnet einen „Technology Everywhere“-Award und sieht Schnittstellen voraus, die von einem sich bewegenden Kopf gesteuert werden; kein kommerzielles Produkt und keine gemessene Verbreitung erscheinen in diesen Quellen.