Le traqueur Predator de Kalal a appris de ses propres ratés à suivre n'importe quel objet

En 2011, le suivi d'objets en vision par ordinateur consistait généralement à suivre une apparence fixe sur une courte durée : bougez la caméra, faites tourner l'objet, ou laissez-le sortir du cadre, et le traqueur le perdait. Ce que les démonstrations n'offraient pas, c'était un traqueur capable de suivre presque tout ce qu'une caméra voyait une fois l'objet sélectionné, et qui s'améliorait continuellement au fil de son fonctionnement.

Zdenek Kalal, doctorant tchèque à l'Université de Surrey au Royaume-Uni, a développé Predator dans le cadre de son doctorat et l'a démontré en vidéo : il a sélectionné son propre doigt une fois, et le système a ensuite suivi ses mains presque parfaitement, apprenant du mouvement de sorte que le suivi s'améliorait au cours de la session. Un court passage d'entraînement, notait le compte rendu, pouvait apprendre au même système à suivre un bout de doigt, un visage ou une voiture fonçant sur une autoroute.

Le choix sous-jacent était de laisser le traqueur apprendre pendant qu'il était utilisé plutôt que de le figer au moment de sa construction. La démonstration était présentée comme un algorithme qui apprend de ses erreurs, et une série de douze vidéos plus du code publiés sur le site de l'université permettaient à chacun d'observer le comportement et de tester l'affirmation par lui-même.

L'article interprétait le résultat comme une voie vers des interfaces sans les mains : avec l'algorithme intégré à un système d'exploitation, un point sur le front, un bout de doigt ou une tête en mouvement pouvaient piloter un ordinateur, et les personnes privées de l'usage de leurs mains pouvaient gagner une interface. Lorsque la démonstration a atteint Hacker News le 3 avril 2011, elle a recueilli 460 points et 76 commentaires, et Kalal a été distingué par un prix « Technology Everywhere ».

Un clic amorce un traqueur ; chaque raté l'entraîne en direct

L'apprentissage se produit pendant l'utilisation, de sorte que la précision s'accumule pendant la lecture de la vidéo au lieu de se dégrader à mesure que l'objet change.

Un clic définit la cible, de sorte que le même algorithme peut suivre un doigt, un visage ou une voiture sans construire un nouveau modèle pour chaque objet.

Parce qu'il apprend de ce que la caméra montre, y compris de ses propres ratés, un court passage d'entraînement peut l'adapter aux changements d'échelle, d'orientation et de visibilité.

La publication de vidéos de démonstration et de code a transformé un projet de doctorat en quelque chose que des milliers d'ingénieurs pouvaient observer et examiner, et c'est ce qui a porté l'idée.

Lorsqu'un système doit traiter des objets sur lesquels il n'a jamais été pré-entraîné, laissez-le apprendre de ses propres ratés en cours d'exécution au lieu de livrer un modèle figé : le retour en direct transforme chaque échec en l'amélioration suivante.

Predator a atteint un public technique en avril 2011, recueillant 460 points et 76 commentaires sur Hacker News. Les lecteurs ont trouvé la page de Kalal à l'Université de Surrey, ont remarqué les articles à l'origine de la méthode, et ont constaté que le code, présenté comme librement disponible, n'était alors diffusé que sur demande par courriel sous une notice GPL, ce que plusieurs commentateurs ont contesté. D'autres ont cherché où cela échouerait, comme un bout de doigt perdu derrière une main. L'article mentionne un prix « Technology Everywhere » et prévoit des interfaces pilotées par une tête en mouvement ; aucun produit commercial ni adoption mesurée n'apparaît dans ces sources.