El rastreador Predator de Kalal aprendió de sus propios fallos para seguir cualquier objeto

En 2011, el seguimiento de objetos por visión artificial solía consistir en seguir una apariencia fija durante un tramo corto: si se movía la cámara, el objeto giraba o salía del encuadre, el rastreador lo perdía. Lo que las demostraciones no ofrecían era un rastreador capaz de seguir casi cualquier cosa que viera una cámara una vez seleccionada, y que mejorara continuamente mientras funcionaba.

Zdenek Kalal, un estudiante checo de doctorado en la Universidad de Surrey, en el Reino Unido, construyó Predator como parte de su doctorado y lo demostró en vídeo: seleccionó su propio dedo una vez y el sistema rastreó después sus manos casi a la perfección, aprendiendo del movimiento de modo que el seguimiento mejoraba a lo largo de la sesión. Una breve pasada de entrenamiento, señalaba el texto, podía enseñar al mismo sistema a seguir una punta de dedo, una cara o un coche que corría por una autopista.

La decisión de fondo fue dejar que el rastreador aprendiera mientras se usaba, en lugar de fijarlo en el momento de construirlo. La demostración se presentó como un algoritmo que aprende de los errores, y una serie de doce vídeos más el código publicados en el sitio web de la universidad permitían a cualquiera ver el comportamiento y comprobar la afirmación por sí mismo.

El artículo interpretó el resultado como una vía hacia interfaces sin manos: con el algoritmo integrado en un sistema operativo, un punto en la frente, una punta de dedo o una cabeza en movimiento podrían dirigir un ordenador, y las personas sin uso de sus manos podrían ganar una interfaz. Cuando la demostración llegó a Hacker News el 3 de abril de 2011, atrajo 460 puntos y 76 comentarios, y Kalal fue reconocido con un premio «Technology Everywhere».

Un clic siembra un rastreador; cada fallo lo entrena en vivo

El aprendizaje ocurre durante el uso, así que la precisión se acumula mientras se reproduce el vídeo en lugar de degradarse a medida que el objeto cambia.

Un clic define el objetivo, así que el mismo algoritmo puede seguir un dedo, una cara o un coche sin construir un modelo nuevo para cada objeto.

Como aprende de lo que muestra la cámara, incluidos sus propios fallos, una breve pasada de entrenamiento puede adaptarlo a cambios de escala, orientación y visibilidad.

Publicar vídeos de demostración y código convirtió un proyecto de doctorado en algo que miles de ingenieros podían ver y examinar, y eso fue lo que impulsó la idea.

Cuando un sistema debe manejar objetos para los que nunca fue preentrenado, déjalo aprender de sus propios fallos en tiempo de ejecución en lugar de entregar un modelo congelado: la retroalimentación en vivo convierte cada fallo en la siguiente mejora.

Predator llegó a un público técnico en abril de 2011, atrayendo 460 puntos y 76 comentarios en Hacker News. Los lectores encontraron la página de Kalal en la Universidad de Surrey, tomaron nota de los artículos que respaldaban el método y vieron que el código, anunciado como disponible gratuitamente, se publicaba entonces solo previa solicitud por correo electrónico bajo una licencia GPL, lo que varios comentaristas cuestionaron. Otros indagaron dónde fallaría, como una punta de dedo perdida detrás de una mano. El artículo registra un premio «Technology Everywhere» y prevé interfaces dirigidas por una cabeza en movimiento; en estas fuentes no aparece ningún producto comercial ni una adopción medida.