O rastreador Predator de Kalal aprendeu com seus próprios erros para seguir qualquer objeto

O rastreamento de objetos por visão computacional em 2011 geralmente significava seguir uma aparência fixa por um curto período: mova a câmera, vire o objeto ou deixe-o sair do quadro e o rastreador o perdia. O que as demonstrações não ofereciam era um rastreador capaz de seguir quase qualquer coisa que uma câmera visse depois de selecionada, e que continuasse melhorando enquanto funcionava.

Zdenek Kalal, um estudante de doutorado tcheco na Universidade de Surrey, no Reino Unido, construiu o Predator como parte de seu doutorado e o demonstrou em vídeo: ele selecionou seu próprio dedo uma vez, e o sistema então rastreou suas mãos quase perfeitamente, aprendendo com o movimento de modo que o rastreamento melhorava ao longo da sessão. Uma curta etapa de treinamento, observou o texto, poderia ensinar o mesmo sistema a seguir a ponta de um dedo, um rosto ou um carro correndo por uma rodovia.

A escolha subjacente foi deixar o rastreador aprender enquanto era usado, em vez de fixá-lo no momento da construção. A demonstração foi apresentada como um algoritmo que aprende com os erros, e uma série de doze vídeos mais o código publicados no site da universidade permitiam que qualquer pessoa observasse o comportamento e testasse a afirmação por conta própria.

O artigo interpretou o resultado como um caminho para interfaces sem as mãos: com o algoritmo embutido em um sistema operacional, um ponto na testa, a ponta de um dedo ou uma cabeça em movimento poderiam comandar um computador, e pessoas sem o uso das mãos poderiam ganhar uma interface. Quando a demonstração chegou ao Hacker News em 3 de abril de 2011, atraiu 460 pontos e 76 comentários, e Kalal foi reconhecido com um prêmio "Technology Everywhere".

Um clique inicializa um rastreador; cada erro o treina ao vivo

O aprendizado ocorre durante o uso, de modo que a precisão se acumula enquanto o vídeo roda, em vez de se degradar à medida que o objeto muda.

Um clique define o alvo, de modo que o mesmo algoritmo pode seguir um dedo, um rosto ou um carro sem construir um novo modelo para cada objeto.

Como aprende com o que a câmera mostra, incluindo seus próprios erros, uma curta etapa de treinamento pode adaptá-lo a mudanças de escala, orientação e visibilidade.

Publicar vídeos de demonstração e código transformou um projeto de doutorado em algo que milhares de engenheiros podiam assistir e investigar, e foi isso que levou a ideia adiante.

Quando um sistema precisa lidar com objetos para os quais nunca foi pré-treinado, deixe-o aprender com seus próprios erros em tempo de execução em vez de entregar um modelo congelado: o feedback ao vivo transforma cada falha na próxima melhoria.

O Predator alcançou um público técnico em abril de 2011, atraindo 460 pontos e 76 comentários no Hacker News. Os leitores encontraram a página de Kalal na Universidade de Surrey, notaram os artigos por trás do método e viram que o código, anunciado como disponível gratuitamente, era então liberado apenas mediante solicitação por e-mail sob um aviso GPL, o que vários comentaristas contestaram. Outros investigaram onde ele falharia, como uma ponta de dedo perdida atrás de uma mão. O artigo registra um prêmio "Technology Everywhere" e prevê interfaces comandadas por uma cabeça em movimento; nenhum produto comercial ou adoção medida aparece nessas fontes.