Le modèle RGB-only de 21,6 M de paramètres de FLINT surpasse un modèle de fondation en franchissement hors route

La navigation hors route manque de structure : il n'existe pas de vocabulaire fixe pour ce qui est franchissable, et la franchissabilité dépend à la fois de l'environnement et de la dynamique propre du véhicule. Aucune de ces deux variables ne peut être étiquetée manuellement à grande échelle, de sorte que la franchissabilité doit être apprise à partir de l'expérience propre de l'embodiment.

À rebours de la tendance aux plateformes multi-capteurs et aux plateformes d'inférence gourmandes en calcul, FLINT est un backbone de 21,6 M de paramètres, 38 fois plus petit qu'un backbone de modèle de fondation comparable, qui utilise une seule caméra RGB et fonctionne à 14,7 FPS sur CPU seul. Il a obtenu de meilleurs scores sur des sondes de terrain tenues à l'écart et a produit des cartes de coût moins coûteuses et plus précises qu'un système à modèle de fondation déployé (WildOS) sur 23 des 24 journaux de terrain rejoués.

Les auteurs ont comparé des signaux d'apprentissage auto-supervisé et ont déployé les modèles résultants dans des essais de terrain en boucle fermée : la meilleure tête auto-supervisée a atteint 99 % d'autonomie sur le parcours, surpassant une référence entraînée sur étiquettes humaines déployée en direct sur le même parcours.

Laisser le robot apprendre la franchissabilité à partir de sa propre expérience

L'auto-supervision à partir de l'expérience propre de la plateforme aligne les données d'entraînement sur l'embodiment et le terrain exacts auxquels elle sera confrontée.

Un petit backbone sur une seule caméra RGB réduit le coût et la latence sans perdre le signal pertinent pour la décision.

Des sondes de terrain tenues à l'écart et des journaux de terrain rejoués ont testé la généralisation avant le déploiement en conditions réelles.

Surpasser en direct une référence entraînée sur étiquettes humaines montre que ce sont les étiquettes, et non l'architecture, qui constituaient le goulot d'étranglement.

Pour les compétences incarnées, l'expérience journalisée de l'embodiment lui-même peut superviser un modèle suffisamment petit pour du matériel courant ; une perception et un calcul lourds ne sont pas toujours nécessaires.

FLINT a surpassé le système à modèle de fondation WildOS déployé sur 23 des 24 journaux de terrain rejoués et a atteint 99 % d'autonomie sur le parcours lors d'essais en boucle fermée, ce qui étaye la conclusion de l'article selon laquelle une perception et un calcul lourds ne sont pas nécessaires pour l'estimation de la franchissabilité.