FLINTs 21,6-Millionen-Parameter-Modell, das nur mit RGB arbeitet, schlägt ein Foundation-Modell bei der Geländefahrt

Die Navigation im Gelände entbehrt einer Struktur: Es gibt kein festes Vokabular dafür, was befahrbar ist, und die Befahrbarkeit hängt sowohl von der Umgebung als auch von der eigenen Dynamik des Fahrzeugs ab. Keine dieser Variablen lässt sich im großen Maßstab manuell kennzeichnen, daher muss die Befahrbarkeit aus der eigenen Erfahrung der Verkörperung gelernt werden.

Entgegen dem Trend zu Multi-Sensor-Aufbauten und rechenintensiven Inferenzplattformen ist FLINT ein Backbone mit 21,6 Mio. Parametern, 38-mal kleiner als ein vergleichbares Foundation-Modell-Backbone, das eine einzige RGB-Kamera nutzt und allein auf einer CPU mit 14,7 FPS läuft. Es erzielte höhere Werte bei zurückgehaltenen Geländeproben und erzeugte auf 23 von 24 wiedergegebenen Feldprotokollen günstigere und genauere Costmaps als ein eingesetztes Foundation-Modell-System (WildOS).

Die Autoren verglichen selbstüberwachte Lernsignale und setzten die resultierenden Modelle in geschlossenen Feldversuchen ein: Der beste selbstüberwachte Kopf erreichte 99 % Autonomie auf der Strecke und übertraf damit eine mit menschlichen Labels trainierte Baseline, die live auf derselben Strecke eingesetzt wurde.

Lassen Sie den Roboter die Befahrbarkeit aus seiner eigenen Erfahrung lernen

Die Selbstüberwachung aus der eigenen Erfahrung der Plattform bringt die Trainingsdaten mit der genauen Verkörperung und dem Gelände in Einklang, mit denen sie konfrontiert wird.

Ein kleines Backbone auf einer einzigen RGB-Kamera senkt Kosten und Latenz, ohne das entscheidungsrelevante Signal zu verlieren.

Zurückgehaltene Geländeproben und wiedergegebene Feldprotokolle prüften die Generalisierung vor dem Live-Einsatz.

Das Live-Übertreffen einer mit menschlichen Labels trainierten Baseline zeigt, dass die Labels und nicht die Architektur der Engpass waren.

Für verkörperte Fähigkeiten kann die eigene protokollierte Erfahrung der Verkörperung ein Modell überwachen, das klein genug für Standardhardware ist; umfangreiche Sensorik und Rechenleistung sind nicht immer erforderlich.

FLINT übertraf das eingesetzte WildOS-Foundation-Modell-System auf 23 von 24 wiedergegebenen Feldprotokollen und erreichte in geschlossenen Versuchen 99 % Streckenautonomie, was die Schlussfolgerung des Papiers stützt, dass umfangreiche Sensorik und Rechenleistung für die Schätzung der Befahrbarkeit nicht erforderlich sind.