解決方案
越野導航缺乏結構:對於什麼是可通行,並沒有固定的詞彙表,而可通行性同時取決於環境與載具自身的動力學。這兩個變數都無法大規模人工標註,因此可通行性必須從具身系統自身的經驗中學習。
有別於多感測器裝置與運算密集推論平台的趨勢,FLINT 是一個 2160 萬參數的骨幹網路,比可相比的基礎模型骨幹小 38 倍,僅使用單一 RGB 相機,且僅靠 CPU 即以 14.7 FPS 運行。它在留出的地形探測上得分更高,並在 24 份重播的實地日誌中的 23 份上,產生更便宜、更準確的成本地圖,優於一套已部署的基礎模型系統(WildOS)。
作者比較了各種自監督學習訊號,並將所得模型部署於閉環實地試驗:最佳的自監督頭端在路線上達到 99% 自主性,優於在同一路線上實地部署、以人工標籤訓練的基線。
達成了什麼
讓機器人從自身經驗中學習可通行性
為何奏效
來自平台自身經驗的自監督,使訓練資料與它將面對的確切具身系統及地形相匹配。
單一 RGB 相機上的小型骨幹網路降低了成本與延遲,卻不損失與決策相關的訊號。
留出的地形探測與重播的實地日誌在實地部署前測試了泛化能力。
在實地勝過以人工標籤訓練的基線,顯示瓶頸在於標籤,而非架構。
可應用之處
對於具身技能,具身系統自身記錄的經驗可以監督一個小到足以在商用硬體上運行的模型;沉重的感測與運算並非總是必要。
後續發展
FLINT 在 24 份重播的實地日誌中的 23 份上勝過已部署的 WildOS 基礎模型系統,並在閉環試驗中達到 99% 的路線自主性,支持該論文關於可通行性估計並不需要沉重感測與運算的結論。
追溯依據
參考來源
- FLINT: Fast Lightweight Inference for Traversability arXiv · arxiv.org ·