FLINT의 2160만 파라미터 RGB 전용 모델, 비포장 지형 주행에서 파운데이션 모델을 능가하다

비포장 도로 주행에는 구조가 없다. 주행 가능한 것에 대한 고정된 어휘가 없으며, 주행 가능성은 환경과 차량 자체의 동역학 모두에 달려 있다. 두 변수 모두 대규모로 수작업 라벨링이 불가능하므로, 주행 가능성은 구현체 자체의 경험으로부터 학습되어야 한다.

다중 센서 장비와 계산 집약적 추론 플랫폼의 추세와 달리, FLINT는 비교 가능한 파운데이션 모델 백본보다 38배 더 작은 2160만 파라미터 백본으로, 단일 RGB 카메라를 사용하며 CPU만으로 14.7 FPS로 실행된다. 이는 홀드아웃 지형 프로브에서 더 높은 점수를 받았고, 24개의 재생된 현장 로그 중 23개에서 배포된 파운데이션 모델 시스템(WildOS)보다 더 저렴하고 정확한 코스트맵을 생성했다.

저자들은 자기지도 학습 신호를 비교하고 결과 모델을 폐루프 현장 실험에 배포했다. 최고의 자기지도 헤드는 경로에서 99%의 자율성을 달성하여, 동일한 코스에서 실시간 배포된 인간 라벨 학습 기준선을 능가했다.

로봇이 자신의 경험으로부터 주행 가능성을 학습하도록 하라

플랫폼 자체의 경험으로부터의 자기지도 학습은 훈련 데이터를 마주하게 될 정확한 구현체 및 지형과 일치시킨다.

단일 RGB 카메라의 작은 백본은 의사결정에 관련된 신호를 잃지 않으면서 비용과 지연을 줄인다.

홀드아웃 지형 프로브와 재생된 현장 로그는 실시간 배포 전에 일반화를 테스트했다.

인간 라벨 학습 기준선을 실시간으로 능가한 것은 아키텍처가 아니라 라벨이 병목이었음을 보여준다.

구현된 기술의 경우, 구현체 자체의 기록된 경험이 상용 하드웨어에 충분히 작은 모델을 감독할 수 있다. 무거운 센싱과 컴퓨팅이 항상 필요한 것은 아니다.

FLINT는 24개의 재생된 현장 로그 중 23개에서 배포된 WildOS 파운데이션 모델 시스템을 능가했고 폐루프 실험에서 99%의 경로 자율성에 도달하여, 무거운 센싱과 컴퓨팅이 주행 가능성 추정에 필요하지 않다는 논문의 결론을 뒷받침했다.