해결책
멀티모달 대형 언어 모델은 흔히 CLIP으로 사전 학습된 비전 인코더를 재사용하지만, 이 비전 트랜스포머의 특징은 궁극적으로 자기회귀 LLM에 의해 소비된다. 논문은 이 불일치를 의미 인터페이스 격차라고 명명한다.
MedMLIP은 동결된 LLM과 함께 보고서 생성을 통해 비전 인코더를 사전 학습한다. 즉 인코더가 LLM의 실제 작업에 유용한 특징을 학습하도록 하며, Local Relational Distillation은 시각 패치 간의 관계를 보존하여 시각적 붕괴를 방지한다.
IU-Xray와 Open-PMC-300K로 사전 학습하고 VQA-RAD와 SLAKE로 평가했으며, ViT만 전이되고 안내 LLM과 프로젝터는 교체되어 교차 LLM 전이 가능성을 직접 평가할 수 있다. 코드와 사전 학습된 모델은 GitHub에 공개되었다.
달성한 것
일반적인 대리 지표가 아니라 실제 소비자를 위해 구성 요소를 사전 학습하라
CLIP식 대조 사전 학습은 검색식 정렬에 최적화되어 있으며, 자기회귀 디코더에 입력하는 데 최적화되어 있지 않다.
동결된 LLM과 함께하는 보고서 생성은 인코더의 목표를 실제로 서비스할 인터페이스에 연결한다.
패치 관계를 증류하면 언어 목표 아래에서 세밀한 시각 정보가 붕괴되는 것을 방지한다.
평가 시 하위 LLM을 교체하면 인코더 자체가 학습한 것을 분리해낼 수 있다.
어떤 구성 요소의 출력이 다른 모델에 의해 소비될 때는 그 소비자의 인터페이스에 맞춰 학습을 정렬하라. 일반적인 대리 지표는 소비자가 감당해야 할 격차를 남긴다.
그 후
교차 LLM 전이 실험은 자기회귀 LLM 인터페이스를 위해 비전 인코더를 사전 학습하는 것의 가치를 입증했다. 코드와 사전 학습된 모델은 GitHub(SkyCol/MedMLIP)에서 이용할 수 있다.
근거 확인하기
출처
- Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models arXiv · arxiv.org ·