MedMLIP 預訓練醫學視覺編碼器，供實際消費它們的 LLM 使用

多模態大型語言模型通常重用經 CLIP 預訓練的視覺編碼器，儘管這些視覺 transformer 的特徵最終是由自迴歸 LLM 消費。論文將此不匹配稱為語意介面落差。

MedMLIP 透過以凍結的 LLM 進行報告生成來預訓練視覺編碼器——編碼器學習對 LLM 實際工作有用的特徵——而局部關係蒸餾則保留視覺區塊之間的關係，以避免視覺崩塌。

在 IU-Xray 和 Open-PMC-300K 上預訓練，並在 VQA-RAD 和 SLAKE 上評估，僅 ViT 遷移，而引導 LLM 和投影器被替換，這使得跨 LLM 的可遷移性得以直接評估。程式碼和預訓練模型已在 GitHub 上發布。

為其實際消費者預訓練元件，而非通用代理

CLIP 風格的對比預訓練最佳化的是檢索式對齊，而非為饋入自迴歸解碼器而設計。

以凍結的 LLM 進行報告生成，將編碼器的目標與它實際將服務的介面綁定。

蒸餾區塊關係可防止細粒度視覺資訊在語言目標下崩塌。

在評估時替換下游 LLM，可隔離出編碼器本身所學到的內容。

當一個元件的輸出由另一個模型消費時，使其訓練與該消費者的介面對齊；通用代理會留下落差，而由消費者承擔代價。

跨 LLM 遷移實驗證明了為其自迴歸 LLM 介面預訓練視覺編碼器的價值；程式碼和預訓練模型可在 GitHub（SkyCol/MedMLIP）取得。