MedMLIPは、実際にそれを使うLLMのために医療視覚エンコーダを事前学習する

マルチモーダル大規模言語モデルは、これらの視覚トランスフォーマの特徴量が最終的に自己回帰型LLMによって消費されるにもかかわらず、CLIPで事前学習された視覚エンコーダを再利用するのが一般的である。論文はこの不一致を意味的インターフェースのギャップと名付けた。

MedMLIPは、凍結したLLMを用いたレポート生成を通じて視覚エンコーダを事前学習する。これによりエンコーダはLLMの実際のタスクに有用な特徴量を学習する。一方、Local Relational Distillationは視覚パッチ間の関係を保持し、視覚的崩壊を防ぐ。

IU-XrayとOpen-PMC-300Kで事前学習し、VQA-RADとSLAKEで評価した際、転移するのはViTのみで、誘導するLLMとプロジェクタは置き換えられる。これによりLLM間の転移可能性を直接評価できる。コードと事前学習済みモデルはGitHubで公開された。

汎用的な代理ではなく、実際の消費者に合わせてコンポーネントを事前学習する

CLIPスタイルの対照的事前学習は、自己回帰型デコーダへの入力ではなく、検索スタイルのアラインメントに最適化する。

凍結したLLMを用いたレポート生成は、エンコーダの目的を、実際に提供するインターフェースに結びつける。

パッチ間の関係を蒸留することで、言語目的の下で細粒度の視覚情報が崩壊するのを防ぐ。

評価時に下流のLLMを置き換えることで、エンコーダ自体が学習した内容を切り分ける。

あるコンポーネントの出力が別のモデルによって消費される場合、そのトレーニングを消費側のインターフェースに合わせる。汎用的な代理はギャップを残し、そのコストは消費側が払う。

LLM間の転移実験は、自己回帰型LLMインターフェースのために視覚エンコーダを事前学習する価値を実証した。コードと事前学習済みモデルはGitHub（SkyCol/MedMLIP）で利用可能である。