MedMLIP trainiert medizinische Vision-Encoder für das LLM vor, das sie tatsächlich nutzen wird

Multimodale große Sprachmodelle verwenden häufig visuelle Encoder wieder, die mit CLIP vortrainiert wurden, obwohl die Merkmale dieser Vision-Transformer letztlich von autoregressiven LLMs genutzt werden. Die Arbeit bezeichnet diese Diskrepanz als Lücke der semantischen Schnittstelle.

MedMLIP trainiert den visuellen Encoder durch Berichtsgenerierung mit einem eingefrorenen LLM vor – der Encoder lernt Merkmale, die für die tatsächliche Aufgabe des LLM nützlich sind –, während die lokale relationale Destillation Beziehungen zwischen visuellen Patches bewahrt, um visuellen Kollaps zu vermeiden.

Vortrainiert auf IU-Xray und Open-PMC-300K und evaluiert auf VQA-RAD und SLAKE, wird nur der ViT übertragen, während das leitende LLM und der Projektor ersetzt werden, wodurch sich die Übertragbarkeit zwischen LLMs direkt bewerten lässt. Code und das vortrainierte Modell wurden auf GitHub veröffentlicht.

Die Komponente für ihren tatsächlichen Nutzer vortrainieren, nicht für einen generischen Stellvertreter

Kontrastives Vortraining im CLIP-Stil optimiert auf eine Ausrichtung im Stil des Retrievals, nicht darauf, einen autoregressiven Decoder zu versorgen.

Die Berichtsgenerierung mit einem eingefrorenen LLM bindet das Ziel des Encoders an die Schnittstelle, der er tatsächlich dienen wird.

Die Destillation von Patch-Beziehungen verhindert, dass feingranulare visuelle Informationen unter dem Sprachziel kollabieren.

Der Austausch des nachgelagerten LLM bei der Evaluation isoliert, was der Encoder selbst gelernt hat.

Wenn die Ausgabe einer Komponente von einem anderen Modell genutzt wird, sollte ihr Training an der Schnittstelle dieses Nutzers ausgerichtet werden; generische Stellvertreter hinterlassen eine Lücke, deren Kosten der Nutzer trägt.

Die Experimente zur Übertragung zwischen LLMs zeigten den Wert des Vortrainings visueller Encoder für ihre Schnittstelle zu autoregressiven LLMs; Code und das vortrainierte Modell sind auf GitHub verfügbar (SkyCol/MedMLIP).