MedMLIP préentraîne des encodeurs visuels médicaux pour le LLM qui les consommera réellement

Les grands modèles de langage multimodaux réutilisent couramment des encodeurs visuels préentraînés avec CLIP, alors même que les caractéristiques de ces transformeurs visuels sont finalement consommées par des LLM autorégressifs. L'article nomme ce décalage l'écart d'interface sémantique.

MedMLIP préentraîne l'encodeur visuel par génération de rapports avec un LLM gelé — l'encodeur apprend des caractéristiques utiles à la tâche réelle du LLM — tandis que la distillation relationnelle locale préserve les relations entre les patchs visuels afin d'éviter l'effondrement visuel.

Préentraîné sur IU-Xray et Open-PMC-300K et évalué sur VQA-RAD et SLAKE, seul le ViT est transféré tandis que le LLM guide et le projecteur sont remplacés, ce qui permet d'évaluer directement la transférabilité entre LLM. Le code et le modèle préentraîné ont été publiés sur GitHub.

Préentraîner le composant pour son consommateur réel, et non pour un substitut générique

Le préentraînement contrastif de style CLIP optimise l'alignement de type recherche d'information, et non l'alimentation d'un décodeur autorégressif.

La génération de rapports avec un LLM gelé lie l'objectif de l'encodeur à l'interface qu'il servira réellement.

La distillation des relations entre patchs empêche l'effondrement des informations visuelles fines sous l'objectif linguistique.

Le remplacement du LLM en aval lors de l'évaluation isole ce que l'encodeur lui-même a appris.

Lorsque la sortie d'un composant est consommée par un autre modèle, aligner son entraînement sur l'interface de ce consommateur ; les substituts génériques laissent un écart que le consommateur paie.

Les expériences de transfert entre LLM ont démontré la valeur du préentraînement des encodeurs visuels pour leur interface LLM autorégressive ; le code et le modèle préentraîné sont disponibles sur GitHub (SkyCol/MedMLIP).