MedMLIP pré-treina codificadores de visão médica para o LLM que de fato os consumirá

Modelos de linguagem grandes multimodais costumam reutilizar codificadores visuais pré-treinados com CLIP, ainda que as características desses transformers de visão sejam, em última análise, consumidas por LLMs autorregressivos. O artigo denomina essa incompatibilidade de lacuna de interface semântica.

O MedMLIP pré-treina o codificador visual por meio da geração de laudos com um LLM congelado — o codificador aprende características úteis para a tarefa real do LLM —, enquanto a Destilação Relacional Local preserva as relações entre os patches visuais para evitar o colapso visual.

Pré-treinado no IU-Xray e no Open-PMC-300K e avaliado no VQA-RAD e no SLAKE, apenas o ViT é transferido, enquanto o LLM orientador e o projetor são substituídos, o que permite avaliar diretamente a transferibilidade entre LLMs. O código e o modelo pré-treinado foram disponibilizados no GitHub.

Pré-treinar o componente para seu consumidor real, não para um substituto genérico

O pré-treinamento contrastivo no estilo CLIP otimiza para o alinhamento do tipo recuperação, não para alimentar um decodificador autorregressivo.

A geração de laudos com um LLM congelado vincula o objetivo do codificador à interface que ele de fato atenderá.

A destilação das relações entre patches evita que informações visuais refinadas colapsem sob o objetivo de linguagem.

A substituição do LLM downstream na avaliação isola o que o próprio codificador aprendeu.

Quando a saída de um componente é consumida por outro modelo, alinhe seu treinamento à interface desse consumidor; substitutos genéricos deixam uma lacuna que o consumidor paga.

Os experimentos de transferência entre LLMs demonstraram o valor de pré-treinar codificadores visuais para sua interface com LLMs autorregressivos; o código e o modelo pré-treinado estão disponíveis no GitHub (SkyCol/MedMLIP).