Los modelos de lenguaje grandes multimodales suelen reutilizar codificadores visuales preentrenados con CLIP, aunque las características de estos transformadores de visión son consumidas en última instancia por LLM autorregresivos. El artículo denomina a esta discrepancia la brecha de interfaz semántica.
MedMLIP preentrena el codificador visual mediante la generación de informes con un LLM congelado —el codificador aprende características útiles para la tarea real del LLM—, mientras que la Destilación Relacional Local preserva las relaciones entre los parches visuales para evitar el colapso visual.
Preentrenado en IU-Xray y Open-PMC-300K y evaluado en VQA-RAD y SLAKE, solo el ViT se transfiere mientras que el LLM guía y el proyector se reemplazan, lo que permite evaluar directamente la transferibilidad entre LLM. El código y el modelo preentrenado se publicaron en GitHub.
Preentrenar el componente para su consumidor real, no para un sustituto genérico
El preentrenamiento contrastivo al estilo CLIP optimiza para una alineación orientada a la recuperación, no para alimentar a un decodificador autorregresivo.
La generación de informes con un LLM congelado vincula el objetivo del codificador con la interfaz a la que realmente servirá.
La destilación de las relaciones entre parches evita que la información visual de grano fino colapse bajo el objetivo lingüístico.
Reemplazar el LLM posterior en la evaluación aísla lo que el propio codificador aprendió.
Cuando la salida de un componente es consumida por otro modelo, alinee su entrenamiento con la interfaz de ese consumidor; los sustitutos genéricos dejan una brecha que el consumidor paga.
Los experimentos de transferencia entre LLM demostraron el valor de preentrenar codificadores visuales para su interfaz de LLM autorregresivo; el código y el modelo preentrenado están disponibles en GitHub (SkyCol/MedMLIP).
CONSULTA LAS PRUEBAS
Las fuentes
- Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models arXiv · arxiv.org ·