Resumen - Aprendizaje de Recuperación Mejorado para la Alineación y Fusión Visual-Texto en la Generación de Informes de Radiología

Aprendizaje de Recuperación Mejorado para la Alineación y Fusión Visual-Texto en la Generación de Informes de Radiología

2025-07-10 09:13:10

{"Qin Zhou","Guoyan Liang","Xindi Li","Jingyuan Chen","Wang Zhe","Chang Yao","Sai Wu"}

{stat.ME}

El documento "Learnable Retrieval Enhanced Visual-Text Alignment and Fusion for Radiology Report Generation" de Qin Zhou y col. introduce un nuevo marco, REVTAF, para automatizar la generación de informes de radiología. Este marco aborda los desafíos de desequilibrio de clases y fusión insuficiente entre modalidades, que son problemas significativos en los métodos existentes. REVTAF incorpora dos componentes nucleares: 1. Mejorador de Recuperación Aprendible (LRE): Este componente utiliza jerarquías semánticas del espacio hiperbólico y el contexto intra-batch a través de una métrica basada en clasificación para recuperar de manera adaptativa los informes de referencia más relevantes. Esto mejora las representaciones de imágenes, especialmente para las clases subrepresentadas (cola). 2. Alineación y Fusión Visual-Textual de Grado Finamente (FVTAF): Este componente asegura la consistencia a través de mapas de atención cross-modalidad de múltiples fuentes para una alineación precisa. Además, utiliza un mecanismo de atención cross-modalidad basado en el transporte óptimo para integrar dinámicamente el conocimiento textual relevante para la generación de informes mejorada. Los experimentos demuestran que REVTAF supera a los métodos de vanguardia, logrando una mejora promedio del 7.4% en el conjunto de datos MIMIC-CXR y del 2.9% en el conjunto de datos IU X-Ray. Las comparaciones con los LLM multimodales mainstream (por ejemplo, modelos de la serie GPT) resaltan aún más su superioridad en la generación de informes de radiología. Las contribuciones principales del documento son: - Un nuevo marco que combina LRE y FVTAF para abordar el desequilibrio de clases y la fusión insuficiente entre modalidades. - Una solución aprendible para recuperar de manera adaptativa el informe de referencia más relevante para cada imagen de entrada, especialmente para las clases cola. - Un módulo novedoso de alineación y fusión visual-textual que integra la Consistencia Cross-modalidad de Grado Finamente con un mecanismo de atención cross-attention optimizado. - Comparaciones extensas con métodos de generación de informes de radiología de vanguardia y LLM multimodales, demostrando la superioridad del enfoque propuesto. En resumen, REVTAF es un marco prometedor para mejorar la eficiencia y precisión de la generación de informes de radiología, con el potencial de reducir la carga de trabajo de los profesionales de la salud y mejorar la eficiencia diagnóstica.