Zusammenfassung - Lernbares Retrieval zur verbesserten visuell-textuellen Ausrichtung und Fusion für die Generierung von Radiologie-Berichten

Lernbares Retrieval zur verbesserten visuell-textuellen Ausrichtung und Fusion für die Generierung von Radiologie-Berichten

2025-07-10 09:13:10

{"Qin Zhou","Guoyan Liang","Xindi Li","Jingyuan Chen","Wang Zhe","Chang Yao","Sai Wu"}

{stat.ME}

Das Papier "Learnable Retrieval Enhanced Visual-Text Alignment and Fusion for Radiology Report Generation" von Qin Zhou et al. stellt ein neues Framework, REVTAF, vor, das die Automatisierung der Generierung von Röntgenberichten automatisiert. Dieses Framework behandelt die Herausforderungen von ungleicher Verteilung und unzureichender intermodaler Fusion, die erhebliche Probleme in bestehenden Methoden darstellen. REVTAF integriert zwei Kernkomponenten: 1. Lernbarer Retrieval Enhancer (LRE): Dieses Komponente nutzt semantische Hierarchien aus hyperbolischen Räumen und interbatch-Kontext durch ein auf Rang basierendes Metrik, um adaptiv die am besten passenden Referenzberichte abzurufen. Dies verbessert Bildrepräsentationen, insbesondere für unterrepräsentierte (Schwanz-)Klasseninputs. 2. Feingranulares Visual-Text Alignment und Fusion (FVTAF): Dieses Komponente stellt die Konsistenz über Multi-Quell-Cross-Attention-Karten sicher, um eine präzise Ausrichtung zu gewährleisten. Es nutzt weiterhin ein auf optimaler Transport basierendes Cross-Attention-Mechanismus, um textbezogene Kenntnisse für verbesserte Berichtsgenerierung dynamisch zu integrieren. Die Experimente zeigen, dass REVTAF die besten Methoden übertrifft und durchschnittlich eine Verbesserung von 7,4% auf dem MIMIC-CXR-Dataset und 2,9% auf dem IU X-Ray-Dataset erzielt. Vergleiche mit gängigen multimodalen LLMs (z.B. GPT-Serie-Modelle) betonen weiter seine Überlegenheit bei der Generierung von Röntgenberichten. Die Hauptbeiträge des Papiers sind: - Ein neues Framework, das LRE und FVTAF kombiniert, um ungleiche Verteilung und unzureichende intermodale Fusion zu bewältigen. - Eine lernbare Lösung zur adaptiven Abfrage des am besten passenden Referenzberichts für jedes Eingangsimage, insbesondere für Schwanzklassen. - Ein neues visuell-textuelles Ausrichtung und Fusion-Modul, das Feingranulare Intermodale Konsistenz mit einem optimierten Cross-Attention-Mechanismus integriert. - Umfassende Vergleiche mit besten Methoden der Röntgenberichtsgenerierung und multimodalen LLMs, die die überlegene Leistung des vorgeschlagenen Ansatzes unterstreichen. Zusammenfassend lässt sich sagen, dass REVTAF ein vielversprechendes Framework für die Verbesserung der Effizienz und Genauigkeit der Generierung von Röntgenberichten ist, mit dem Potenzial, die Arbeitsbelastung medizinischer Fachkräfte zu reduzieren und die diagnostische Effizienz zu verbessern.