Zusammenfassung - CXR-CML: Verbesserte Zero-Shot-Klassifikation langer-halsiger mehrmarkiger Krankheiten in Röntgenaufnahmen des Brustkorbs

CXR-CML: Verbesserte Zero-Shot-Klassifikation langer-halsiger mehrmarkiger Krankheiten in Röntgenaufnahmen des Brustkorbs

2025-07-25 16:05:47

{"Rajesh Madhipati","Sheethal Bhat","Lukas Buess","Andreas Maier"}

{cs.CV,cs.AI}

CXR-CML ist ein neuer Ansatz zur Verbesserung der Zero-Shot-Klassifizierung lang gezogener mehrfach beschilderter Krankheiten in Röntgenaufnahmen der Brust (CXR). Er zielt darauf ab, die Herausforderungen von Klassenungleichgewichten und der Unterrepräsentation seltener Krankheiten in CXR-Datenbanken zu lösen, mit denen aktuelle selbstsupervisede tiefe Lernmodelle kämpfen. Die Autoren von CXR-CML bauen auf dem bestehenden CLIP-Modell auf, das den latenten Raum der Datenbank effektiv modelliert. Allerdings stellten sie fest, dass die Leistung von CLIP für lang gezogene Klassen mit einer dünnen Verteilung erheblich nachlässt. Um dieses Problem zu bewältigen, haben sie ein Klassenabwägungsmechanismus eingeführt, der mit der Verteilung der Klassen im latenten Raum übereinstimmt. Die Hauptbeiträge von CXR-CML sind: 1. Eine effektivere Modellierung des latenten Verteilungsmanifolds mit dem Gaussianischen Mischmodell (GMM) und der Student-t-Verteilung. 2. Die Nutzung der zusammengefassten Verteilung, um eine metrische Verlustfunktion anzuwenden, was zu einer robusten Verbesserung über ein breites Spektrum von Kategorien führt. 3. Eine robuste Bewertung mit 5-fachem Kreuzvalidieren auf einer vielfältigen Gruppe von 40 Krankheitskategorien, einschließlich 12 seltener und 28 häufiger Klassen. Hier ist eine Zusammenfassung der CXR-CML-Methode: 1. **Modellierung des latenten Raums**: - Die Autoren wenden GMM auf die von CLIP extrahierten visuell-sprachlichen Einbettungen an, was dabei hilft, Cluster zu identifizieren, die sich auf verschiedene Krankheitsklassen beziehen. - Die Student-t-Verteilung wird verwendet, um die GMM-Cluster zu verfeinern, um die starken Schwingungen der medizinischen Daten zu erfassen und die Repräsentation der unterrepräsentierten Klassen zu verbessern. 2. **Metrisches Lernen**: - Die Autoren verwenden eine metrische Verlustfunktion (Triplet-Verlust) zur weiteren Verfeinerung des Merkmalsraums durch Verbesserung der Intra-Klassen-Kompaktheit und der Inter-Klassen-Trennung. - Pseudo-Labels, die aus der GMM-Clustering generiert werden, werden verwendet, um die Auswahl der Triplet für den metrischen Verlust zu leiten. 3. **Textgenerierung**: - Die Autoren generieren textuelle Beschreibungen für jede Klasse mit den tatsächlichen Annotationsdaten und NLP-Techniken. - Diese textuellen Beschreibungen dienen als schwache Überwachungssignale, um das Training zu verbessern und die Klassifikationsleistung zu erhöhen. 4. **Bewertung**: - Die Autoren bewerten CXR-CML auf dem MIMIC-CXR-JPG-Dataset, das 234.800 CXR-Aufnahmen enthält, die mit 39 Krankheitsklassen beschildert sind. - Sie vergleichen die Leistung von CXR-CML mit anderen State-of-the-Art (SOTA) Vision-Language (VL)-Modellen und erreichen überlegene Ergebnisse, insbesondere für seltene Krankheiten. Die Autoren schließen, dass CXR-CML die Herausforderungen der lang gezogenen Klassifizierung in CXR-Aufnahmen effektiv angeht, indem der latente Verteilung modelliert und die Repräsentation der unterrepräsentierten Klassen verbessert wird. Dies macht es zu einem vielversprechenden Ansatz für praktische Anwendungen in klinischen Settings.