Zusammenfassung - Semantik-gesteuertes Maskiertes Mutual Learning zur Multimodalen Hirntumorsegmentierung mit willkürlichen fehlenden Modalitäten

Semantik-gesteuertes Maskiertes Mutual Learning zur Multimodalen Hirntumorsegmentierung mit willkürlichen fehlenden Modalitäten

2025-07-10 09:49:57

{"Guoyan Liang","Qin Zhou","Jingyuan Chen","Bingcang Huang","Kai Chen","Lin Gu","Zhe Wang","Sai Wu","Chang Yao"}

{stat.ME}

Das Papier stellt einen neuen Ansatz vor, der Semantic-guided Masked Mutual Learning (SMML) genannt wird, für die multivariate Tumormarkierung im Gehirn, insbesondere in Szenarien, in denen einige bildgebende Modalitäten fehlen. Dies ist eine erhebliche Herausforderung in der klinischen Praxis, da fehlende Modalitäten die Segmentationsleistung erheblich verschlechtern können. Der SMML-Framework behandelt diese Herausforderung durch die Integration von hierarchischen Konsistenzbeschränkungen (HCC) und zusätzlichen semantischen Vorausbildungen aus dem Segment Anything Model (SAM). Der Framework besteht aus zwei Studenten-Branche, jede mit ihrem eigenen modell-spezifischen Encoder und Decoder. Während des Trainings werden die Branche durch HCC überwacht, was eine multiplen Ebene Konsistenz über die Branche hinweg sicherstellt. Dies umfasst eine pixelbene Beschränkung, die zuverlässiges Wissen auswählt und austauscht, sowie eine特征bene Beschränkung, die robuste inter-samples und inter-klassische Beziehungen im latenten Feature-Raum aufdeckt. Um die diskriminierende Fähigkeit jeder Studenten-Branche weiter zu verbessern, wird ein Refinierungsnetzwerk integriert. Dieses Netzwerk nutzt semantische Vorausbildungen aus SAM, um zusätzliche Informationen bereitzustellen und effektiv die maskierte gegenseitige Lernstrategie zu ergänzen, um zusätzliche diskriminierende Wissen zu erfassen. Der vorgeschlagene SMML-Framework wurde auf drei anspruchsvolle Gehirntumormarkierungsdatensätze bewertet, wobei erhebliche Verbesserungen gegenüber den aktuellen Methoden in verschiedenen fehlenden Modality-Szenarien erzielt wurden. Der Framework erreicht in allen drei Datensätzen und Tumorkategorien den Stand der Technik, mit durchschnittlichen DSC-Score-Steigerungen von 1,4% auf BraTs 2018, 1,3% auf BraTs 2015 und 1,7% auf BraTs 2020. Zusammenfassend führt der SMML-Framework die Herausforderung fehlender Modalitäten in der Gehirntumormarkierung effektiv durch die Kombination von hierarchischen Konsistenzbeschränkungen und zusätzlichen semantischen Vorausbildungen aus SAM an. Dies führt zu erheblichen Verbesserungen der Segmentationsgenauigkeit und macht es zu einem vielversprechenden Ansatz für klinische Anwendungen.