Resumen - Aprendizaje mutuo enmascarado guiado por semántica para la segmentación de tumores cerebrales multimodal con modalidades faltantes arbitrarias

Aprendizaje mutuo enmascarado guiado por semántica para la segmentación de tumores cerebrales multimodal con modalidades faltantes arbitrarias

2025-07-10 09:49:57

{"Guoyan Liang","Qin Zhou","Jingyuan Chen","Bingcang Huang","Kai Chen","Lin Gu","Zhe Wang","Sai Wu","Chang Yao"}

{stat.ME}

El documento presenta un enfoque novedoso llamado Aprendizaje Mutual de Mascara Guiado por Semántica (SMML, por sus siglas en inglés) para la segmentación de tumores cerebrales multimodal, especialmente en escenarios donde algunas modalidades de imagen faltan. Esto representa un desafío significativo en la práctica clínica, ya que la falta de modalidades puede degradar severamente el rendimiento de la segmentación. El marco SMML aborda este desafío integrando restricciones de consistencia jerárquica (HCC) y prioridades semánticas auxiliares del Modelo de Cualquier Segmentación (SAM). El marco consta de dos ramas de estudiante, cada una con sus propios codificadores y decodificadores específicos de modalidad. Durante el entrenamiento, las ramas son supervisadas por HCC, lo que asegura la consistencia en múltiples niveles entre las ramas. Esto incluye una restricción a nivel de píxel que selecciona y intercambia conocimiento confiable, y una restricción a nivel de característica que revela conocimientos robustos de relaciones entre muestras e interclases en el espacio de características latentes. Para aumentar aún más la capacidad discriminativa de cada rama de estudiante, se integra una red de refinamiento. Esta red aprovecha las prioridades semánticas de SAM para proporcionar información suplementaria, complementando eficazmente la estrategia de aprendizaje mutual de máscara en la captura de conocimiento discriminativo auxiliar. El marco SMML propuesto fue evaluado en tres conjuntos de datos desafiantes de segmentación de tumores cerebrales, demostrando mejoras significativas sobre los métodos más avanzados en diversas configuraciones con modalidades faltantes. El marco alcanza un rendimiento de vanguardia en todos los tres conjuntos de datos y categorías de tumores, con ganancias de puntuación DSC media del 1.4% en BraTs 2018, 1.3% en BraTs 2015 y 1.7% en BraTs 2020, respectivamente. En resumen, el marco SMML aborda eficazmente el desafío de las modalidades faltantes en la segmentación de tumores cerebrales combinando restricciones de consistencia jerárquica y prioridades semánticas auxiliares de SAM. Esto lleva a mejoras significativas en la precisión de la segmentación, haciendo de este enfoque una opción prometedora para aplicaciones clínicas.