Résumé - Apprentissage mutuel masqué guidé par la sémantique pour la segmentation tumorale cérébrale multimodale avec des modalités manquantes arbitraires

Apprentissage mutuel masqué guidé par la sémantique pour la segmentation tumorale cérébrale multimodale avec des modalités manquantes arbitraires

2025-07-10 09:49:57

{"Guoyan Liang","Qin Zhou","Jingyuan Chen","Bingcang Huang","Kai Chen","Lin Gu","Zhe Wang","Sai Wu","Chang Yao"}

{stat.ME}

Le papier présente une nouvelle approche appelée Apprentissage Mutual Masqué Guidé Sémantiquement (SMML) pour la segmentation tumorale cérébrale multimodale, en particulier dans les scénarios où certaines modalités d’imagerie sont manquantes. Cela représente un défi important dans la pratique clinique, car la présence de modalités manquantes peut gravement dégrader les performances de segmentation. Le cadre SMML aborde ce défi en intégrant des contraintes de cohérence hiérarchique (HCC) et des probabilités sémantiques auxiliaires du modèle Segment Anything (SAM). Le cadre se compose de deux branches d’étudiant, chacune avec ses propres encodeurs et décodeurs spécifiques à la modalité. Pendant l’entraînement, les branches sont supervisées par l’HCC, ce qui assure une cohérence pluridimensionnelle à travers les branches. Cela inclut une contrainte de niveau pixel qui sélectionne et échange des connaissances fiables, ainsi qu’une contrainte de niveau fonctionnel qui révèle des connaissances relationnelles robustes entre échantillons et entre classes dans l’espace latent des caractéristiques. Pour améliorer davantage la capacité discriminatoire de chaque branche d’étudiant, un réseau de raffinement est intégré. Ce réseau utilise les probabilités sémantiques de SAM pour fournir des informations supplémentaires, complétant ainsi la stratégie d’apprentissage mutuel masqué pour capturer des connaissances discriminatoires auxiliaires. Le cadre SMML proposé a été évalué sur trois ensembles de données de segmentation tumorale cérébrale délicats, démontrant des améliorations significatives par rapport aux méthodes de pointe dans divers scénarios de modalités manquantes. Le cadre atteint des performances de pointe sur les trois ensembles de données et catégories de tumeurs, avec des gains de score moyen DSC de 1,4 % sur BraTs 2018, 1,3 % sur BraTs 2015 et 1,7 % sur BraTs 2020, respectivement. En résumé, le cadre SMML aborde efficacement le défi des modalités manquantes dans la segmentation tumorale cérébrale en combinant des contraintes de cohérence hiérarchique et des probabilités sémantiques auxiliaires de SAM. Cela entraîne des améliorations significatives dans l’exactitude de la segmentation, le rendant une approche prometteuse pour les applications cliniques.