Résumé - SIDA: Adaptation de Domaine sans Échantillons Synthétiques Basée sur des Images

SIDA: Adaptation de Domaine sans Échantillons Synthétiques Basée sur des Images

2025-07-24 17:59:36

{"Ye-Chan Kim","SeungJu Cha","Si-Woo Kim","Taewhan Kim","Dong-Jin Kim"}

{cs.CV,cs.AI,cs.LG,cs.MM}

Le papier propose SIDA, une méthode de adaptation de domaine sans étiquette nouvelle et efficace qui utilise des images synthétiques au lieu de s'appuyer sur des descriptions textuelles. Cette approche vise à surmonter les limites des méthodes actuelles basées sur le texte, qui ont du mal à capturer les variations complexes du monde réel et augmentent considérablement le temps d'adaptation en raison de leur processus d'alignement. SIDA se compose de trois étapes clés : 1. **Processus de Génération d'Images** : Il utilise un Modèle de Vision et de Langage (VLM) pour extraire des descriptions de scène détaillées à partir des images source. Sur la base de ces descriptions, il génère diverses images synthétiques similaires à la source à l'aide d'un générateur d'images. Puis, il applique la traduction d'image pour refléter le style du domaine cible. 2. **Modules de Mélange de Domaine et de Transfert de Style de Patch** : Ces modules utilisent les caractéristiques de style des images synthétiques pour simuler des intensités de style global et des variations de style local comme dans les scénarios réels. Le Mélange de Domaine combine plusieurs styles pour élargir les représentations intra-domaine, tandis que le Transfert de Style de Patch assigne différents styles à des patches individuels. 3. **Étape de Fin-tuning** : Il affine le modèle en introduisant une fonction de perte de cross-entropy pondérée basée sur des informations d'entropie. Cette fonction de perte met l'accent sur l'apprentissage à partir de samples stylisés ressemblant à la cible avec une haute incertitude, permettant au modèle de mieux capturer les styles divers. Les expériences dans divers scénarios d'adaptation de domaine sans étiquette montrent que SIDA outperforme constamment les méthodes existantes, en particulier dans des domaines difficiles comme les incendies et les tempêtes de sable. Cela est attribué à l'efficacité du Mélange de Domaine et du Transfert de Style de Patch dans la simulation des variations d'intensité de style dans le monde réel. Contributions clés de SIDA : 1. Il propose une méthode d'adaptation de domaine sans étiquette efficace et efficace qui utilise des images synthétiques au lieu de s'appuyer sur des descriptions textuelles. 2. Il introduit les modules de Mélange de Domaine et de Transfert de Style de Patch pour simuler des intensités de style global et des variations de style local comme dans les scénarios réels. 3. Il atteint des améliorations de performance significatives dans divers scénarios d'adaptation de domaine sans étiquette, en particulier dans des domaines difficiles. En général, SIDA propose une solution prometteuse pour l'adaptation de domaine sans étiquette en utilisant efficacement des images synthétiques et en simulant des variations d'intensité de style dans le monde réel.