Resumen - SIDA: Adaptación de Dominio sin Entrenamiento con Imágenes Sintéticas Driven

SIDA: Adaptación de Dominio sin Entrenamiento con Imágenes Sintéticas Driven

2025-07-24 17:59:36

{"Ye-Chan Kim","SeungJu Cha","Si-Woo Kim","Taewhan Kim","Dong-Jin Kim"}

{cs.CV,cs.AI,cs.LG,cs.MM}

El documento propone SIDA, un método de adaptación de dominio sin precedentes y eficiente que aprovecha imágenes sintéticas en lugar de depender de descripciones de texto. Este enfoque tiene como objetivo superar las limitaciones de los métodos impulsados por texto existentes, que luchan por capturar variaciones complejas del mundo real y aumentan significativamente el tiempo de adaptación debido a su proceso de alineación. SIDA consta de tres etapas clave: 1. **Proceso de Generación de Imágenes**: Utiliza un Modelo de Visión y Lenguaje (VLM) para extraer descripciones detalladas de las escenas de las imágenes de origen. Basándose en estas descripciones, genera diversas imágenes sintéticas similares al origen utilizando un generador de imágenes. Luego, aplica la traducción de imágenes para reflejar el estilo del dominio de destino. 2. **Módulos de mezcla de dominio y transferencia de estilo de parche**: Estos módulos utilizan las características de estilo de las imágenes sintéticas para simular diversas intensidades de estilo global y variaciones locales de estilo como en las situaciones del mundo real. La mezcla de dominio combina múltiples estilos para expandir las representaciones intra-dominio, mientras que la transferencia de estilo de parche asigna diferentes estilos a parches individuales. 3. **Etapa de ajuste fino**: Ajusta el modelo introduciendo una función de pérdida de entropía cruzada ponderada basada en información de entropía. Esta función de pérdida subraya el aprendizaje de muestras estilizadas al estilo del destino con alta incertidumbre, permitiendo que el modelo capture mejor los estilos diversos. Experimentos en diversas situaciones de adaptación de dominio sin precedentes demuestran que SIDA supera consistentemente los métodos existentes, especialmente en dominios desafiantes como incendios y tormentas de arena. Esto se atribuye a la eficacia de la mezcla de dominio y la transferencia de estilo de parche para simular variaciones de intensidad de estilo en el mundo real. Contribuciones clave de SIDA: 1. Propone un método de adaptación de dominio sin precedentes eficiente y efectivo que aprovecha imágenes sintéticas en lugar de depender de descripciones de texto. 2. Introduce módulos de mezcla de dominio y transferencia de estilo de parche para simular diversas intensidades de estilo global y variaciones locales de estilo como en las situaciones del mundo real. 3. Logra mejoras significativas en diversas situaciones de adaptación de dominio sin precedentes, especialmente en dominios desafiantes. En resumen, SIDA proporciona una solución prometedora para la adaptación de dominio sin precedentes al aprovechar efectivamente imágenes sintéticas y simular variaciones de intensidad de estilo en el mundo real.