Resumen - SynC: Refinamiento del Conjunto de Datos de Títulos de Imágenes Sintéticas con Mapeo Uno-a-muchos para la Captura de Títulos de Imágenes a Cero Sesiones

SynC: Refinamiento del Conjunto de Datos de Títulos de Imágenes Sintéticas con Mapeo Uno-a-muchos para la Captura de Títulos de Imágenes a Cero Sesiones

2025-07-24 17:53:26

{"Si-Woo Kim","MinJu Jeon","Ye-Chan Kim","Soeun Lee","Taewhan Kim","Dong-Jin Kim"}

{cs.CV,cs.AI,cs.CL,cs.LG}

El documento propone SynC, un nuevo marco para afinar conjuntos de datos de imágenes sintéticas y descripciones para la captioning de imágenes a cero pasos (ZIC). La clave desafío abordado es el desalineamiento semántico entre las imágenes generadas y sus descripciones correspondientes, lo cual puede obstaculizar el entrenamiento del modelo. SynC emplea una estrategia de mapeo uno-a-muchos donde cada descripción recupera múltiples imágenes candidatas del conjunto de imágenes pregenerado. Luego aplica un clasificador de alineamiento inspirado en la consistencia cíclica para seleccionar la mejor imagen verificando su capacidad de recuperar la descripción original a través de la recuperación de texto a imagen. Este enfoque identifica y mantiene pares de imágenes-descripciones bien alineados, mejorando la calidad de los datos de entrenamiento para los modelos de captioning a cero pasos. El documento presenta evaluaciones extensas que demuestran la efectividad de SynC en varios modelos y benchmarks de ZIC, alcanzando resultados de vanguardia en varios escenarios. SynC ofrece una solución práctica para curar datos sintéticos afinados para mejorar el ZIC, abordando los desafíos únicos de la curación de conjuntos de datos sintéticos para el ZIC.