Résumé - SynC : Refinement du dataset de captions d'images synthétiques avec une correspondance un à plusieurs pour le captioning d'images sans apprentissage préalable

SynC : Refinement du dataset de captions d'images synthétiques avec une correspondance un à plusieurs pour le captioning d'images sans apprentissage préalable

2025-07-24 17:53:26

{"Si-Woo Kim","MinJu Jeon","Ye-Chan Kim","Soeun Lee","Taewhan Kim","Dong-Jin Kim"}

{cs.CV,cs.AI,cs.CL,cs.LG}

Le papier propose SynC, un cadre novateur pour affiner les ensembles de données d'images synthétiques et de descriptions pour le captioning d'images sans apprentissage préalable (ZIC). La principale difficulté abordée est le mal-alignement sémantique entre les images générées et leurs descriptions correspondantes, ce qui peut entraver l'entraînement du modèle. SynC utilise une stratégie de correspondance un à plusieurs où chaque description récupère plusieurs images candidates à partir du pool d'images pré-généré. Il applique ensuite un scoreur d'alignement inspiré de la cohérence cyclique pour sélectionner la meilleure image en vérifiant sa capacité à récupérer la description originale via la recherche textuelle dans les images. Cette approche permet d'identifier et de conserver les paires d'images-description bien alignées, améliorant ainsi la qualité des données d'entraînement pour les modèles de captioning sans apprentissage préalable. Le papier présente des évaluations extensives démontrant l'efficacité de SynC sur divers modèles et benchmarks de ZIC, atteignant des résultats de pointe dans plusieurs scénarios. SynC offre une solution pratique pour curer des données synthétiques raffinées pour améliorer le ZIC, en répondant aux défis uniques de la curation des ensembles de données synthétiques pour le ZIC.