Zusammenfassung - SynC: Refinierung des künstlichen Bildbeschreibungsdatenbanksets mit ein-zu-viele-Mapping für Zero-shot-Bildbeschreibungen

SynC: Refinierung des künstlichen Bildbeschreibungsdatenbanksets mit ein-zu-viele-Mapping für Zero-shot-Bildbeschreibungen

2025-07-24 17:53:26

{"Si-Woo Kim","MinJu Jeon","Ye-Chan Kim","Soeun Lee","Taewhan Kim","Dong-Jin Kim"}

{cs.CV,cs.AI,cs.CL,cs.LG}

Das Papier schlägt SynC vor, ein neuer Rahmen für die Verfeinerung synthetischer Bild-Zwischenbenennungs-Datenbanken für Zero-Shot Bild-Zwischenbenennung (ZIC) vor. Die zentrale Herausforderung, die angegangen wird, ist die semantische Unausgewogenheit zwischen generierten Bildern und ihren entsprechenden Zwischenbenennungen, die das Modelltraining behindern kann. SynC verwendet eine ein-zu-viele Abbildungsstrategie, bei der jede Zwischenbenennung mehrere Kandidatenbilder aus dem vorgenerierten Bildpool abruft. Anschließend wendet es einen durch Zyklenkonsistenz inspirierten Ausrichtungs-Score an, um das beste Bild durch die Überprüfung seiner Fähigkeit, die ursprüngliche Zwischenbenennung über Bild-zu-Text-Retrieval abzurufen, auszuwählen. Dieser Ansatz identifiziert und behält gut ausgerichtete Bild-Zwischenbenennungs-Paare effektiv bei, was die Qualität der Trainingsdaten für Zero-Shot-Zwischenbenennungsmodelle verbessert. Das Papier präsentiert umfassende Evaluierungen, die die Effektivität von SynC in verschiedenen ZIC-Modellen und -Benchmarks zeigen und in mehreren Szenarien den Stand der Technik erreichen. SynC bietet eine praktische Lösung für die Kuration von verfeinerten synthetischen Daten zur Verbesserung des ZIC, indem die einzigartigen Herausforderungen der Kuration synthetischer Datenbanken für ZIC angegangen werden.