Zusammenfassung - AQuilt: Logik und Selbstinspektion in kostengünstige, hoch relevante Daten-Synthese für spezialisierte LLMs einweben

AQuilt: Logik und Selbstinspektion in kostengünstige, hoch relevante Daten-Synthese für spezialisierte LLMs einweben

2025-07-24 17:03:27

{"Xiaopeng Ke","Hexuan Deng","Xuebo Liu","Jun Rao","Zhenxi Song","Jun Yu","Min Zhang"}

{cs.CL,cs.AI}

Dieses Papier stellt AQuilt vor, ein Framework zur Generierung hochwertiger, domain-spezifischer Daten aus unmarkierten Daten. Es adressiert die Einschränkungen bestehender Daten-Synthese-Methoden, die oft auf teure großen Sprachmodellen (LLMs) angewiesen sind oder von Leistungseinschränkungen betroffen sind. AQuilt erreicht dies durch die Integration der folgenden Schlüsselkomponenten: * **Datenkonstruktion**: AQuilt baut ein vielfältiges Datenset aus verschiedenen Quellen auf, einschließlich Nachrichten, Enzyklopädien, Bewertungen und spezialisierten Domänen. Dies stellt sicher, dass eine breite Palette von domain-spezifischem Wissen erfasst wird. * **Logik und Überprüfung**: AQuilt integriert Logik und Überprüfung, um das Modellreasoning zu verbessern und die Qualität der synthetisierten Daten zu gewährleisten. Dazu gehört die Generierung von Logik für das Reasoning und das Training eines Modells, um die Qualität der generierten Daten selbst zu überprüfen. * **Aufgabentyp**: AQuilt führt eine anpassbare Aufgabentyp-Funktion ein, die das Framework dazu in der Lage macht, Daten für eine breite Palette von Aufgaben zu generieren, einschließlich offener Buch-QA, geschlossener Buch-QA, Textgenerierung, Textzusammenfassung, Textklassifizierung und natürliche Sprachverarbeitung. Das Framework generiert ein hochwertiges bilingual Dataset (Chinesisch und Englisch) mit 703.000 Beispielen. Dieses Dataset wird verwendet, um ein kostengünstiges, hochrelevantes Daten-Synthese-Modell zu trainieren. ### Hauptvorteile: * **Kostengünstig**: AQuilt nutzt kleinere Modelle und vermeidet die hohen Kosten, die mit großen LLMs verbunden sind, was es zugänglicher macht. * **Hochwertige Daten**: Die Integration von Logik und Überprüfung stellt sicher, dass hochwertige, domain-spezifische Daten generiert werden. * **Cross-Task Generalisierung**: Die anpassbare Aufgabentyp-Funktion ermöglicht es AQuilt, Daten für eine breite Palette von Aufgaben zu generieren, was die Generalisierungsfähigkeiten verbessert. ### Bewertung: Experimente zeigen, dass AQuilt im Vergleich zu bestehenden Daten-Synthese-Methoden wie Bonito in Bezug auf Leistung und Kosteneffizienz übertrifft. Es erreicht vergleichbare Leistung wie DeepSeek-V3, während nur 17% der Produktionskosten erforderlich sind. ### Schlussfolgerung: AQuilt ist ein wertvolles Framework zur Generierung hochwertiger, domain-spezifischer Daten aus unmarkierten Daten. Sein Kosteneffizienz, die hochwertigen Ergebnisse und die Fähigkeit zur Cross-Task-Generalisierung machen es zu einer vielversprechenden Lösung für das Training spezialisierter LLMs und die Verbesserung domain-spezifischer Aufgaben.