Zusammenfassung - TyDi QA-WANA: Ein Benchmark für Informationssuch-Question-Answering in Sprachen des Westasiens und Nordafrikas

TyDi QA-WANA: Ein Benchmark für Informationssuch-Question-Answering in Sprachen des Westasiens und Nordafrikas

2025-07-23 17:20:28

{"Parker Riley","Siamak Shakeri","Waleed Ammar","Jonathan H. Clark"}

{cs.CL}

Das Papier stellt T Y D I QA–WANA vor, eine Frage-und-Antwort-Datensammlung, die darauf abzielt, den Mangel an Trainings- und Evaluierungsdaten für Informationssuchfragen in Sprachen des Nahen Ostens und Nordafrikas zu beheben. Die Datensammlung besteht aus 28.000 Beispielen über 10 Sprachvarianten hinweg, darunter Arabisch, Hebräisch, Persisch und Turkische Sprachen. Der Datenverarbeitungsvorgang wurde so gestaltet, dass Informationen suchende Fragen erzeugt werden, bei denen der Fragende wirklich an der Antwort interessiert ist. Jede Frage ist mit einem ganzen Artikel verbunden, der möglicherweise oder möglicherweise nicht die Antwort enthält, was die Aufgabe für die Bewertung der Fähigkeiten der Modelle, große Textkontexte zu nutzen, geeignet macht. Das Papier hebt die Herausforderungen hervor, Modelle an Informationssuchfragen in Sprachen mit geringem Datenbestand zu bewerten, insbesondere wenn es um lange Kontexte von LLMs geht. Es wird argumentiert, dass bestehende Evaluierungsdatenbanken oft nicht darauf ausgelegt sind, die Fähigkeit eines Modells zu testen, große Kontextfenster zu nutzen. Um dies zu beheben, bietet T Y D I QA–WANA eine Datensammlung von langen Kontextinformationssuchfragen in unterrepräsentierten nicht-englischen Sprachvarianten im Stil von T Y D I QA. Das Papier präsentiert Baseline-Ergebnisse von zwei großen Sprachmodellen, Gemini 1.5 Pro und Gemini 2.0 Flash, und zeigt, dass moderne LLMs in der Lage sind, Fragen durch die Einbeziehung eines ganzen Wikipedia-Artikels im Eingang zu beantworten. Die Ergebnisse zeigen, dass die Leistung zwischen Sprachvarianten stark variiert, was die Bedeutung der Bewertung von Modellen auf diversen Sprachdatensätzen unterstreicht. Das Papier betont die Bedeutung von T Y D I QA–WANA für die Forschergemeinschaft, da es eine wertvolle Ressource für die Bewertung und Verbesserung von Frage-und-Antwort-Modellen in Sprachen mit geringem Datenbestand bietet. Durch die Veröffentlichung der Datensammlung und des Codes hoffen die Autoren, die Messung und Verbesserung der Leistung der Modelle in diesen Sprachvarianten zu erleichtern. Zusammenfassend lässt sich sagen, dass T Y D I QA–WANA eine wertvolle Datensammlung ist, die den Bedarf an Trainings- und Evaluierungsdaten für Informationssuchfragen in Sprachen mit geringem Datenbestand adressiert. Sie bietet eine wertvolle Ressource für die Forschergemeinschaft und trägt zur Weiterentwicklung von Frage-und-Antwort-Systemen in diversen Sprachvarianten bei.