Resumen - TyDi QA-WANA: Un punto de referencia para la respuesta a preguntas de búsqueda de información en idiomas del Oriente Próximo y África del Norte

TyDi QA-WANA: Un punto de referencia para la respuesta a preguntas de búsqueda de información en idiomas del Oriente Próximo y África del Norte

2025-07-23 17:20:28

{"Parker Riley","Siamak Shakeri","Waleed Ammar","Jonathan H. Clark"}

{cs.CL}

El documento introduce T Y D I QA–WANA, un conjunto de datos de preguntas y respuestas diseñado para abordar la falta de datos de entrenamiento y evaluación para preguntas de búsqueda de información en idiomas de Oriente Próximo y África del Norte. El conjunto de datos consta de 28K ejemplos en 10 variedades de idiomas, incluyendo árabe, hebreo, persa y lenguas turcas. El proceso de recolección de datos fue diseñado para诱发 preguntas de búsqueda de información en las que el interrogante tiene una verdadera curiosidad por la respuesta. Cada pregunta está asociada con un artículo completo que puede o no contener la respuesta, lo que hace que la tarea sea adecuada para evaluar las habilidades de los modelos para utilizar grandes contextos de texto. El documento resalta los desafíos de evaluar modelos en preguntas de búsqueda de información en idiomas de recursos limitados, especialmente cuando se trata de LLMs de largo contexto. Argumenta que los conjuntos de datos de evaluación existentes a menudo no están diseñados para probar la capacidad de un modelo para utilizar grandes ventanas de contexto. Para abordar esto, T Y D I QA–WANA proporciona un conjunto de datos de preguntas de búsqueda de información de largo contexto en variedades de idiomas no representadas en inglés, al estilo de T Y D I QA. El documento presenta resultados de base de dos grandes modelos de lenguaje, Gemini 1.5 Pro y Gemini 2.0 Flash, demostrando que los LLM modernos son capaces de responder preguntas incluyendo un artículo completo en la entrada. Los resultados muestran que el rendimiento varía ampliamente entre las variedades de idioma, resaltando la importancia de evaluar modelos en conjuntos de datos de idiomas diversos. El documento subraya la importancia de T Y D I QA–WANA para la comunidad de investigación, ya que proporciona un recurso valioso para evaluar y mejorar los modelos de preguntas y respuestas en idiomas de recursos limitados. Al lanzar el conjunto de datos y el código, los autores esperan facilitar la medición y mejora del rendimiento de los modelos en estas variedades de idioma. En resumen, T Y D I QA–WANA es un conjunto de datos valioso que aborda la necesidad de datos de entrenamiento y evaluación para preguntas de búsqueda de información en idiomas de recursos limitados. Proporciona un recurso valioso para la comunidad de investigación y contribuye al progreso de los sistemas de preguntas y respuestas en diversas variedades de idiomas.