Zusammenfassung - Lehre aus dem TREC Plain Language Adaptation of Biomedical Abstracts (PLABA) Track

Lehre aus dem TREC Plain Language Adaptation of Biomedical Abstracts (PLABA) Track

2025-07-18 17:23:52

{"Brian Ondov","William Xia","Kush Attal","Ishita Unde","Jerry He","Hoa Dang","Ian Soboroff","Dina Demner-Fushman"}

{cs.CL,cs.AI,cs.IR}

Die PLABA (Plain Language Adaptation of Biomedical Abstracts) shared task hatte das Ziel, die Effektivität der Verwendung von Large Language Models (LLMs) zur Umwandlung komplexer biomedizinischer Abstracts in einfache Sprache zu bewerten. Diese Aufgabe wurde 2023 und 2024 bei den Text Retrieval Conferences (TREC) ausgerichtet. **Hauptergebnisse**: * **Teilnehmer und Systeme**: 12 Teams aus 12 Ländern nahmen teil und verwendeten verschiedene LLMs wie BERT, BART, T5, GPT, Llama, Gemini und Mistral. * **Aufgabe 1 (Abstract Umformulierung)**: Die leistungsstärksten Modelle erreichten nahezu menschliche Niveaus an faktischer Genauigkeit und Vollständigkeit, kämpften jedoch mit Einfachheit und Kürze. * **Aufgabe 2 (Begriffsidentifikation und Ersatz)**: Die Systeme hatten Schwierigkeiten, schwierige Begriffe zu identifizieren und angemessene Ersatz zu klassifizieren. Allerdings leisteten LLM-basierte Systeme gut in der manuell bewerteten Genauigkeit, Vollständigkeit und Einfachheit. * **Bewertungsmetriken**: Automatische Metriken korrelierten im Allgemeinen nicht gut mit manuellen Bewertungen, was die Notwendigkeit verbesserten Bewertungsinstrumente hervorhebt. **Gelernte Erfahrungen**: * **Kontextinformationen**: LLMs haben Schwierigkeiten, Kontext innerhalb ganzer Dokumente zu bewältigen, was zu möglichen Inexactituden führen kann. * **Bewertungsmetriken**: Derzeitige Metriken sind unzureichend, um die Qualität der einfacheren Spracheanpassungen zu bewerten. * **Faktizität und Halluzinationen**: LLMs können plausible aber inakurate Informationen generieren, was im biomedizinischen Bereich ein Risiko darstellt. **Mögliche Anwendungen**: * **Verbesserung der Patientenbeteiligung**: Durch die Erklärung komplexer medizinischer Informationen in einfacher Sprache können LLMs Patienten helfen, ihre Zustände und Behandlungsoptionen besser zu verstehen. * **Verbrauchsfragen beantworten**: LLMs können einfache Zusammenfassungen von Forschungsartikeln generieren, um Verbrauchsfragen zu beantworten. * **Retrieval Augmented Generation**: LLMs können dabei helfen, Zusammenfassungen und Erklärungen biomedizinischer Forschung zu erstellen. **Zukünftige Richtungen**: * Entwicklung besserer Bewertungsmetriken zur Bewertung der Qualität einfacher Spracheanpassungen. * Untersuchung von Methoden zur Erkennung und Milderung von Halluzinationen und zur Sicherstellung der faktischen Genauigkeit. * Erforschung neuer Anwendungen von LLMs im Gesundheitswesen und medizinischer Forschung.