Résumé - De la Feedback à la Liste de Vérification : Évaluation Fondée des Carnets Cliniques Générés par l'IA

De la Feedback à la Liste de Vérification : Évaluation Fondée des Carnets Cliniques Générés par l'IA

2025-07-23 17:28:31

{"Karen Zhou","John Giorgi","Pranav Mani","Peng Xu","Davis Liang","Chenhao Tan"}

{cs.CL,cs.AI}

Ce document de recherche propose une nouvelle approche pour évaluer la qualité des notes cliniques générées par l'IA en s'appuyant sur les retours d'utilisateurs réels pour générer des listes de contrôle structurées. Le texte met en avant les défis de l'évaluation du texte généré par l'IA, en particulier dans le domaine médical, où les préférences subjectives et la局限性 de l'échelle des avis d'experts rendent difficile l'évaluation efficace de la qualité. Le pipeline proposé implique les étapes suivantes : 1. **Analyse des retours** : Les chercheurs analysent les retours des utilisateurs des interactions cliniques, identifiant les attributs associés aux notes hautement évaluées. Ces retours sont utilisés pour générer des questions de liste de contrôle candidates. 2. **Génération de la liste de contrôle** : Le modèle de langage large (LLM) est invité avec le corpus de retours et l'instruction de générer des questions de liste de contrôle candidates pour chaque section de la note. 3. **Refinement de la liste de contrôle** : Les chercheurs affinent les questions candidates de la liste de contrôle en supprimant les questions redondantes, en s'assurant que les questions sont applicables et spécifiques, et en sélectionnant les questions qui peuvent être appliquées par les LLM. Ils optimisent également le sous-ensemble de questions pour couvrir et diversifier. 4. **Évaluation** : La liste de contrôle finale est évaluée à l'aide de métriques telles que la couverture des retours, la diversité, la faisabilité par les LLM, la puissance prédictive, la robustesse contre les perturbations et la corrélation avec les évaluations de préférence humaines. Le document montre l'efficacité de l'approche proposée par plusieurs expériences : 1. **Évaluation hors ligne** : Les chercheurs comparent la liste de contrôle dérivée des retours avec une liste de contrôle de base et montrent qu'elle surperforme la liste de base en termes de couverture, de diversité et de puissance prédictive pour les évaluations humaines. 2. **Robustesse** : Les chercheurs montrent que la liste de contrôle est robuste contre diverses perturbations de qualité, telles que l'information manquante, un mauvais flux d'écriture et la redondance. 3. **Alignement avec les préférences des cliniciens** : Les chercheurs montrent que la liste de contrôle est significativement alignée avec les préférences des cliniciens, comme l'indique la corrélation entre les scores de la liste de contrôle et les évaluations de préférence humaines. Le document discute également des limites de l'approche proposée et suggère des travaux futurs, y compris : 1. **Généralisabilité** : Étendre le pipeline pour générer des listes de contrôle pour d'autres sections de notes et domaines. 2. **Filtrage dynamique des retours** : Mettre en œuvre un filtrage dynamique et plus robuste pour améliorer la qualité des retours utilisés pour générer des listes de contrôle. 3. **Méthodes d'évaluation avancées** : Intégrer des méthodes d'évaluation avancées telles que l'analyse de l'importance des caractéristiques, les études humaines et l'amélioration de la raison de l'évaluateur LLM pour affiner et valider davantage les listes de contrôle. En résumé, le document présente une approche prometteuse pour évaluer la qualité des notes cliniques générées par l'IA, offrant une solution plus objective et scalable par rapport aux méthodes existantes.