Résumé - BetterCheck : Vers la protection des VLM pour les systèmes de perception automobile

BetterCheck : Vers la protection des VLM pour les systèmes de perception automobile

2025-07-23 17:32:17

{"Malsha Ashani Mahawatta Dona","Beatriz Cabrero-Daniel","Yinan Yu","Christian Berger"}

{cs.CV,I.4.m}

Ce document examine l'utilisation des Modèles de Langage Visuels (VLMs) dans les systèmes de perception automobile et propose une méthode appelée BetterCheck pour atténuer les hallucinations potentielles et garantir la sécurité. **Problème et Motivation** : Les VLMs, qui combinent la vision et le traitement du langage naturel, ont montré des promesses dans la compréhension des situations de trafic complexes. Cependant, ils sont sujets aux hallucinations, où ils peuvent voir ou décrire des objets qui ne sont pas réellement présents. Cela peut être dangereux dans les contextes automobiles, où une perception précise est cruciale. **Objectif de la recherche et Méthodologie** : L'objectif de la recherche est d'évaluer la performance de trois VLMs de pointe (GPT-4o, LLaVA et MiniCPM-V) dans la description des situations de trafic et d'évaluer l'efficacité de BetterCheck, une adaptation de la technique de détection des hallucinations SelfCheckGPT. Les chercheurs ont rassemblé un ensemble de données d'images provenant du Waymo Open Dataset et ont invité les VLMs à décrire les objets visibles sur chaque image. Ils ont ensuite évalué les légendes pour leur exactitude et leur cohérence avec les annotations de vérité au sol. **Principales Découvertes** : * **Les VLMs montrent des capacités impressionnantes d'interprétation d'images** : Tous les trois modèles ont généralement réussi à décrire les situations de trafic, bien que GPT-4o et MiniCPM-V aient mieux performé que LLaVA. * **Les VLMs sont sujets aux hallucinations** : Tous les modèles décrivent occasionnellement des objets qui ne sont pas présents dans l'image, indiquant la nécessité de meilleures techniques de détection des hallucinations. * **BetterCheck montre des promesses** : La technique adaptée de SelfCheckGPT, renommée BetterCheck, a réussi à détecter et atténuer certaines hallucinations. Cela suggère son potentiel pour améliorer la sécurité et la fiabilité des VLMs dans les systèmes de perception automobile. **Analyse et Discussion** : Les chercheurs ont analysé les résultats et discuté des compromis entre différentes métriques de performance. Ils ont conclu que BetterCheck est une approche prometteuse pour atténuer les hallucinations dans les VLMs, mais que des recherches supplémentaires sont nécessaires pour améliorer son exactitude et son efficacité. **Conclusion et Travaux Futurs** : L'étude met en lumière le potentiel des VLMs dans les systèmes de perception automobile, mais souligne également la nécessité de techniques robustes de détection et de mitigation des hallucinations. BetterCheck représente une étape vers la réalisation de cet objectif, et les chercheurs espèrent que leurs résultats contribueront au développement de véhicules autonomes plus sécuritaires et plus fiables. **Les travaux futurs pourraient inclure** : * Évaluer BetterCheck sur de plus grandes et plus diversifiées bases de données. * Explorer différentes techniques de détection et de mitigation des hallucinations. * Développer des méthodes plus efficaces et plus économes en ressources pour intégrer les VLMs dans les systèmes de perception automobile.