Résumé - RoadBench : Un modèle fondation de vision et un cadre de référence pour la compréhension des dommages routiers

RoadBench : Un modèle fondation de vision et un cadre de référence pour la compréhension des dommages routiers

2025-07-23 09:34:35

{"Xi Xiao","Yunbei Zhang","Janet Wang","Lin Zhao","Yuxiang Wei","Hengjia Li","Yanshu Li","Xiao Wang","Swalpa Kumar Roy","Hao Xu","Tianyang Wang"}

{cs.CE}

L'article présente RoadBench, le premier cadre de référence multimodal pour la compréhension des dommages routiers, et RoadCLIP, un modèle de vision et de langage novateur adapté à ce domaine. RoadBench comprend 100 000 images de routes à haute résolution associées à des descriptions textuelles détaillées des conditions du revêtement. RoadCLIP atteint des performances de pointe sur les tâches de reconnaissance des dommages routiers, dépassant nettement les méthodes visuelles et multimodales existantes. Contributions clés : * **RoadBench** : Ce jeu de données associe des images de dommages routiers à haute résolution avec des descriptions textuelles détaillées, fournissant un contexte plus riche pour l'entraînement des modèles. Il s'agit du plus grand jeu de données de ce type, avec 100 000 paires d'images-textes, couvrant divers scénarios de dommages routiers et conditions environnementales. * **RoadCLIP** : Ce modèle de vision et de langage s'appuie sur le cadre CLIP et intègre des améliorations spécifiques au domaine pour apprendre efficacement à partir des images de routes et de leurs descriptions. Il comprend deux modules clés : * **Encodage Positionnel Sensible aux Maladies (DaPE)** : Ce module capte les motifs spatiaux des défauts de route et leurs emplacements, améliorant la capacité du modèle à localiser les zones de dommage. * **Injection de Préférences Spécifiques au Domaine** : Ce mécanisme injecte des connaissances expertes sur les catégories de dommages routiers et leurs caractéristiques, améliorant la compréhension du modèle des conditions routières. * **Expériences** : Des expériences approfondies montrent que RoadCLIP atteint une performance supérieure sur les tâches de reconnaissance des dommages routiers par rapport aux modèles existants. Il dépasse le meilleur modèle purement visuel de 19,2 % en termes d'exactitude de détection et de 20,9 % en termes de score F1 de classification. RoadBench et RoadCLIP ouvrent la voie à une surveillance des infrastructures plus efficace par le biais de l'apprentissage multimodal, établissant de nouveaux cadres de référence pour le domaine et permettant le développement de systèmes de détection des dommages routiers plus précis et fiables.