Résumé - Conception d'un Système de Soumission et d'Évaluation en Ligne pour les Opérations de Concours

Conception d'un Système de Soumission et d'Évaluation en Ligne pour les Opérations de Concours

2025-07-23 17:44:10

{"Zhe Chen","Daniel Harabor","Ryan Hechnenberger","Nathan R. Sturtevant"}

{cs.AI}

Ce document présente un système de compétition en ligne conçu pour automatiser le processus de soumission et d'évaluation des compétitions algorithmiques. Ces compétitions sont cruciales pour suivre les progrès dans divers domaines de recherche, mais elles peuvent être opérationnellement coûteuses en raison de la nécessité de gérer et d'évaluer un grand nombre de soumissions, de gérer les problèmes de compatibilité et de fournir des retours aux participants. Le système proposé, appelé Système de Soumission et d'Évaluation En Ligne, permet aux participants de soumettre leurs solutions à tout moment avant la date limite. Il utilise des environnements isolés pour évaluer les soumissions, assurant ainsi la compatibilité et la sécurité. Le système fournit des retours instantanés, permettant aux participants d'itérer leurs solutions efficacement. Les principales fonctionnalités du système incluent : - Des dépôts Git pour la gestion du code et le suivi de l'historique des soumissions. - Une interface web pour l'interaction des utilisateurs, y compris l'enregistrement, la gestion des profils, la gestion des soumissions, la gestion des compétitions et le suivi du classement. - Une base de données pour stocker les profils des utilisateurs, les détails des soumissions et les données d'évaluation. - Un serveur d'évaluation qui surveille les nouvelles soumissions et initie les tâches d'évaluation. - Des unités de calcul exécutant des conteneurs Docker pour exécuter les tâches d'évaluation dans des environnements isolés. Le système a été appliqué avec succès à trois applications différentes : 1. Enseignement pour un Unité de Planification IA : Un système de soumission et d'évaluation de devoirs en ligne pour un cours universitaire enseignant les algorithmes et les techniques pour résoudre des problèmes de planification et de raisonnement. 2. Concours de Planification de Chemin Basée sur une Grille (GPPC2) : Un concours annuel évaluant les performances des algorithmes de planification sur des cartes basées sur une grille. Le système gère de grandes quantités de soumissions simultanées et fournit des mesures de performance précises. 3. Concours de Ligue des Courseurs de Robots : Un concours où les participants coordonnent une équipe de robots mobiles pour accomplir des tâches de manière efficace. Le système utilise le calcul en nuage et un classement plus éclairé pour gérer la complexité du concours. Le document discute de plusieurs défis rencontrés lors de la conception et de l'implémentation du système, tels que la gestion de multiples épreuves, la gestion des limitations de calcul, le classement des solutions sur la base de multiples critères et la prévention du trichage. Des solutions à ces défis sont présentées, et la potentiel application du système à d'autres compétitions est discutée. Les travaux futurs incluent la modularisation et la généralisation de l'implémentation du système, facilitant ainsi sa maintenance et l'ajout de fonctionnalités. Le système sera ouvert à la source en tant que ressource communautaire pour aider les chercheurs dans les domaines connexes à organiser des compétitions.