Zusammenfassung - Online-Submitting- und Bewertungs Systemsdesign für Wettbewerbsoperationen

Online-Submitting- und Bewertungs Systemsdesign für Wettbewerbsoperationen

2025-07-23 17:44:10

{"Zhe Chen","Daniel Harabor","Ryan Hechnenberger","Nathan R. Sturtevant"}

{cs.AI}

Dieses Papier stellt ein Online-Wettbewerbsystem vor, das darauf ausgelegt ist, den Prozess der Einreichung und Bewertung für algorithmbasierte Wettbewerbe zu automatisieren. Diese Wettbewerbe sind entscheidend für die Verfolgung der Fortschritte in verschiedenen Forschungsgebieten, können aber aufgrund der Notwendigkeit, zahlreiche Einreichungen zu verwalten und zu bewerten, sowie Kompatibilitätsprobleme zu behandeln und Feedback an die Teilnehmer zu geben, operativ belastend sein. Das vorgeschlagene System, das Online Submission and Evaluation System (OSE) genannt wird, ermöglicht es den Teilnehmern, ihre Lösungen bis zum Abgabeschluss jederzeit einzureichen. Es nutzt isolierte Umgebungen zur Bewertung der Einreichungen, um Kompatibilität und Sicherheit zu gewährleisten. Das System bietet sofortiges Feedback, was es den Teilnehmern ermöglicht, ihre Lösungen effizient zu iterieren. Zu den Hauptfunktionen des Systems gehören: - Git-Repositorys zur Verwaltung und Verfolgung der Einreichungshistorie. - Eine Web-Anwendungsschnittstelle für die Benutzerinteraktion, einschließlich Registrierung, Profilverwaltung, Einreichungsverwaltung, Wettbewerbsverwaltung und Leaderboard-Verfolgung. - Eine Datenbank zum Speichern von Benutzerprofilen, Einreichungsdetails und Bewertungsdaten. - Ein Bewertungsserver, der neue Einreichungen überwacht und Bewertungsaufgaben initiiert. - Rechenzentren, die Docker-Container ausführen, um Bewertungsaufgaben in isolierten Umgebungen auszuführen. Das System wurde erfolgreich in drei verschiedenen Anwendungen angewendet: 1. Lehre für eine Einheit für künstliche Intelligenz-Planung: Ein Online-Aufgabenabgabesystem und eine Bewertungssysteme für einen Universitätskurs, der Algorithmen und Techniken für die Lösung von Planungs- und Reasoning-Problemen vermittelt. 2. Grid-basiertes Pfadplanungs-Wettbewerb (GPPC2): Ein jährlicher Wettbewerb, der die Leistung von Pfadplanungsalgorithmen auf grid-basierten Karten bewertet. Das System behandelt große Mengen an gleichzeitig eingereichten Lösungen und bietet präzise Leistungsmessungen. 3. League of Robot Runners Wettbewerb: Ein Wettbewerb, bei dem Teilnehmer ein Team von beweglichen Robotern koordinieren, um Aufgaben effizient zu erfüllen. Das System nutzt Cloud-Computing und ein informierteres Leaderboard, um die Komplexität des Wettbewerbs zu bewältigen. Das Papier diskutiert mehrere Herausforderungen, die während der Gestaltung und Implementierung des Systems überwunden werden mussten, wie die Verwaltung mehrerer Spuren, die Verwaltung von Rechenbeschränkungen, die Bewertung von Lösungen basierend auf mehreren Kriterien und das Verhindern von Betrug. Lösungen zu diesen Herausforderungen werden vorgestellt, und die potenzielle Anwendbarkeit des Systems auf andere Wettbewerbe wird diskutiert. Zukünftige Arbeiten umfassen die Modularisierung und Generalisierung der Implementierung des Systems, um sie leichter zu warten und zu erweitern. Das System wird als Gemeinschaftsressource open-sourced, um Forschern in verwandten Bereichen zu helfen, Wettbewerbe durchzuführen.