概要 - コンペレーション運営のためのオンライン提出および評価システムの設計

コンペレーション運営のためのオンライン提出および評価システムの設計

2025-07-23 17:44:10

{"Zhe Chen","Daniel Harabor","Ryan Hechnenberger","Nathan R. Sturtevant"}

{cs.AI}

この論文では、アルゴリズム競技の提出および評価プロセスを自動化するためのオンライン競技システムを提案しています。これらの競技は、さまざまな研究分野の進捗を追跡するために不可欠ですが、多数の提出物を管理および評価する必要、互換性の問題を処理する必要、参加者へのフィードバックを提供する必要があるため、運用上の負担が大きくなることがあります。 提案されたシステムは「オンライン提出および評価システム」と呼ばれ、期限までにいつでもソリューションを提出できるようにしています。提出物を評価するために隔離された環境を使用し、互換性とセキュリティを確保しています。システムは即時フィードバックを提供し、参加者が効率的にソリューションを繰り返し改善できるようにしています。 システムの主要な機能には以下が含まれます： - コード管理および提出履歴の追跡のためのGitリポジトリ。 - ユーザーとのインタラクションのためのウェブアプリケーションインターフェース、包括して登録、プロファイル管理、提出管理、競技管理、およびリーダーボードの追跡。 - ユーザープロファイル、提出詳細、および評価データを保存するためのデータベース。 - 新しい提出物を監視し、評価ジョブを開始する評価サーバー。 - 隔離された環境で評価ジョブを実行するためにDockerコンテナを実行する計算ユニット。 このシステムは以下の3つの異なるアプリケーションに成功裏に適用されています： 1. AI計画ユニットの教育：計画および推論問題の解決のためのアルゴリズムと技術を教える大学コースのためのオンライン課題提出および評価システム。 2. グリッドベースパスプランニング競技（GPPC2）：年次競技で、グリッドベースマップ上でのパスプランニングアルゴリズムの性能を評価します。システムは多数の同時提出を処理し、正確な性能測定を行います。 3. ロボットランナー連盟競技：参加者が移動するロボットのチームを効率的に調整してタスクを完了させる競技です。システムはクラウドコンピューティングとより情報に基づいたリーダーボードを使用して、競技の複雑さを処理します。 論文では、システムの設計および実装中に直面したいくつかの課題について議論しています。これには、複数のトラックの管理、計算制約の管理、複数の基準に基づくソリューションのランク付け、不正防止などがあります。これらの課題に対する解決策が提案され、システムの他の競技への適用可能性が議論されています。 将来の作業には、システムの実装をモジュール化および一般化し、メンテナンスと機能の追加を容易にする取り組みが含まれます。システムは、関連する分野の研究者が競技をホストするためのコミュニティリソースとしてオープンソース化されます。