Resumen - Diseño del Sistema de Presentación y Evaluación en Línea para Operaciones de Competencias

Diseño del Sistema de Presentación y Evaluación en Línea para Operaciones de Competencias

2025-07-23 17:44:10

{"Zhe Chen","Daniel Harabor","Ryan Hechnenberger","Nathan R. Sturtevant"}

{cs.AI}

Este documento presenta un sistema de competencia en línea diseñado para automatizar el proceso de envío y evaluación de competencias algorítmicas. Estas competencias son cruciales para rastrear el progreso en diversas áreas de investigación, pero pueden ser operativamente onerosas debido a la necesidad de gestionar y evaluar múltiples presentaciones, manejar problemas de compatibilidad y proporcionar retroalimentación a los participantes. El sistema propuesto, llamado Sistema de Envío y Evaluación en Línea, permite a los participantes enviar sus soluciones en cualquier momento antes del plazo límite. Utiliza entornos aislados para evaluar las presentaciones, asegurando la compatibilidad y la seguridad. El sistema proporciona retroalimentación instantánea, permitiendo a los participantes iterar sus soluciones de manera eficiente. Las características clave del sistema incluyen: - Repositorios Git para la gestión y seguimiento del historial de presentaciones de código. - Una interfaz de aplicación web para la interacción del usuario, incluyendo registro, gestión de perfil, gestión de presentaciones, gestión de competencias y seguimiento de clasificaciones. - Una base de datos para almacenar perfiles de usuarios, detalles de presentaciones y datos de evaluación. - Un servidor de evaluación que monitorea nuevas presentaciones e inicia tareas de evaluación. - Unidades de computación que ejecutan contenedores Docker para ejecutar tareas de evaluación en entornos aislados. El sistema ha sido aplicado con éxito a tres aplicaciones diferentes: 1. Enseñanza para una Unidad de Planificación de IA: Un sistema de envío y evaluación de tareas en línea para un curso universitario que enseña algoritmos y técnicas para resolver problemas de planificación y razonamiento. 2. Competencia de Planificación de Caminos Basada en Grilla (GPPC2): Una competencia anual que evalúa el rendimiento de algoritmos de planificación en mapas basados en grilla. El sistema maneja grandes volúmenes de presentaciones simultáneas y proporciona mediciones precisas de rendimiento. 3. Liga de Corredores de Robots: Una competencia donde los participantes coordinan un equipo de robots móviles para completar tareas de manera eficiente. El sistema utiliza computación en la nube y una clasificación más informada para manejar la complejidad de la competencia. El documento discute varios desafíos enfrentados durante el diseño e implementación del sistema, como manejar múltiples rutas, gestionar limitaciones de cómputo, clasificar soluciones basadas en múltiples criterios y prevenir el fraude. Se presentan soluciones a estos desafíos y se discute la aplicabilidad potencial del sistema a otras competencias. Trabajo futuro incluye la modularización y generalización de la implementación del sistema, haciendo que sea más fácil de mantener y agregar características. El sistema será de código abierto como recurso comunitario para ayudar a los investigadores en campos relacionados a organizar competencias.