Resumen - Simulación de movimiento humano de alta fidelidad impulsada por IA generativa

Simulación de movimiento humano de alta fidelidad impulsada por IA generativa

2025-07-18 17:24:50

{"Hari Iyer","Neel Macwan","Atharva Jitendra Hude","Heejin Jeong","Shenghan Guo"}

{cs.AI,cs.CV}

Este documento presenta G-AI-HMS, un nuevo framework para la simulación de movimiento humano de alta fidelidad utilizando inteligencia artificial generativa. El framework aborda las limitaciones de los modelos de texto-a-movimiento existentes al integrar Modelos de Lenguaje Grandes (LLM) como ChatGPT para la preprocesamiento y estandarización de indicaciones de tareas, y MotionGPT para generar secuencias de movimiento humano realistas. Los componentes clave de G-AI-HMS son: * **Generación de guía basada en LLM**: ChatGPT se utiliza para transformar descripciones de tareas en forma libre en indicaciones de guía estructuradas utilizando palabras clave del conjunto de datos HumanML3D, asegurando que el lenguaje de entrada se alinee con la distribución de entrenamiento del modelo. * **Síntesis de movimiento utilizando MotionGPT**: Las indicaciones refinadas se utilizan para generar las correspondientes simulaciones de movimiento 3D utilizando MotionGPT, que convierte indicaciones de lenguaje natural en secuencias de movimiento utilizando un tokenizador VQ-VAE y un modelo de lenguaje basado en T5. * **Marco de evaluación**: Las secuencias de movimiento generadas se comparan con datos humanos de referencia utilizando MediaPipe para la estimación de postura y métricas como MPJPE, PA-MPJPE y DTW para evaluar la precisión espacial, alineación y consistencia temporal. El estudio demuestra la efectividad de G-AI-HMS en ocho tareas físicas diversas, mostrando que las indicaciones mejoradas por IA pueden generar salidas de movimiento con una precisión comparable o mejor que las descripciones escritas por humanos, especialmente en tareas que involucran patrones motores grossos y acciones repetitivas. Sin embargo, las indicaciones humanas mostraron ventajas en la articulación fina de las articulaciones distales y las transiciones complejas. El estudio resalta las siguientes contribuciones: * Identificar las limitaciones en la diversidad de indicaciones y la generalización fuera de distribución en los modelos T2M existentes y abordarlas mediante guía mejorada por IA. * Integrar la generación de guía basada en LLM y la síntesis de movimiento basada en T2M para mejorar la calidad del movimiento. * Introducir un marco de evaluación conjunta para comparar secuencias de movimiento mejoradas por IA con datos humanos de referencia utilizando métricas estandarizadas. * Demostrar la adaptabilidad del framework propuesto G-AI-HMS a múltiples dominios de tareas. * Subrayar la importancia de alinear el vocabulario de la indicación con la distribución de entrenamiento del modelo de movimiento y probar que las indicaciones mejoradas por IA superan a las escritas por humanos en la mayoría de los escenarios. El trabajo futuro incluye explorar estrategias de ajuste fino multimodal, integrar indicaciones mejoradas por IA con la edición con humanos en el ciclo, y expandir la diversidad de tareas para mejorar la generalización y la aplicabilidad en entornos de entrenamiento, simulación e interacción.