概要 - 生成AI駆動の高精度人間動作シミュレーション

生成AI駆動の高精度人間動作シミュレーション

2025-07-18 17:24:50

{"Hari Iyer","Neel Macwan","Atharva Jitendra Hude","Heejin Jeong","Shenghan Guo"}

{cs.AI,cs.CV}

この論文では、生成型AIを使用した高精度な人間動作シミュレーションの新しいフレームワークであるG-AI-HMSを提案します。このフレームワークは、大規模言語モデル（LLM）のChatGPTを前処理およびタスクプロンプトの標準化に統合し、MotionGPTを使用してリアルな人間の動作シーケンスを生成することで、既存のテキストから動作モデルの限界に対応します。 G-AI-HMSの主要な構成要素は以下の通りです： * **LLMベースのガイド生成**：ChatGPTを使用して、HumanML3Dデータセットのキーワードを使用してフリー形式のタスク記述を構造化されたガイドプロンプトに変換し、モデルのトレーニング分布に一致する入力言語を確保します。 * **MotionGPTを使用した動作合成**：精査されたプロンプトを使用して、MotionGPTを使用して対応する3D動作シミュレーションを生成します。MotionGPTは、VQ-VAEトークナイザーとT5ベースの言語モデルを使用して、自然言語プロンプトを動作シーケンスに変換します。 * **評価フレームワーク**：生成された動作シーケンスは、MediaPipeを使用してポーズ推定およびMPJPE、PA-MPJPE、DTWなどのメトリクスを使用して、空間精度、一致性和時系列の一貫性を評価するために、参照人間データと比較されます。 この研究は、G-AI-HMSの効果を8つの多様な物理タスクで示し、AI強化されたプロンプトが、特に大運動パターンや繰り返し動作を含むタスクで、人間の記述と比較して同等またはより高い精度の動作出力を生成できることを示しました。しかし、人間のプロンプトは、遠位関節の詳細な関節や複雑な遷移の細分化において優位性を示しました。 以下の貢献が強調されています： * 既存のT2Mモデルにおけるプロンプトの多様性と分布外の一般化の限界の特定と、AI強化されたガイドを通じてこれらの問題に対処。 * LLMベースのガイド生成とT2Mベースの動作合成の統合により、動作品質を向上。 * 聯邦評価フレームワークの導入により、標準化されたメトリクスを使用してAI強化された動作シーケンスと人間の参照データを比較。 * 提案されたG-AI-HMSフレームワークの多様なタスク領域への適応性の示唆。 * プロンプトの単語群が動作モデルのトレーニング分布に一致する重要性の強調と、ほとんどのシナリオでAI強化されたプロンプトが人間の記述を上回ることを証明。 今後の研究は、多様な多モーダル微調整戦略の探索、人間のフィードバックを取り入れたAI強化されたプロンプトの統合、タスクの多様性の拡張を通じて、トレーニング、シミュレーションおよびインタラクティブ環境における一般化と適用性を向上させることを含みます。