概要 - 正交制約付きモジュラーダイアナ合并：連続的および可逆モデル構成のための拡張可能なフレームワーク

正交制約付きモジュラーダイアナ合并：連続的および可逆モデル構成のための拡張可能なフレームワーク

2025-07-28 17:08:49

{"Haris Khan","Shumaila Asif","Sadia Asif"}

{cs.LG,cs.AI}

この研究は、連続的な学習におけるスケーラブルで干渉のないモデル構成のための新しいフレームワークである、正規制約付きモジュラーデルタマージング（MDM-OC）を紹介します。このフレームワークは、タスク干渉、災害的な忘却、逆転換の難しさなどの既存の方法の限界に対応しています。以下に主要なポイントを説明します： **フレームワークの概要**： * **デルタ表現**：各タスク固有のモデルは、最小のパラメータ変更を表す共有ベースモデルからのデルタとしてエンコードされます。これにより、コンパクトなエンコーディングと明確な知識の分離が可能です。 * **正規投影**：デルタは正規空間に投影され、干渉を排除し、マージ中にタスクの独立性を確保します。 * **勾配ベースの最適化**：マージは、勾配ベースの最適化を使用して投影されたデルタを組み合わせることで達成され、タスク間で性能を維持する統一モデルを確保します。 * **安定性メカニズム**：フレームワークは、長期的なモデル性能を維持するために、エラストックウェイトコンソリデーション（EWC）と合成リプレイを取り入れています。 **主要な貢献**： * **干渉のないマージ**：正規投影により、タスク固有の知識の更新がお互いに干渉しないことを確保し、干渉の減少のための数学的保証された解決策を提供します。 * **逆転換可能な構成**：フレームワークは、個々のモデルの貢献を効率的にアンマージし、GDPRなどの規制に従い、動的なモデル管理を促進します。 * **スケーラビリティ**：フレームワークは、リプレイバッファーが必要なく、スケーラブルな連続的な学習をサポートし、大規模なデプロイメントに適しています。 * **実験的検証**：視覚と自然言語処理のベンチマークでの広範な実験は、MDM-OCが最も優れたベースラインに対して効果的であることを示しています。 **応用**： * **連邦学習**：MDM-OCは、中央集権的なデータアクセスなしでプライバシープレスervingモデルの構成を可能にし、組織間の協力学習を促進します。 * **モジュールAIシステム**：フレームワークは、変更する要求に適応し、新しいモデルを簡単に統合できるモジュールAIシステムの作成を可能にします。 * **規制遵守**：モデルの貢献を選択的に削除する能力は、GDPRや他のプライバシー規制に従うことをサポートします。 **既存の方法との比較**： * **タスク算術**：MDM-OCは数学的に根拠のある干渉のないマージフレームワークを提供しますが、タスク算術は干渉の防止保証がありません。 * **TIES-Merging**：MDM-OCは正規投影を通じて幾何的な独立性を確保しますが、TIES-Mergingはシグン干渉のみを解決します。 * **アライドモデルマージ**：MDM-OCはアライドなしのアプローチを提供し、数学的な独立性保証がありますが、アライドモデルマージは高コストのアライメントプロセスが必要であり、一般化しない可能性があります。 **より広範な影響と倫理的考慮**： * **アルゴリズムの責任性**：MDM-OCの逆転換可能なマージ機能は、責任あるAI開発を支援し、アルゴリズムの責任性とユーザーの個人データの影響に関するユーザーのコントロールを可能にします。 * **モデルのセキュリティ**：フレームワークは、協力システムにおけるモデルのセキュリティと知的財産保護に関する懸念を引き起こします。 * **効率と責任のバランス**：フレームワークは効率を向上させますが、責任あるデプロイメントの考慮と適切な保護を必要とします。 **将来の方向性**： * **クロスアーキテクチャマージ**：MDM-OCと異なるアーキテクチャ（トランスフォーマーやCNNなど）の統合を研究し、クロスアーキテクチャマージを可能にします。 * **適応的な正規制約**：独立性と有益な知識共有のバランスを取る適応的な正規制約を探求します。 * **理論的解析**：MDM-OCの収束性と一般化範囲に関するさらなる理論的解析を実施します。 * **連邦学習、エッジコンピューティング、プライバシープレスerving機械学習との統合**：フレームワークの応用を異なる領域とシナリオに拡張します。