概要 - セキュリティテンソルとしてのクロスモーダルブリッジ：LVLMにおけるテキストアライドセキュリティを視覚に拡張

セキュリティテンソルとしてのクロスモーダルブリッジ：LVLMにおけるテキストアライドセキュリティを視覚に拡張

2025-07-28 16:59:53

{"Shen Li","Liuyi Yao","Wujia Niu","Lan Zhang","Yaliang Li"}

{cs.CV,cs.AI}

シェン・リ等による論文「Security Tensors as a Cross-Modal Bridge: Extending Text-Aligned Safety to Vision in LVLM」は、セキュリティテンソルを導入することで、大規模視覚言語モデル（LVLM）のセキュリティギャップを解決しています。これらのテンソルはテキストと視覚のモダリティの間の橋渡しとして機能し、モデルのパラメータを変更することなく、テキストに基づくセキュリティメカニズムを視覚入力に拡張することを可能にします。 **問題**：視覚モジュールを統合した大規模言語モデル（LLM）であるLVLMは、テキストから視覚へのセキュリティメカニズムの自然な拡張が不足しているため、有害な画像入力に脆弱です。この脆弱性により、悪意のある画像がセキュリティ制約を回避し、モデルの出力を操作することができます。 **解決策**：論文は、推論中にテキストまたは視覚モダリティを通じて適用されるトレーニング可能な入力ベクトルであるセキュリティテンソルを提案しています。これらのテンソルは、モデルのパラメータを変更することなく、テキストのセキュリティアライメントを視覚処理に転移します。 **ポイント**： * **セキュリティテンソル**：これらのテンソルは、以下を含むカスタマイズされたデータセットを使用して最適化されています： * **悪意のある画像-テキストペア**：これらの例は、モデルに有害な視覚パターンを言語モジュールの事前トレーニングされたセキュリティメカニズムに関連付けることを訓練します。 * **対比する無害なペア**：これらの例は、悪意のあるクエリに似た構造を持つテキストを使用して、視覚依存を指導し、テキストパターンへのオーバーフィッティングを防ぐために対比例として機能します。 * **一般的な無害サンプル**：これらの例は、モデルが無害なタスクにおけるパフォーマンスを維持することを確保し、過度な制限を防ぎます。 * **トレーニング**：セキュリティテンソルはデータセット上で独立してトレーニングされ、LVLMの多様な入力分布に特化したモダリティ固有のパラメタの生成を可能にします。 * **評価**：実験では、テキストと視覚のセキュリティテンソルが、無害なタスクにおける性能をほぼ同じに維持しつつ、多様な有害な視覚入力を拒否するLVLMの能力を顕著に向上させることを示しています。 * **内部分析**：さらなる分析では、セキュリティテンソルが視覚入力で言語モジュールのテキストの「セキュリティレイヤー」を効果的に活性化し、テキストに基づくセキュリティを視覚モダリティに拡張することを示しています。 **利点**： * **安全性向上**：セキュリティテンソルは、有害な視覚入力を拒否するLVLMの能力を向上させ、悪意のある攻撃に対する耐性を高めます。 * **多様モダリティのアライメント**：セキュリティテンソルは、テキストと視覚のセキュリティの間のギャップを埋め、LVLMが事前トレーニングされたテキストに基づくセキュリティメカニズムを視覚入力に利用できるようにします。 * **パラメータフリー**：セキュリティテンソルはモデルのパラメータを変更することなく実装および展開が可能です。 **結論**： セキュリティテンソルは、LVLMの安全性を向上させる実用的かつ効果的な解決策を提供します。テキストと視覚のモダリティの間の橋渡しとして機能することで、セキュリティテンソルはLVLMがテキストに基づくセキュリティメカニズムを視覚入力に拡張し、悪意のある攻撃に対する耐性を高め、現実のアプリケーションにおける信頼性を確保します。