概要 - DEFNet: ブラインド画像品質評価のためのマルチタスクに基づく深層推論融合ネットワーク

DEFNet: ブラインド画像品質評価のためのマルチタスクに基づく深層推論融合ネットワーク

2025-07-25 16:36:45

{"Yiwei Lou","Yuanpeng He","Rongchao Zhang","Yongzhi Cao","Hanpin Wang","Yu Huang"}

{cs.CV,eess.IV}

この論文では、BIQA（ブラインド画像品質評価）のための新しい深い学習アプローチであるDEFNetを紹介します。DEFNetは、多任務ベースのフレームワークと強力な不確実性評価メカニズムを取り入れることによって、既存のBIQA手法の限界を克服します。 ### 多任務学習フレームワーク DEFNetは、以下の3つの主要なタスクを統合した多任務学習フレームワークを利用します： 1. **ブラインド画像品質評価（BIQA）**：これは主たるタスクで、画像の知覚品質を事実上のラベルなしで評価することを目指しています。 2. **シーン分類**：この補助タスクは、モデルが画像の文脈と内容を理解し、品質評価に役立つ情報を提供する助けになります。 3. **歪みタイプ分類**：この補助タスクは、画像歪みの特定のタイプを識別し、品質評価に影響を与える可能性があります。 ### 深い証拠融合ネットワーク（DEFNet） DEFNetは、異なるタスクと画像の異なるサブ領域からの情報を組み合わせる新しい情報融合戦略を利用する深い神経ネットワークアーキテクチャです。DEFNetの鍵となる構成要素は以下の通りです： 1. **ローカルおよびグローバル確率スコア**：DEFNetはCLIPを用いて特徴埋め込みを抽出し、各画像に対してローカルおよびグローバル確率スコアを計算します。 2. **多任務最適化**：DEFNetはBIQA、シーン分類、および歪みタイプ分類などの各タスクの損失関数を同時に最適化します。 3. **クロスサブレギオン情報融合**：DEFNetは異なるサブレギオンからの情報を融合し、多様な特徴とパターンを捉えます。 4. **ローカル-グローバル情報融合**：DEFNetはローカルおよびグローバルの文脈からの情報を融合し、画像品質の包括的な理解を提供します。 5. **強力な不確実性評価**：DEFNetは証拠理論と正規-逆ガンマ分布混合を用いて不確実性を評価し、モデルの堅牢性を向上させます。 ### 実験結果 合成および本物の歪みデータセット上の実験では、DEFNetの有効性が示されました。DEFNetは、スピアマンの順位相関係数（SRCC）やピアソンの線形相関係数（PLCC）などのさまざまな指標において、現在の最先端の性能を達成しました。また、DEFNetは強い汎化能力と、以前に見たことのないシチュエーションへの適応能力を示しました。 ### 結論 DEFNetは、ブラインド画像品質評価のための革新的で効果的なアプローチです。多任務ベースのフレームワークと強力な不確実性評価メカニズムを取り入れることで、DEFNetはBIQAの性能と堅牢性を大幅に向上させました。この研究は、さまざまなアプリケーション向けのより正確かつ効率的な画像品質評価手法の開発に寄与します。