率歪理論 - 百科事典

符号-歪み理論は、損失の少ないデータ圧縮の理論的基盤を提供する情報理論の主要な分野です。これは、符号ごとの最小ビット数を決定する問題に取り組んでいます。このビット数は、率Rとして測定され、符号が通信チャネルを通じて送信されるべきもので、送信元（入力信号）が受信元（出力信号）で約再構成可能であり、期待される歪みDを超えないようにします。

紹介

符号-歪み理論は、損失の少ない圧縮方法を使用してどれだけの圧縮が達成できるかを示す解析的表現を提供します。多くの既存のオーディオ、音声、画像、およびビデオ圧縮技術には、符号-歪み関数の一般的な形状を利用する変換、量子化、ビットレート割り当て手順があります。符号-歪み理論は、クレイ・シャノンが情報理論の基礎的研究で作成しました。

符号-歪み理論では、率は通常、保存または送信されるべきデータサンプルあたりのビット数として理解されます。歪みの概念は継続的に議論されています。最も単純な場合（実際にはほとんどのケースで使用されています）では、歪みは入力と出力信号の差の二乗の期待値（つまり、平均二乗誤差）として定義されます。しかし、多くの損失の少ない圧縮技術が人間の消費者（音楽を聴く、画像やビデオを見る）によって感知されるデータに対して動作していることを知っているので、歪みの測定は人間の感知と美学的なものに基づくべきです：損失の少ない圧縮の使用と同様に、歪みの測定はベイズ推定と決定理論で使用される損失関数と同一視できます。オーディオ圧縮では、感知モデル（そしてその結果、感知歪みの測定）は比較的よく発展しており、MP3やVorbisなどの圧縮技術で常用されていますが、率-歪み理論に組み込むことは難しいです。画像およびビデオ圧縮では、人間の感知モデルはあまり発展しておらず、JPEGおよびMPEGの重み付け（量子化、正規化）マトリックスに限定されています。

歪み関数

歪み関数は、符号を近似符号



x


{\displaystyle x}

で表現するコストを測定します。一般的な歪み関数には、ハミング歪みと二乗誤差歪みがあります。

=ハミング歪み=




d
(
x
,



x
^



)
=


{



0



if

x
=



x
^







1



if

x
≠



x
^










{\displaystyle d(x,{\hat {x}})={\begin{cases}0&{\text{if }}x={\hat {x}}\\1&{\text{if }}x\neq {\hat {x}}\end{cases}}}




=二乗誤差歪み=




d
(
x
,



x
^



)
=


(

x
−



x
^




)


2



{\displaystyle d(x,{\hat {x}})=\left(x-{\hat {x}}\right)^{2}}




率-歪み関数

率と歪みを関連付ける関数は、以下の最小化問題の解として見つかります：





inf


Q

Y
∣
X


(
y
∣
x
)



I

Q


(
Y
;
X
)

subject to


D

Q


≤

D

∗


.


{\displaystyle \inf _{Q_{Y\mid X}(y\mid x)}I_{Q}(Y;X){\text{ subject to }}D_{Q}\leq D^{*}.}


ここで




Q

Y
∣
X


(
y
∣
x
)


{\displaystyle Q_{Y\mid X}(y\mid x)}

、時折試験チャネルと呼ばれるのは、与えられた入力（オリジナル信号）



X


{\displaystyle X}

に対する通信チャネルの出力（圧縮信号）の条件付き確率密度関数（PDF）



Y


{\displaystyle Y}

、そして




I

Q


(
Y
;
X
)


{\displaystyle I_{Q}(Y;X)}

は、



Y


{\displaystyle Y}

と



X


{\displaystyle X}

との間の相互情報として定義されています。

以下は、その定義の詳細です：

[省略]