条件共通情報 - 百科事典

確率理論、特に情報理論において、条件共通情報は最も基本的な形では、3つの乱数変数X、Y、Zの値が与えられたときのXとYの共通情報の期待値です。

定義
乱数変数X、Y、Zが、サポート集合X、Y、Zで定義されるとき、条件共通情報は次のように定義されます。

I(X;Y|Z) = ∫_Z DKL(P(X,Y|Z) || P(X|Z) ⊗ P(Y|Z)) dP(Z)

これは期待値の表現でも書ける：

I(X;Y|Z) = E_Z [DKL(P(X,Y|Z) || P(X|Z) ⊗ P(Y|Z))]

これにより、I(X;Y|Z)は条件共通分布P(X,Y|Z)から条件边缘分布P(X|Z)とP(Y|Z)の積へのKullback-Leibler散度の期待値です。

異なる分布に対する表現
統計分布に対する表現
漸近分布に対する表現

極端値
条件共通情報は非負であり、特に、連続分布に対して一定の正則性条件のもとで非負です。

作用情報
第3つの乱数変数に対する条件付けは、共通情報を増加または減少させることができます：すなわち、作用情報、すなわち

I(X;Y) - I(X;Y|Z)

は正、負、または0で olabilir。これは、乱数変数が対的に独立している場合でも同じです。

共通情報の連鎖則
連鎖則（上で導出されたもの）は、次の2つの方法で I(X;Y,Z) を分解することができます：

I(X;Y,Z) = I(X;Z) + I(X;Y|Z)
I(X;Y,Z) = I(X;Y) + I(X;Z|Y)

データ処理不等式は条件共通情報と密接に関連しており、連鎖則を使用して証明できます。

作用情報
条件共通情報は、次のように作用情報を還元的に定義するために使用されます：

I(X_1; ...; X_{n+1}) = I(X_1; ...; X_n) - I(X_1; ...; X_n | X_{n+1})

ここで

I(X_1; ...; X_n | X_{n+1}) = E_{X_{n+1}} [DKL(P(X_1; ...; X_n | X_{n+1}) || P(X_1 | X_{n+1}) ⊗ ... ⊗ P(X_n | X_{n+1}))]

条件共通情報が無条件の対応変数よりも大きくなるか小さくなるかのために、作用情報は正、負、または0で olabilir そして、それを解釈するのが難しいことがあります。

参考文献