Información mutua condicional - Enciclopedia

En la teoría de la probabilidad, especialmente en la teoría de la información, la información mutua condicional, en su forma más básica, es el valor esperado de la información mutua de dos variables aleatorias dada el valor de una tercera.

Definición
Para variables aleatorias


X


{\displaystyle X}

,

Y


{\displaystyle Y}

, y

Z


{\displaystyle Z}

con conjuntos de soporte

X


{\displaystyle {\mathcal {X}}}

,

Y


{\displaystyle {\mathcal {Y}}}

y

Z


{\displaystyle {\mathcal {Z}}}

, definimos la información mutua condicional como



I
(
X
;
Y

|

Z
)
=

∫

Z




D

K
L



(

P

(
X
,
Y
)

|

Z


‖

P

X

|

Z


⊗

P

Y

|

Z


)
d
P

Z




{\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})dP_{Z}}

.
Esto puede escribirse en términos del operador de esperanza:



I
(
X
;
Y

|

Z
)
=

E

Z


[

D

K
L



(

P

(
X
,
Y
)

|

Z


‖

P

X

|

Z


⊗

P

Y

|

Z


)
]


{\displaystyle I(X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]}

.
Por lo tanto,

I
(
X
;
Y

|

Z
)


{\displaystyle I(X;Y|Z)}

es la divergencia Kullback-Leibler esperada (con respecto a

Z


{\displaystyle Z}

) desde la distribución conjunta condicional

P
(
X
,
Y
)
|

Z
)


{\displaystyle P_{(X,Y)|Z}}

hasta el producto de las marginales condicionales

P
(
X
|

Z
)


{\displaystyle P_{X|Z}}

y

P
(
Y
|

Z
)


{\displaystyle P_{Y|Z}}

. Compare con la definición de información mutua.


En términos de PMFs para distribuciones discretas
Para variables aleatorias discretas

X


{\displaystyle X}

,

Y


{\displaystyle Y}

, y

Z


{\displaystyle Z}

con conjuntos de soporte

X


{\displaystyle {\mathcal {X}}}

,

Y


{\displaystyle {\mathcal {Y}}}

y

Z


{\displaystyle {\mathcal {Z}}}

, la información mutua condicional

I
(
X
;
Y

|

Z
)


{\displaystyle I(X;Y|Z)}

es la siguiente



I
(
X
;
Y

|

Z
)
=

∑

z
∈

Z


p

Z


(
z
)

∑

y
∈

Y


∑

x
∈

X


p

X
,
Y