レニーエントロピー - 百科事典

情報理論におけるRényiエントロピーは、ハートリーエントロピー、シャノンエントロピー、衝突エントロピー、最小エントロピーなどを一般化した量です。Rényiエントロピーは、独立した事象に対する加法性を維持しつつ情報を測定する最も一般的な方法を探求したアルフレッド・レニーに因んで名付けられました。分形次元推定の文脈では、Rényiエントロピーは拡張次元の概念の基礎を形成します。

Rényiエントロピーは、生物多様性の指標として生態学や統計学で重要です。量子情報においても重要であり、エンタングルメントの測定として使用できます。ハイゼンベルクXYスピン鎖モデルでは、Rényiエントロピーはモジュラー群の特定の部分群に関する自同型関数であるため、α関数として明確に計算できます。理論情報科学では、最小エントロピーがランダムエクストラクタの文脈で使用されます。

定義
順序
α
（
0
< α < ∞
,
α
≠ 1
）
を持つRényiエントロピー
H
α
（
X
）
は次のように定義されます。

H
α
（
X
）
=
1
1−α
log
（
∑
i=1
n
p
i
α
）
.

α
=
0
、
1
、
∞
のとき、以下のように定義されます。

H
α
（
X
）
=
lim
γ
→α
H
γ
（
X
）.

ここで、
X
は次の集合
A
=
{
x
1
,
x
2
,
…,
x
n
}
に属する可能な結果を持つ离散的なランダム変数であり、
p
i
は
i
=
1
、
…、
n
に対して
Pr
（
X
=
x
i
）
と定義されます。

情報の単位は対数の底によって決定されます。例えば、シャノンエントロピーの場合は底が2、ナットの場合は底がeです。

すべての
p
i
=
1
/
n
の場合、分布のすべてのRényiエントロピーは等しくなります。

H
α
（
X
）
=
log
n
.

一般に、すべての离散的なランダム変数
X
に対して、
H
α
（
X
）
は
α
に対して非増加関数です。

Rényiエントロピーと確率ベクトルのα-ノルムの間の以下の関係を利用することがよくあります。

H
α
（
X
）
=
α
1−α
log
（
‖
P
‖
α
）
.

ここで、离散的な確率分布
P
=
（
p
1
,
…,
p
n
）
は
R
n
において次の条件を満たすベクトルとして解釈されます。

p
i
≥
0
,
および
∑
i=1
n
p
i
=
1
.

Rényiエントロピーはすべての
α
≥
0
に対してシュール凸関数です。シュール–オストロ夫斯基基準によって証明されます。

特別な場合
α
に近づくと、Rényiエントロピーは非零確率を持つすべての事象を等しく重視し始めます。α
→
0
の极限では、Rényiエントロピーは
X
のサポートの大きさの対数です。α
→
1
の极限では、シャノンエントロピーになります。α
に近づくと、Rényiエントロピーは最も高い確率の事象にますます決定されます。

= ハートリーまたは最大エントロピー =

H
0
（
X
）
は、次のように定義されます。

H
0
（
X
）
=
log
n
.

ここで、
n
は非零確率の数です。すべての確率が非零の場合、これは
X
のアルファベット集合
A
の基数の対数であり、時には
X
のハートリー