ハートリー関数 - 百科事典
ハートリー関数は、1928年にラルフ・ハートリーによって提案された不確実性の測度です。有限集合Aからランダムにサンプルを取ると、結果が知られる後の情報はハートリー関数で与えられます。
H
0
(
A
)
:=
l
o
g
b
|
A
|
,
{\displaystyle H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,}
ここで、|A|はAの基数を意味します。
対数の基数が2の場合、不確実性の単位はシャノン（ビットとしてもよく知られています）です。自然対数の場合、単位はナットです。ハートリーは10の対数を使用し、この基数で情報の単位はハートリー（バンやディットと呼ばれることもあります）と呼ばれます。ハートリー記念とも言われています。
ハートリー関数、シャノンエントロピー、レーニエントロピー
ハートリー関数は、一貫した確率分布の場合、シャノンエントロピー（およびすべてのオーダーのレーニエントロピー）と一致します。これはレーニエントロピーの特別な場合であり、次のように示されます：
H
0
(
X
)
=
1
1
−
0
log
∑
i
=
1
|
X
|
p
i
0
=
log
|
X
|
.
{\displaystyle H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|{\mathcal {X}}|}p_{i}^{0}=\log |{\mathcal {X}}|.}
しかし、コルモゴロフやレーニイによって強調されたように、ハートリー関数は確率の概念を導入せずに定義できるため、原始的な構造としても視ることができます（George J. Klirの「不確実性と情報」、p. 423を参照）。
ハートリー関数の特徴
ハートリー関数は集合の要素数に依存するため、自然数上の関数として視ることができます。レーニイは、2の基数のハートリー関数が自然数を実数にマッピングする唯一の関数であり、次の条件を満たすことを示しました。
H
(
m
n
)
=
H
(
m
)
+
H
(
n
)
{\displaystyle H(mn)=H(m)+H(n)}
（加法性）
H
(
m
)
≤
H
(
m
+
1
)
{\displaystyle H(m)\leq H(m+1)}
（単調性）
H
(
2
)
=
1
{\displaystyle H(2)=1}
（正規化）
条件1は、2つの有限集合AとBの直積の不確実性がAとBの不確実性の和であることを示します。条件2は、大きな集合が大きな不確実性を持つことを示します。
ハートリー関数の導出
ハートリー関数、log2(n)が自然数を実数にマッピングする唯一の関数であり、次の条件を満たすことを示したいと思います。
H
(
m
n
)
=
H
(
m
)
+
H
(
n
)
{\displaystyle H(mn)=H(m)+H(n)\,}
（加法性）
H
(
m
)
≤
H
(
m
+
1
)
{\displaystyle H(m)\leq H(m+1)\,}
（単調性）
H
(
2
)
=
1
{\displaystyle H(2)=1\,}
（正規化）
正の整数上の関数fが上記の3つの性質を満たすと仮定します。加法性の性質から、次のように示すことができます。
f
(
n
k
)
=
k
f
(
n
)
.
{\displaystyle f(n^{k})=kf(n).\,}
a、b、tが任意の正の整数です。式(1)によって決定されるユニークな整数sがあります。
a
s
≤
b
t
≤
a
s
+
1
.
(
1
)
{\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.\qquad (1)}
したがって、以下のようになります。
s
log
2
a
≤
t
log
2
b
≤
(
s
+
1
)
log
2
a
{\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}
そして、
s
t
≤
log
2
b
log
2
a
≤
s
+
1
t
.
{\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}
一方、単調性により、以下のようになります。
f
(
a
s
)
≤
f
(
b
t
)
≤
f
(
a
s
+
1
)
.
{\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}
式(1)を使用して、以下を得ます。
s
f
(
a
)
≤
t
f
(
b
)
≤
(
s
+
1
)
f
(
a
)
,
{\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}
そして、
s
t
≤
f
(
b
)
f
(
a
)
≤
s
+
1
t
.
{\displaystyle {\frac {s}{t}}\leq {\frac {f(b)}{f(a)}}\leq {\frac {s+1}{t}}.}
したがって、
|
f
(
b
)
f
(
a
)
−
log
2
(
b
)
log
2
(
a
)
|
≤
1
t
.
{\displaystyle \left\vert {\frac {f(b)}{f(a)}}-{\frac {\log _{2}(b)}{\log _{2}(a)}}\right\vert \leq {\frac {1}{t}}.}
tは任意に大きくなることができますので、上記の不等式の左側の差はゼロである必要があります。
f
(
b
)
f
(
a
)
=
log
2
(
b
)
log
2
(
a
)
.
{\displaystyle {\frac {f(b)}{f(a)}}={\frac {\log _{2}(b)}{\log _{2}(a)}}.}
したがって、
f
(
a
)
=
μ
log
2
(
a
)
{\displaystyle f(a)=\mu \log _{2}(a)\,}
ある定数μに対して、正規化の性質により、μは1に等しくなければなりません。
参考文献も参照
レーニイエントロピー
ミンエントロピー