バイナリエントロピー関数
2つの確率値のみを持つプロセスのエントロピー
バイナリ結果確率の関数としてのベルヌーイ試行のエントロピー(シャノン単位)。バイナリ エントロピー関数と呼ばれます。

情報理論では、バイナリ エントロピー関数(または と表記) は、2 つの値のいずれかの確率を持つベルヌーイ過程( iidバイナリ変数)のエントロピーとして定義され、次の式で表されます。 H ⁡ ( p ) {\displaystyle \operatorname {H} (p)} H b ⁡ ( p ) {\displaystyle \operatorname {H} _{\text{b}}(p)} X {\displaystyle X} p {\displaystyle p}

H ⁡ ( X ) = − p log ⁡ p − ( 1 − p ) log ⁡ ( 1 − p ) . {\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p).}

対数の底は、情報単位の選択に対応します。底e (自然対数) はNATSに対応し、数学的に便利ですが、底 2 (二進対数) はSHANFONSに対応し、慣習的です (グラフに示すように)。具体的には、次のようになります。

H ⁡ ( X ) = − p log 2 ⁡ p − ( 1 − p ) log 2 ⁡ ( 1 − p ) . {\displaystyle \operatorname {H} (X)=-p\log _{2}p-(1-p)\log _{2}(1-p).}

0 と 1 の値は限界によって与えられます(ロピタルの法則による)。また、「バイナリ」は情報の単位ではなく、変数の 2 つの可能な値を指すことに注意してください。 0 log ⁡ 0 := lim x → 0 + x log ⁡ x = 0 {\displaystyle \textstyle 0\log 0:=\lim _{x\to 0^{+}}x\log x=0}

のとき、バイナリエントロピー関数は最大値の1シャノン（1バイナリ情報単位）に達します。これは、偏りのないコイン投げの場合です。またはのとき、バイナリエントロピーは（単位に関わらず）0となり、変数に不確実性が存在しないため、情報がない状態になります。 p = 1 / 2 {\displaystyle p=1/2} p = 0 {\displaystyle p=0} p = 1 {\displaystyle p=1}

表記

二元エントロピーはの特殊なケースであり、エントロピー関数 はである。これは、前者が単一の実数をパラメータとして取るのに対し、後者は分布または確率変数をパラメータとして取るという点で、一般的なエントロピー関数とは区別される。したがって、（ pの）二元エントロピーは特定の分布 のエントロピーであるため、 となる。 H b ⁡ ( p ) {\displaystyle \operatorname {H} _{\mathrm {b} }(p)} H ( X ) {\displaystyle \mathrm {H} (X)} H b ⁡ ( p ) {\displaystyle \operatorname {H} _{\mathrm {b} }(p)} H ( X ) {\displaystyle \mathrm {H} (X)} X ∼ Ber ⁡ ( p ) {\displaystyle X\sim \operatorname {Ber} (p)} H b ⁡ ( p ) = H ( Ber ⁡ ( p ) ) {\displaystyle \operatorname {H} _{\mathrm {b} }(p)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}}

2つの値がそれぞれpとqである確率を書き表すと、これは次の式に対応する 。 p + q = 1 {\displaystyle p+q=1} q = 1 − p {\displaystyle q=1-p}

H ⁡ ( X ) = − p log ⁡ p − ( 1 − p ) log ⁡ ( 1 − p ) = − p log ⁡ p − q log ⁡ q = − ∑ x ∈ X Pr ⁡ ( X = x ) ⋅ log ⁡ Pr ⁡ ( X = x ) = H ( Ber ⁡ ( p ) ) . {\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p)=-p\log p-q\log q=-\sum _{x\in X}\operatorname {Pr} (X=x)\cdot \log \operatorname {Pr} (X=x)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}.}

二元エントロピー関数は と表記されることもあります。しかし、これはとも表記されるレーニイエントロピーとは異なり、混同しないように注意してください。 H 2 ⁡ ( p ) {\displaystyle \operatorname {H} _{2}(p)} H 2 ( X ) {\displaystyle \mathrm {H} _{2}(X)}

説明

情報理論では、エントロピーはメッセージ内の不確実性の尺度であると考えられています。直感的に言うと、 と仮定します。この確率では、イベントは決して発生しないことが確実であるため、不確実性はまったくなく、エントロピーは 0 になります。 の場合、結果は再び確実であるため、ここでもエントロピーは 0 です。 のとき、不確実性は最大になります。この場合の結果に公平に賭けるとすれば、確率を事前に知っていても有利になることはありません。この場合、エントロピーは 1 ビットの値で最大になります。中間の値はこれらのケースの間にあります。たとえば の場合、結果に関する不確実性の尺度は依然として存在しますが、それでも結果を正しく予測できる頻度は高いため、不確実性の尺度、つまりエントロピーは 1 ビット未満になります。 p = 0 {\displaystyle p=0} p = 1 {\displaystyle p=1} p = 1 / 2 {\displaystyle p=1/2} p = 1 / 4 {\displaystyle p=1/4}

プロパティ

デリバティブ

バイナリエントロピー関数の導関数は、ロジット関数の負として表すことができます。

d d p H b ⁡ ( p ) = − logit a ⁡ ( p ) = − log a ⁡ ( p 1 − p ) {\displaystyle {d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{a}(p)=-\log _{a}\left({\frac {p}{1-p}}\right)} 。
d 2 d p 2 H b ⁡ ( p ) = − 1 p ( 1 − p ) ln ⁡ a , {\displaystyle {d^{2} \over dp^{2}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln a}}\,,}

ここで、a は対数の底を表します。

凸共役

二元エントロピー（底e ）の凸共役（具体的には、ルジャンドル変換）は、負のソフトプラス関数です。これは、ルジャンドル変換の定義（導関数は逆関数）に従い、負の二元エントロピーの導関数がロジットであり、その逆関数がロジット関数であり、これがソフトプラスの導関数であるためです。

ソフトプラスはロジスティック損失として解釈できるため、双対性により、ロジスティック損失の最小化はエントロピーの最大化に対応する。これは、損失最小化としての エントロピー最大化原理を正当化する。

テイラー級数

1/2における2元エントロピー関数の テイラー級数は

H b ⁡ ( p ) = 1 − 1 2 ln ⁡ 2 ∑ n = 1 ∞ ( 1 − 2 p ) 2 n n ( 2 n − 1 ) {\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}

これは、すべての値に対して2進エントロピー関数に収束します。 0 ≤ p ≤ 1 {\displaystyle 0\leq p\leq 1}

境界

に対して以下の境界が成り立つ：[1] 0 < p < 1 {\displaystyle 0<p<1}

ln ⁡ ( 2 ) ⋅ log 2 ⁡ ( p ) ⋅ log 2 ⁡ ( 1 − p ) ≤ H b ( p ) ≤ log 2 ⁡ ( p ) ⋅ log 2 ⁡ ( 1 − p ) {\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)}

そして

4 p ( 1 − p ) ≤ H b ( p ) ≤ ( 4 p ( 1 − p ) ) ( 1 / ln ⁡ 4 ) {\displaystyle 4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}}

ここで、は自然対数を表します。 ln {\displaystyle \ln }

参照

参考文献

  1. ^ Topsøe, Flemming (2001). 「2要素集合上の分布のエントロピーとダイバージェンスの境界」. JIPAM. Journal of Inequalities in Pure & Applied Mathematics . 2 (2): Paper No. 25, 13 p.-Paper No. 25, 13 p.

さらに読む

Retrieved from "https://en.wikipedia.org/w/index.php?title=Binary_entropy_function&oldid=1324263438"