バイナリエントロピー関数

バイナリ結果確率の関数としてのベルヌーイ試行のエントロピー(シャノン単位)。バイナリ エントロピー関数と呼ばれます。

情報理論では、バイナリ エントロピー関数(または と表記) は、2 つの値のいずれかの確率を持つベルヌーイ過程( iidバイナリ変数)のエントロピーとして定義され、次の式で表されます。 ${\displaystyle \operatorname {H} (p)}$ ${\displaystyle \operatorname {H} _{\text{b}}(p)}$ ${\displaystyle X}$ ${\displaystyle p}$

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p).}$

対数の底は、情報単位の選択に対応します。底e (自然対数) はNATSに対応し、数学的に便利ですが、底 2 (二進対数) はSHANFONSに対応し、慣習的です (グラフに示すように)。具体的には、次のようになります。

${\displaystyle \operatorname {H} (X)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

0 と 1 の値は限界によって与えられます(ロピタルの法則による)。また、「バイナリ」は情報の単位ではなく、変数の 2 つの可能な値を指すことに注意してください。 ${\displaystyle \textstyle 0\log 0:=\lim _{x\to 0^{+}}x\log x=0}$

のとき、バイナリエントロピー関数は最大値の1シャノン（1バイナリ情報単位）に達します。これは、偏りのないコイン投げの場合です。またはのとき、バイナリエントロピーは（単位に関わらず）0となり、変数に不確実性が存在しないため、情報がない状態になります。 ${\displaystyle p=1/2}$ ${\displaystyle p=0}$ ${\displaystyle p=1}$

表記

二元エントロピーはの特殊なケースであり、エントロピー関数 はである。これは、前者が単一の実数をパラメータとして取るのに対し、後者は分布または確率変数をパラメータとして取るという点で、一般的なエントロピー関数とは区別される。したがって、（ pの）二元エントロピーは特定の分布 のエントロピーであるため、 となる。 ${\displaystyle \operatorname {H} _{\mathrm {b} }(p)}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle \operatorname {H} _{\mathrm {b} }(p)}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle X\sim \operatorname {Ber} (p)}$ ${\displaystyle \operatorname {H} _{\mathrm {b} }(p)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}}$

2つの値がそれぞれpとqである確率を書き表すと、これは次の式に対応する 。${\displaystyle p+q=1}$ ${\displaystyle q=1-p}$

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p)=-p\log pq\log q=-\sum _{x\in X}\operatorname {Pr} (X=x)\cdot \log \operatorname {Pr} (X=x)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}.}$

二元エントロピー関数は と表記されることもあります。しかし、これはとも表記されるレーニイエントロピーとは異なり、混同しないように注意してください。 ${\displaystyle \operatorname {H} _{2}(p)}$ ${\displaystyle \mathrm {H} _{2}(X)}$

説明

情報理論では、エントロピーはメッセージ内の不確実性の尺度であると考えられています。直感的に言うと、 と仮定します。この確率では、イベントは決して発生しないことが確実であるため、不確実性はまったくなく、エントロピーは 0 になります。 の場合、結果は再び確実であるため、ここでもエントロピーは 0 です。 のとき、不確実性は最大になります。この場合の結果に公平に賭けるとすれば、確率を事前に知っていても有利になることはありません。この場合、エントロピーは 1 ビットの値で最大になります。中間の値はこれらのケースの間にあります。たとえば の場合、結果に関する不確実性の尺度は依然として存在しますが、それでも結果を正しく予測できる頻度は高いため、不確実性の尺度、つまりエントロピーは 1 ビット未満になります。 ${\displaystyle p=0}$ ${\displaystyle p=1}$ ${\displaystyle p=1/2}$ ${\displaystyle p=1/4}$

プロパティ

デリバティブ

バイナリエントロピー関数の導関数は、ロジット関数の負として表すことができます。

${\displaystyle {d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{a}(p)=-\log _{a}\left({\frac {p}{1-p}}\right)}$ 。

${\displaystyle {d^{2} \over dp^{2}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln a}}\,,}$

ここで、a は対数の底を表します。

凸共役

二元エントロピー（底e ）の凸共役（具体的には、ルジャンドル変換）は、負のソフトプラス関数です。これは、ルジャンドル変換の定義（導関数は逆関数）に従い、負の二元エントロピーの導関数がロジットであり、その逆関数がロジット関数であり、これがソフトプラスの導関数であるためです。

ソフトプラスはロジスティック損失として解釈できるため、双対性により、ロジスティック損失の最小化はエントロピーの最大化に対応する。これは、損失最小化としての エントロピー最大化原理を正当化する。

テイラー級数

1/2における2元エントロピー関数の テイラー級数は

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}$

これは、すべての値に対して2進エントロピー関数に収束します。 ${\displaystyle 0\leq p\leq 1}$

境界

に対して以下の境界が成り立つ：^{[ 1 ]}${\displaystyle 0<p<1}$

${\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)}$

そして

${\displaystyle 4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}}$

ここで、は自然対数を表します。 ${\displaystyle \ln }$

参照

• メトリックエントロピー
• 情報理論
• 情報エントロピー
• 情報量

参考文献

1. Topsøe, Flemming (2001). 「2要素集合上の分布のエントロピーとダイバージェンスの境界」 . JIPAM. 純粋・応用数学における不等式ジャーナル. 2 (2): 論文番号25, 13ページ-論文番号25, 13ページ.

さらに読む

• MacKay, David JC情報理論、推論、学習アルゴリズムケンブリッジ: ケンブリッジ大学出版局、2003年ISBN 0-521-64298-1