データ処理の不平等

データ処理不等式とは、信号の情報量は局所的な物理的操作によって増加させることはできないとする情報理論の概念である。これは簡潔に言えば、「後処理では情報量を増加させることはできない」と表現できる。^[1]

声明

3つの確率変数がマルコフ連鎖 を形成するとすると、 の条件付き分布はのみに依存し、 とは条件付きで独立であることを意味する。具体的には、結合確率質量関数が次のように書けるとき、そのようなマルコフ連鎖となる。 ${\displaystyle X\rightarrow Y\rightarrow Z}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle p(x,y,z)=p(x)p(y|x)p(z|y)=p(y)p(x|y)p(z|y)}$

この設定では、 を決定論的またはランダムに処理しても、に含まれる に関する情報は増加しません。相互情報量を用いると、これは次のように表すことができます。 ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle I(X;Y)\geqslant I(X;Z),}$

が等式である場合、かつその場合に限ります。つまり、と は に関する同じ情報を持ち、マルコフ連鎖も形成します。^[2]${\displaystyle I(X;Y)=I(X;Z)}$ ${\displaystyle I(X;Y\mid Z)=0}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle X\rightarrow Z\rightarrow Y}$

証拠

相互情報量の連鎖律を適用すると、次の2つの異なる分解が得られます。 ${\displaystyle I(X;Y,Z)}$

${\displaystyle I(X;Z)+I(X;Y\mid Z)=I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y)}$

の関係より、 が与えられた場合、と は条件付き独立であることがわかります。これは、条件付き相互情報量、 を意味します。したがって、データ処理不等式は の非負性から導かれます。 ${\displaystyle X\rightarrow Y\rightarrow Z}$ ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle I(X;Z\mid Y)=0}$ ${\displaystyle I(X;Y\mid Z)\geq 0}$

参照

• ゴミを入れればゴミが出る

参考文献

1. Beaudry, Normand (2012)、「データ処理不等式の直感的な証明」、Quantum Information & Computation、12 ( 5–6 ): 432– 441、arXiv : 1107.0740、Bibcode :2011arXiv1107.0740B、doi :10.26421/QIC12.5-6-4、S2CID  9531510
2. 表紙；トーマス（2012年）『情報理論の要素』ジョン・ワイリー・アンド・サンズ。

外部リンク

• http://www.scholarpedia.org/article/Mutual_information