カークウッド近似

カークウッド重ね合わせ近似は、離散確率分布を表現する手段として1935年にジョン・G・カークウッドによって導入された。^[¹^]離散確率密度関数のカークウッド近似は次のように与えられる。 $P(x_{1},x_{2},\ldots,x_{n})$

P^{\prime }(x_{1},x_{2},\ldots ,x_{n})=\prod _{i=1}^{n-1}\left[\prod _{{\mathcal {T}}_{i}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{i})\right]^{(-1)^{n-1-i}}={\frac {\prod _{{\mathcal {T}}_{n-1}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{n-1})}{\frac {\prod _{{\mathcal {T}}_{n-2}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{n-2})}{\frac {\vdots }{\prod _{{\mathcal {T}}_{1}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{1})}}}

どこ

\prod _{{\mathcal {T}}_{i}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{i})

は、変数集合におけるサイズiの変数のすべての部分集合にわたる確率の積である。この種の式は渡辺（1960）によって考察されており、渡辺によればロバート・ファノも考察している。3変数の場合、これは単純に次のように帰着する。 $\scriptstyle {\mathcal {V}}$

P^{\prime }(x_{1},x_{2},x_{3})={\frac {p(x_{1},x_{2})p(x_{2},x_{3})p(x_{1},x_{3})}{p(x_{1})p(x_{2})p(x_{3})}}

カークウッド近似は、一般に有効な確率分布を生成しない（正規化条件に違反する）。渡辺は、この理由からこの種の情報表現は意味をなさないと主張しており、実際、この尺度の特性についてはほとんど研究されていない。カークウッド近似は、交互作用情報量の確率論的対応物である。

Judea Pearl (1988 §3.2.4) は、この種の表現は、分解可能なモデル、すなわちクリークが木を形成するグラフ構造を許容する確率分布の場合に正確になり得ることを示しています。このような場合、分子にはクリーク内結合分布の積が含まれ、分母にはクリーク交差分布の積が含まれます。

参考文献

^カークウッド, ジョン・G. (1935). 「流体混合物の統計力学」. The Journal of Chemical Physics . 3 (5). AIP Publishing: 300– 313. Bibcode : 1935JChPh...3..300K . doi : 10.1063/1.1749657 . ISSN 0021-9606 .

Jakulin, A. & Bratko, I. (2004)「属性の相互作用の定量化と視覚化：エントロピーに基づくアプローチ」、Journal of Machine Learning Research、（提出済み）pp. 38～43。
松田浩之 (2000-09-01). 「高次相互情報量の物理的性質：内在的相関とフラストレーション」. Physical Review E. 62 ( 3). アメリカ物理学会 (APS): 3096–3102 . Bibcode : 2000PhRvE..62.3096M . doi : 10.1103/physreve.62.3096 . ISSN 1063-651X . PMID 11088803 .
Pearl, J. (1988).知能システムにおける確率的推論：尤もらしい推論のネットワーク. サンマテオ, カリフォルニア州: Morgan Kaufmann/Elsevier. doi : 10.1016/c2009-0-27609-4 . ISBN 978-0-08-051489-5。
渡辺智 (1960). 「多変量相関の情報理論的分析」. IBM Journal of Research and Development . 4 (1). IBM: 66–82 . doi : 10.1147/rd.41.0066 . ISSN 0018-8646 .