インタラクション情報
2つ以上の変数に対する相互情報量の一般化
3つの変数x、y、zの情報理論的測度の情報図。それぞれ左下、右下、上の円で表されている。交互作用情報は灰色の領域で表され、負の値を取ることができるのはこれだけである。

確率論と情報理論において、相互作用情報は、 2つ以上の変数に対する相互情報量の一般化です。

相互作用情報には、情報量[1] 、情報相関[2] 、共情報量[3]、そして単に相互情報量[4 ]など、様々な名称があります。相互作用情報とは、変数の集合に束縛されている情報量（冗長性または相乗効果）を、それらの変数のサブセットに存在する情報量を超えて表すものです。相互情報量とは異なり、相互作用情報は正または負の値を取ります。これらの関数、それらの負性、および最小値は、代数位相幾何学において直接的に解釈されます。[5]

意味

条件付き相互情報量を使用すると、次のように、任意の有限数の変数の相互作用情報を帰納的に定義できます。

私 （ X 1 ; … ; X n + 1 ） ＝ 私 （ X 1 ; … ; X n ） − 私 （ X 1 ; … ; X n ∣ X n + 1 ） 、 {\displaystyle I(X_{1};\ldots;X_{n+1})=I(X_{1};\ldots;X_{n})-I(X_{1};\ldots;X_{n}\mid X_{n+1}),}

どこ

私 （ X 1 ; … ; X n ∣ X n + 1 ） ＝ E X n + 1 （ 私 （ X 1 ; … ; X n ） ∣ X n + 1 ） 。 {\displaystyle I(X_{1};\ldots;X_{n}\mid X_{n+1})=\mathbb {E} _{X_{n+1}}{\big (}I(X_{1};\ldots;X_{n})\mid X_{n+1}{\big )}.}

一部の著者[6]は、前式で減算される2つの項を入れ替えることで、交互作用情報を異なる方法で定義しています。これにより、変数の数が奇数の場合、符号が反転する効果があります。

3つの変数の場合、相互作用情報は次のように与えられる。 { X 、 はい 、 Z } {\displaystyle \{X,Y,Z\}} 私 （ X ; はい ; Z ） {\displaystyle I(X;Y;Z)}

私 （ X ; はい ; Z ） ＝ 私 （ X ; はい ） − 私 （ X ; はい ∣ Z ） {\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}

ここで、 は変数との間の相互情報量であり、は が与えられた場合の変数と の間の条件付き相互情報量です。相互作用情報は対称 であるため、どの変数を条件とするかは関係ありません。これは、相互作用情報をエントロピーと結合エントロピーで次のように表すと簡単にわかります。 私 （ X ; はい ） {\displaystyle I(X;Y)} X {\displaystyle X} はい {\displaystyle Y} I ( X ; Y ∣ Z ) {\displaystyle I(X;Y\mid Z)} X {\displaystyle X} Y {\displaystyle Y} Z {\displaystyle Z}

I ( X ; Y ; Z ) = ( H ( X ) + H ( Y ) + H ( Z ) ) − ( H ( X , Y ) + H ( X , Z ) + H ( Y , Z ) ) + H ( X , Y , Z ) {\displaystyle {\begin{alignedat}{3}I(X;Y;Z)&=&&\;{\bigl (}H(X)+H(Y)+H(Z){\bigr )}\\&&&-{\bigl (}H(X,Y)+H(X,Z)+H(Y,Z){\bigr )}\\&&&+H(X,Y,Z)\end{alignedat}}}

一般に、変数の集合 の場合、相互作用情報は次の形式で表すことができます（Kirkwood近似と比較してください）。 V = { X 1 , X 2 , … , X n } {\displaystyle {\mathcal {V}}=\{X_{1},X_{2},\ldots ,X_{n}\}}

I ( V ) = ∑ T ⊆ V ( − 1 ) | T | − 1 H ( T ) {\displaystyle I({\mathcal {V}})=\sum _{{\mathcal {T}}\subseteq {\mathcal {V}}}(-1)^{\left\vert {\mathcal {T}}\right\vert -1}H({\mathcal {T}})}

3変数の場合、交互作用情報は、変数が と の間で共有される情報量に与える影響を測定します。項はよりも大きくなる可能性があるため、交互作用情報は正だけでなく負にもなり得ます。例えば、と は独立しているものの、 が与えられた場合には条件付きで独立ではない場合などがこれに該当します。正の交互作用情報は、変数がと の相関を阻害する（つまり、相関の一部を説明または説明する）ことを示し、負の交互作用情報は、変数が相関を促進または強化することを示します。 Z {\displaystyle Z} X {\displaystyle X} Y {\displaystyle Y} I ( X ; Y ∣ Z ) {\displaystyle I(X;Y\mid Z)} I ( X ; Y ) {\displaystyle I(X;Y)} X {\displaystyle X} Y {\displaystyle Y} Z {\displaystyle Z} Z {\displaystyle Z} X {\displaystyle X} Y {\displaystyle Y} Z {\displaystyle Z}

プロパティ

相互作用情報は有限である。3変数の場合、それは[4]によって有限となる。

− min { I ( X ; Y ∣ Z ) , I ( Y ; Z ∣ X ) , I ( X ; Z ∣ Y ) } ≤ I ( X ; Y ; Z ) ≤ min { I ( X ; Y ) , I ( Y ; Z ) , I ( X ; Z ) } {\displaystyle -\min\{I(X;Y\mid Z),I(Y;Z\mid X),I(X;Z\mid Y)\}\leq I(X;Y;Z)\leq \min\{I(X;Y),I(Y;Z),I(X;Z)\}}

3つの変数がマルコフ連鎖 を形成する場合、 となりますが、 となります。したがって X → Y → Z {\displaystyle X\to Y\to Z} I ( X ; Z ∣ Y ) = 0 {\displaystyle I(X;Z\mid Y)=0} I ( X ; Z ) ≥ 0 {\displaystyle I(X;Z)\geq 0}

I ( X ; Y ; Z ) = I ( X ; Z ) − I ( X ; Z ∣ Y ) = I ( X ; Z ) ≥ 0. {\displaystyle I(X;Y;Z)=I(X;Z)-I(X;Z\mid Y)=I(X;Z)\geq 0.}

例

肯定的な相互作用情報

正の交互作用情報は、負の交互作用情報よりもはるかに自然であるように思われます。なぜなら、そのような説明効果は共通原因構造に典型的だからです。例えば、雲は雨を降らせると同時に太陽を遮ります。したがって、雨と暗闇の相関関係は、雲の存在によって部分的に説明されます。結果として、正の交互作用情報が得られます。 I ( rain ; dark ∣ cloud ) < I ( rain ; dark ) {\displaystyle I({\text{rain}};{\text{dark}}\mid {\text{cloud}})<I({\text{rain}};{\text{dark}})} I ( rain ; dark ; cloud ) {\displaystyle I({\text{rain}};{\text{dark}};{\text{cloud}})}

ネガティブな相互作用情報

車のエンジンが始動しなくなる原因は、バッテリー上がりか燃料ポンプの詰まりのいずれかです。通常、バッテリー上がりと燃料ポンプの詰まりは独立した事象であると想定されます。しかし、車が始動しないことが分かっている場合、検査でバッテリーの状態が良好であれば、燃料ポンプが詰まっていると結論付けることができます。したがって、であり、結果は負の交互作用情報となります。 I ( blocked fuel ; dead battery ) = 0 {\displaystyle I({\text{blocked fuel}};{\text{dead battery}})=0} I ( blocked fuel ; dead battery ∣ engine fails ) > 0 {\displaystyle I({\text{blocked fuel}};{\text{dead battery}}\mid {\text{engine fails}})>0}

解釈の難しさ

相互作用情報の負性は、混乱の原因となる可能性がある。[3]多くの著者は、相互作用情報がゼロであることを、3つ以上のランダム変数が相互作用しないことを示す兆候と解釈しているが、この解釈は誤りである。[7]

解釈がどれほど難しいかを知るために、8つの独立した2値変数 の集合を考えてみましょう。これらの変数を次のように集約します。 { X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 } {\displaystyle \{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7},X_{8}\}}

Y 1 = { X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 } Y 2 = { X 4 , X 5 , X 6 , X 7 } Y 3 = { X 5 , X 6 , X 7 , X 8 } {\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\end{aligned}}}

は3つの2値変数上で互いに重なり合っている（冗長である）ため、相互作用情報はビット数に等しいと予想され、実際その通りである。しかし、ここで凝集変数について考えてみよう。 Y i {\displaystyle Y_{i}} { X 5 , X 6 , X 7 } {\displaystyle \{X_{5},X_{6},X_{7}\}} I ( Y 1 ; Y 2 ; Y 3 ) {\displaystyle I(Y_{1};Y_{2};Y_{3})} 3 {\displaystyle 3}

Y 1 = { X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 } Y 2 = { X 4 , X 5 , X 6 , X 7 } Y 3 = { X 5 , X 6 , X 7 , X 8 } Y 4 = { X 7 , X 8 } {\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\\Y_{4}&=\{X_{7},X_{8}\}\end{aligned}}}

これらは、 が追加された、前と同じ変数です。ただし、この場合、 は実際にはビット に等しく、冗長性が低いことを示しています。これは、 Y 4 = { X 7 , X 8 } {\displaystyle Y_{4}=\{X_{7},X_{8}\}} I ( Y 1 ; Y 2 ; Y 3 ; Y 4 ) {\displaystyle I(Y_{1};Y_{2};Y_{3};Y_{4})} + 1 {\displaystyle +1}

I ( Y 1 ; Y 2 ; Y 3 ; Y 4 ) = I ( Y 1 ; Y 2 ; Y 3 ) − I ( Y 1 ; Y 2 ; Y 3 | Y 4 ) = 3 − 2 = 1 {\displaystyle {\begin{aligned}I(Y_{1};Y_{2};Y_{3};Y_{4})&=I(Y_{1};Y_{2};Y_{3})-I(Y_{1};Y_{2};Y_{3}|Y_{4})\\&=3-2\\&=1\end{aligned}}}

しかし、解釈するのは依然として困難です。

用途

  • Jakulin と Bratko (2003b) は、相互作用情報を使用する機械学習アルゴリズムを提供しています。
  • キリアン、クラヴィッツ、ギルソン（2007）は相互情報量展開を用いて分子シミュレーションからエントロピー推定値を抽出した。[8]
  • LeVineとWeinstein（2014）は相互作用情報やその他のN体情報尺度を用いて分子シミュレーションにおけるアロステリック結合を定量化している。[9]
  • Moore et al. (2006)、Chanda P、Zhang A、Brazeau D、Sucheston L、Freudenheim JL、Ambrosone C、Ramanathan M. (2007) および Chanda P、Sucheston L、Zhang A、Brazeau D、Freudenheim JL、Ambrosone C、Ramanathan M. (2008) は、複雑な疾患に関連する遺伝子間および遺伝子と環境の相互作用を分析するために相互作用情報を使用する方法を示しています。
  • Pandey と Sarkar (2017) は、宇宙論における相互作用情報を使用して、大規模な環境が銀河の特性に与える影響を研究しています。
  • n変数のデータセット内のすべての多変量相互作用または相互情報量、条件付き相互情報量、結合エントロピー、総相関、情報距離を計算するためのPythonパッケージが利用可能です。[10]

参照

参考文献

  1. ^ティン、フー ・クオ（1962年1月）「情報量について」確率論とその応用7 (4): 439–447 . doi :10.1137/1107041. ISSN  0040-585X.
  2. ^ ウルフ、デイビッド（1996年5月1日）「変数集合間の情報としての相互情報量の一般化：情報相関関数階層とマルチエージェントシステムの情報構造」（技術報告書）NASAエイムズ研究センター
  3. ^ ab Bell, Anthony (2003).共情報量格子. 第4回国際シンポジウム. 独立成分分析とブラインドソース分離.
  4. ^ ab Yeung, RW (1991年5月). 「シャノンの情報測度に関する新たな展望」 . IEEE Transactions on Information Theory . 37 (3): 466– 474. doi :10.1109/18.79902. ISSN  0018-9448.
  5. ^ Baudot, Pierre; Bennequin, Daniel (2015-05-13). 「エントロピーのホモロジー的性質」.エントロピー. 17 (5): 3253– 3318. Bibcode :2015Entrp..17.3253B. doi : 10.3390/e17053253 . ISSN  1099-4300.
  6. ^ マギル, ウィリアム・J. (1954年6月). 「多変量情報伝達」 . Psychometrika . 19 (2): 97–116 . doi :10.1007/bf02289159. ISSN  0033-3123. S2CID  126431489.
  7. ^ Krippendorff, Klaus (2009年8月). 「複雑系における相互作用の情報」 . International Journal of General Systems . 38 (6): 669– 680. Bibcode :2009IJGS...38..669K. doi :10.1080/03081070902993160. ISSN  0308-1079. S2CID  13923485.
  8. ^ Killian, Benjamin J.; Yundenfreund Kravitz, Joslyn; Gilson, Michael K. (2007-07-14). 「展開近似による分子シミュレーションからの配置エントロピーの抽出」. The Journal of Chemical Physics . 127 (2): 024107. Bibcode :2007JChPh.127b4107K. doi :10.1063/1.2746329. ISSN  0021-9606. PMC 2707031. PMID 17640119  . 
  9. ^ LeVine, Michael V.; Perez-Aguilar, Jose Manuel; Weinstein, Harel (2014-06-18). 「5-HT2A受容体の細胞内ループ2における剛体ダイナミクスのN体情報理論（NbIT）解析」arXiv : 1406.4730 [q-bio.BM].
  10. ^ 「InfoTopo: トポロジカル情報データ分析。深層統計的教師なし学習と教師あり学習 - ファイル交換 - Github」。github.com/pierrebaudot /infotopopy/ 。 2020年9月26日閲覧。
  • Baudot, P.; Bennequin, D. (2015). 「エントロピーのホモロジー的性質」(PDF) .エントロピー. 17 (5): 1– 66. Bibcode :2015Entrp..17.3253B. doi : 10.3390/e17053253 .
  • ベル、AJ（2003）、共情報格子[1]
  • Fano, RM (1961)、「情報の伝達：通信の統計理論」、MIT プレス、ケンブリッジ、マサチューセッツ州。
  • ガーナーWR（1962）『心理学概念としての不確実性と構造』 JohnWiley & Sons、ニューヨーク。
  • Han, TS (1978). 「多変量対称相関の非負エントロピー尺度」.情報制御. 36 (2): 133– 156. doi : 10.1016/s0019-9958(78)90275-9 .
  • Han, TS (1980). 「頻度データにおける多重相互情報量と多重相互作用」.情報制御. 46 : 26–45 . doi : 10.1016/s0019-9958(80)90478-7 .
  • 胡国田（1962）「情報量について．理論確率論応用」7(4)，439-44．PDF
  • Jakulin A & Bratko I (2003a). 属性依存関係の分析, N Lavra\quad{c}, D Gamberger, L Todorovski & H Blockeel編, Proceedings of the 7th European Conference on Principles and Practice of Knowledge Discovery in Databases , Springer, Cavtat-Dubrovnik, Croatia, pp. 229–240.
  • Jakulin A & Bratko I (2003b). 属性相互作用の定量化と可視化 [2]
  • Margolin, A; Wang, K; Califano, A; Nemenman, I (2010). 「多変量依存性と遺伝子ネットワーク推論」. IET Syst Biol . 4 (6): 428– 440. arXiv : 1001.1681 . doi :10.1049/iet-syb.2010.0009. PMID  21073241. S2CID  14280921.
  • マギル, WJ (1954). 「多変量情報伝達」. Psychometrika . 19 (2): 97–116 . doi :10.1007/bf02289159. S2CID  126431489.
  • Moore JH, Gilbert JC, Tsai CT, Chiang FT, Holden T, Barney N, White BC (2006). ヒト疾患感受性の遺伝学的研究におけるエピスタシスの統計的パターンの検出、特徴づけ、解釈のための柔軟な計算フレームワーク, Journal of Theoretical Biology 241 , 252–261. [3]
  • Nemenman I (2004). 情報理論、多変量依存性、および遺伝的ネットワーク推論 [4]
  • Pearl, J (1988)、「インテリジェント システムにおける確率的推論: もっともらしい推論のネットワーク」、Morgan Kaufmann、サンマテオ、カリフォルニア州。
  • 辻下 毅 (1995) 三重相互情報量について、応用数学の進歩 16、269–274。
  • Chanda, P; Zhang, A; Brazeau, D; Sucheston, L; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2007). 「遺伝子-環境相互作用の可視化のための情報理論的メトリクス」. American Journal of Human Genetics . 81 (5): 939–63 . doi :10.1086/521878. PMC 2265645.  PMID 17924337  .
  • Chanda, P; Sucheston, L; Zhang, A; Brazeau, D; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2008). 「AMBIENCE：複雑な表現型における有益な遺伝的・環境的関連性を特定するための新たなアプローチと効率的なアルゴリズム」Genetics . 180 (2): 1191– 210. doi :10.1534 / genetics.108.088542. PMC  2567367. PMID  18780753.
  • Killian, BJ; Kravitz, JY; Gilson, MK (2007). 「展開近似による分子シミュレーションからの配置エントロピーの抽出」J. Chem. Phys . 127 (2): 024107. Bibcode :2007JChPh.127b4107K. doi :10.1063/1.2746329. PMC 2707031.  PMID 17640119  .
  • LeVine MV, Weinstein H (2014)「NbIT - 新たな情報理論に基づくアロステリック機構の解析により、ロイシントランスポーターLeuTの機能の根底にある残基が明らかになる」PLoS Computational Biology . [5]
  • Pandey, Biswajit; Sarkar, Suman (2017). 「銀河は大規模環境についてどれだけ知っているか？：情報理論的視点」Monthly Notices of the Royal Astronomical Society Letters . 467 (1): L6. arXiv : 1611.00283 . Bibcode :2017MNRAS.467L...6P. doi : 10.1093/mnrasl/slw250 . S2CID  119095496.
  • https://www3.nd.edu/~jnl/ee80653/Fall2005/tutorials/sunil.pdf
  • Yeung RW (1992). シャノンの情報測度に関する新たな展望. IEEE Transactions on Information Theory. [6]
Retrieved from "https://en.wikipedia.org/w/index.php?title=Interaction_information&oldid=1330772521"