インフォメトリクス
科学的モデリングと情報処理への学際的アプローチ

情報計量科学は、科学的モデリング、推論、そして効率的な情報処理への学際的なアプローチです。これは、ノイズが多く限られた情報条件下でのモデリング、推論、そして推論を行う科学です。科学の観点から見ると、この枠組みは情報理論、統計的推論手法、応用数学、コンピュータサイエンス、計量経済学、複雑性理論、意思決定分析、モデリング、そして科学哲学の交差点に位置しています。

インフォメトリクスは、制約付き最適化 フレームワークを提供し、決定不足問題や不適切設定問題（一意の解を見つけるのに十分な情報がない問題）に対処します。このような問題はあらゆる科学分野に共通しており、利用可能な情報は不完全、限定的、ノイズが多く 、不確実です。インフォメトリクスは、科学分野全体にわたるモデリング、情報処理、理論構築、推論問題に役立ちます。また、インフォメトリクスフレームワークは、競合する理論や因果メカニズムに関する仮説を検証するためにも使用できます。

歴史

インフォメトリクスは、シャノン の研究に基づく古典的な最大エントロピー形式論から発展しました。初期の貢献は主に自然科学および数理統計科学分野にありました。1980年代半ば以降、特に1990年代半ば以降、最大エントロピーアプローチは一般化され、社会科学および行動科学におけるより広範な問題、特に複雑な問題やデータを扱うために拡張されました。インフォメトリクスという言葉は、学際的なインフォメトリクス研究所が設立される直前の2009年に、アモス・ゴランによって造語されました。

予備的な定義

K通りの異なる結果のいずれかとなる確率変数 を考えてみましょう。各結果の確率はに対して です。したがって、はおよびと なるK次元の確率分布として定義されます。単一の結果の情報量を と定義します （例：シャノン）。分布の末端にある結果（まれな事象）を観測すると、より起こりやすい別の結果を観測するよりもはるかに多くの情報が得られます。エントロピー[1]とは、確率分布がPである確率変数Xの結果の期待情報量です。 X {\textstyle X} p け {\textstyle p_{k}} × け {\textstyle x_{k}} p け ＝ p （ × け ） {\textstyle p_{k}=p(x_{k})} け ＝ 1 、 2 、 … 、 K {\textstyle k=1,2,\ldots ,K} P {\textstyle P} X {\textstyle X} p け ϵ [ 0 、 1 ] {\displaystyle p_{k}\epsilon [0,1]} ∑ け p け ＝ 1 {\textstyle \sum _{k}p_{k}=1} × け {\textstyle x_{k}} h （ × け ） ＝ h （ p け ） ＝ ログ 2 ⁡ （ 1 / p け ） {\textstyle h(x_{k})=h(p_{k})=\log _{2}(1/p_{k})} H （ P ） ＝ ∑ け ＝ 1 K p け ログ 2 ⁡ （ 1 p け ） ＝ − ∑ け ＝ 1 K p け ログ 2 ⁡ （ p け ） ＝ E ⁡ [ ログ 2 ⁡ （ 1 P （ X ） ） ] {\displaystyle H(P)=\sum _{k=1}^{K}p_{k}\log _{2}\left({\frac {1}{p_{k}}}\right)=-\sum _{k=1}^{K}p_{k}\log _{2}(p_{k})=\operatorname {E} \left[\log _{2}\left({\frac {1}{P(X)}}\right)\right]}

ここで、 の場合、 は期待値演算子です。 p け ログ 2 ⁡ （ p け ） ≡ 0 {\displaystyle p_{k}\log _{2}(p_{k})\equiv 0} p け ＝ 0 {\displaystyle p_{k}=0} E {\displaystyle \operatorname {E} }

基本的な情報メトリクスの問題

K次元離散確率変数の平均値（期待値）のみを与えられた場合、その変数の観測されていない確率分布をモデル化し、推定する問題を考えてみましょう。確率は非負で正規化されている（つまり、合計がちょうど1になる）ことも分かっています。K > 2 の場合、 この問題は劣決定性です。情報計量科学の枠組みでは、平均と正規化という2つの制約の下で、確率変数のエントロピーを最大化することが解決策となります。これにより、通常の最大エントロピー解が得られます。この問題の解は、いくつかの方法で拡張および一般化できます。まず、シャノンのエントロピーの代わりに別のエントロピーを使用することができます。次に、同じアプローチを連続確率変数、あらゆる種類の条件付きモデル（例：回帰モデル、不等式モデル、非線形モデル）、および多くの制約に適用できます。さらに、事前分布をこの枠組みに組み込むことができます。さらに、同じ枠組みを拡張して、より大きな不確実性、つまり観測値に関する不確実性やモデル自体に関する不確実性に対応させることができます。最後に、同じ基本フレームワークを使用して、新しいモデル/理論を開発し、利用可能なすべての情報を使用してこれらのモデルを検証し、モデルに関する統計的仮説をテストすることができます。

例

六面サイコロ

繰り返される独立した実験から得られた情報に基づく推論。

次の例はボルツマンの理論とされ、ジェインズによってさらに普及しました。6面サイコロを考えてみましょう。サイコロを投げることが事象であり、異なる出目はサイコロの上面にある1から6の数字です。実験は同じサイコロを独立に繰り返し投げることです。6面サイコロをN回投げたときの実験平均値yのみを観察し、次にサイコロを投げたときに特定の目が出る確率を推測するとします。確率の合計は1でなければならないこともわかっています。これら2つの制約（平均と正規化）の下でエントロピーを最大化すると（底が2の対数を使用）、最も情報に基づかない解が得られます。 最大化する { P } H （ p ） ＝ − ∑ け ＝ 1 6 p け ログ 2 ⁡ （ p け ） 対象となる ∑ け p け × け ＝ y  そして  ∑ け p け ＝ 1 {\displaystyle {\begin{aligned}&{\underset {\{P\}}{\text{最大化}}}&&H(\mathbf {p} )=-\sum _{k=1}^{6}p_{k}\log _{2}(p_{k})\\&{\text{subject to}}&&\sum _{k}p_{k}x_{k}=y{\text{ and }}\sum _{k}p_{k}=1\end{aligned}}}

とについて 。解は × け ＝ け {\textstyle x_{k}=k} け ＝ 1 、 2 、 … 、 6 {\textstyle k=1,2,\ldots ,6}

p ^ け ＝ 2 − λ ^ × け ∑ け ＝ 1 6 2 − λ ^ × け ≡ 2 − λ × け Ω {\displaystyle {\widehat {p}}_{k}={\frac {2^{-{\widehat {\lambda }}x_{k}}}{\sum _{k=1}^{6}2^{-{\widehat {\lambda }}x_{k}}}}\equiv {\frac {2^{-\lambda x_{k}}}{\Omega }}}

ここで 、 は事象 の推定確率、は平均制約に関連する推定ラグランジュ乗数、 は分割（正規化）関数です。平均が3.5の公平なサイコロの場合、すべての面が等しく出現する可能性があり、確率も等しいと予想されます。これが最大エントロピー解です。サイコロが不公平（または不正）で平均が4の場合、結果として得られる最大エントロピー解は になります。比較のために、エントロピーを最大化するのではなく、最小二乗基準を最小化すると になります。 p ^ け {\textstyle {\ワイドハット {p}}_{k}} け {\textstyle k} λ ^ {\textstyle {\ワイドハット {\ラムダ }}} Ω {\textstyle \オメガ} p け ＝ （ 0.103 、 0.123 、 0.146 、 0.174 、 0.207 、 0.247 ） {\textstyle p_{k}=(0.103,0.123,0.146,0.174,0.207,0.247)} （ ∑ け ＝ 1 6 p け 2 ） {\textstyle \left(\sum _{k=1}^{6}p_{k}^{2}\right)} p け （ L S ） ＝ （ 0.095 、 0.124 、 0.152 、 0.181 、 0.210 、 0.238 ） {\textstyle p_{k}(LS)=(0.095,0.124,0.152,0.181,0.210,0.238)}

いくつかの学際的な例

降雨量予測：予想される日降雨量（算術平均）を用いて、最大エントロピーの枠組みで日降雨量分布を推測・予測することができる。[2]

ポートフォリオ管理：投資家の制約条件と選好を考慮しながら、資産を配分したり、ポートフォリオのウェイトを各資産に割り当てる必要があるポートフォリオ・マネージャーがいるとします。これらの選好条件と制約条件、そして一定期間における各資産の市場平均リターンや共分散といった観測情報を用いることで、エントロピー最大化フレームワークを用いて最適なポートフォリオ・ウェイトを見つけることができます。この場合、ポートフォリオのエントロピーはその多様性を表します。このフレームワークは、最小分散、最大多様性といった他の制約条件を含めるように修正できます。このモデルは不等式を含んでおり、さらに空売りも含めるように一般化できます。このような例や関連コードは[3] [4]でご覧いただけます。

インフォメトリクスに関連する広範な研究リストは、こちらでご覧いただけます: http://info-metrics.org/bibliography.html

参照

参考文献

  1. ^ シャノン、クロード（1948年）「通信の数学的理論」ベルシステム技術ジャーナル27：379-423。
  2. ^ ゴラン、アモス（2018年）『情報メトリクスの基礎：モデリング、推論、そして不完全情報』オックスフォード大学出版局。
  3. ^ Bera, Anil K.; Park, Sung Y. (2008). 「最大エントロピー原理を用いた最適ポートフォリオ分散」.計量経済学レビュー. 27 ( 4–6 ): 484– 512.
  4. ^ 「ポートフォリオ配分 - 情報メトリクスの基礎」info-metrics.org。

さらに読む

クラシック

  • ルドルフ・クラウジウス「熱と呼ぶ運動の性質について」ロンドン、エディンバラ、ダブリン哲学雑誌・科学ジャーナル、14 (91):108–127、1857年。
  • ルートヴィヒ・ボルツマン。 「気体分子の熱平衡に関するさらなる研究 (weitere studio über das wärmegleichgewicht unter Gasmolekülen)」。Sitzungsberichte der Akademie der Wissenschaften、Mathematische-Naturwissenschaftliche Klasse、275 ～ 370 ページ、1872 年。
  • JWギブス著『統計力学の基本原理』（ニューヘイブン、コネチカット州：イェール大学出版局）、1902年。
  • CEシャノン.「通信の数学的理論」.ベルシステム技術ジャーナル, 27 :379–423, 1948.
  • Y. AlhassidとRD Levine. 「情報理論的アプローチにおける実験的不確実性と固有の不確実性」. Chemical Physics Letters , 73 (1):16–20, 1980.
  • RBアッシュ『情報理論』インターサイエンス、ニューヨーク、1965年。
  • A Caticha.相対エントロピーと帰納的推論. 2004.
  • A Caticha. 「確率、エントロピー、統計物理学に関する講義」MaxEnt、ブラジル、サンパウロ、2008年。
  • Jan M. Van Campenhout CoverとThomas M.「最大エントロピーと条件付き確率」IEEE Transactions on Information Theory、IT-27、No. 4、1981年。
  • I. Csiszar. 「なぜ最小二乗法と最大エントロピー法なのか？線形逆問題に対する推論への公理的アプローチ」『統計年報』19 :2032–2066, 1991年。
  • David Donoho、Hossein Kakavand、James Mammen. 「劣決定線形方程式系の最も単純な解」『情報理論』2006年IEEE国際シンポジウム、1924～1928ページ。IEEE、2007年。

基礎書籍と研究論文

  • ゴラン、アモス『情報メトリクスの基礎：モデリング、推論、そして不完全情報』オックスフォード大学出版局、2018年。
  • ゴラン. 「情報とエントロピー計量経済学 ― レビューと統合」. 『計量経済学の基礎と動向』 , 2(1-2):1–145, 2008.
  • RD LevineとM. Tribus著『最大エントロピー形式論』MIT Press、マサチューセッツ州ケンブリッジ、1979年。
  • JN Kapur著『科学と工学における最大エントロピーモデル』 Wiley、1993年。
  • J. ハート『最大エントロピーと生態学：豊かさ、分布、エネルギー論の理論』オックスフォード大学出版局、2011年。
  • A. ゴラン、G. ジャッジ、D. ミラー.最大エントロピー計量経済学：限られたデータによるロバスト推定. John Wiley&Sons, 1996.
  • ETジェインズ著『確率論：科学の論理』ケンブリッジ大学出版局、2003年。

その他の代表的な用途

  • JRバナバール、A.マリタン、I.ボルコフ。「最大エントロピー原理の応用：物理学から生態学へ」。Journal of Physics-Condensed Matter、22(6)、2010年。
  • アニル・K・ベラ、ソン・Y・パーク「最大エントロピー原理を用いた最適ポートフォリオ分散」『計量経済学レビュー』 27(4-6):484–512, 2008年。
  • Bhati, B. Buyuksahin, A. Golan. 「画像再構成：情報理論的アプローチ」アメリカ統計学会紀要、2005年。
  • ピーター・W・ブーヘン、マイケル・ケリー「オプション価格から推定される資産の最大エントロピー分布」『Journal of Financial and Quantitative Analysis』、31(01):143–159、1996年。
  • ランドール・C・キャンベルとR・カーター・ヒル「最大エントロピーを用いた多項式選択の予測」Economics Letters、64(3):263–269、1999年。
  • アリエル・カティチャとアモス・ゴラン「経済モデル化のためのエントロピー的枠組み」『Physica A: 統計力学とその応用』 408:149–163, 2014年。
  • マーシャ・コーチャン、エイモス・ゴラン、デイヴィッド・ニッカーソン。「ローン差別の推定と評価：情報的アプローチ」『住宅研究ジャーナル』 11(1):67–90, 2000年。
  • 藤原司・宮原良夫. 「幾何学的レヴィ過程に対する最小エントロピー・マルチンゲール測度」.ファイナンスと確率論, 7(4):509–531, 2003.

マルコ・フリッテリ. 「最小エントロピー・マルチンゲール測度と不完全市場における評価問題」.数理ファイナンス, 10(1):39–52, 2000.

  • D. グレノン、A. ゴラン「情報理論的アプローチを用いた銀行破綻のマルコフモデルによる推定」米国財務省報告書、2003年。
  • A. ゴラン. 「実証的証拠に基づく企業規模分布の多変数確率理論」『計量経済学の進歩』 10:1–46, 1994年。
  • A. ゴラン. 「Modcompモデルによる報酬の人事定着率への影響 ― 情報理論的アプローチ」報告書、米海軍、2003年2月。

アモス・ゴランとフォルカー・ドーズ。「トモグラフィー再構成への一般化情報理論的アプローチ」Journal of Physics A: Mathematical and General、34(7):1271、2001年。

  • バート・ヘーゲマンとランパル・S・エティエンヌ「エントロピー最大化と種の空間分布」『アメリカン・ナチュラリスト』 175(4):E74–E90, 2010.
  • UV Toussaint、A. Golan、V. Dose、「四重極質量スペクトルの最大エントロピー分解」Journal of Vacuum Science and Technology A 22(2)、2004年3月/4月、401–406
  • Golan A.、およびD. Volker、「トモグラフィー再構成への一般化情報理論的アプローチ」、J. of Physics A: Mathematical and General (2001) 1271–1283。
  • 「Info-Metrics Institute: 情報理論的データ分析と解説 | アメリカン大学、ワシントンD.C.」american.edu 。 2017年11月7日閲覧。
  • 「NSF STC情報科学センター」soihub.org . 2017年11月7日閲覧。
  • http://info-metrics.org/
Retrieved from "https://en.wikipedia.org/w/index.php?title=Info-metrics&oldid=1265439282"