大偏差理論

確率論 において、大偏差理論は確率分布列の末端における漸近的挙動を扱う。この理論の基本的な考え方の一部はラプラスに由来するが、その定式化は保険数学、すなわちクラメールとルンドバーグによる破産理論から始まった。大偏差理論の統一的な定式化は1966年にヴァラダンの論文で提唱された^[1]。大偏差理論は、測度の集中という発見的な考え方を定式化し、確率測度の収束という概念を広く一般化する。

大まかに言えば、大偏差理論は、ある種の極端な事象や末端事象の確率尺度の指数関数的な減少に関係しています。

入門例

大きな逸脱は、あり得ない方法の中でも最もあり得ない方法で行われます。

— フランク・デン・ホランダー、「大きな逸脱」、p. 10

基本的な例

公平なコインを独立に投げる一連の動作を考えてみましょう。表か裏のどちらかが出ます。i回目の試行の結果を と表します。ここで、表を1、裏を0とします。試行 後の平均値を とします。${\displaystyle X_{i}}$ ${\displaystyle M_{N}}$ ${\displaystyle N}$

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$ 。

は0 と 1 の間にあります。大数の法則により、N が大きくなるにつれて、 の分布は(1 回のコイン投げの期待値) に収束します。${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle 0.5=\operatorname {E} [X]}$

さらに、中心極限定理より、は大きな に対して近似的に正規分布することがわかります。中心極限定理は、 の振る舞いについて、大数の法則よりも詳細な情報を提供できます。たとえば、の固定値に対して、 の裾確率（ある値よりも大きい確率）を近似的に求めることができます。しかし、が から大きく離れており、が十分に大きくない場合は、中心極限定理による近似は正確でない可能性があります。また、 としての裾確率の収束に関する情報も提供しません。しかし、大偏差理論はそのような問題に対する解答を提供します。 ${\displaystyle M_{N}}$ ${\displaystyle N}$ ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle x}$ ${\displaystyle N}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} [X_{i}]}$ ${\displaystyle N}$ ${\displaystyle N\to \infty }$

この記述をより正確にしましょう。与えられた値に対して、裾の確率を計算してみましょう。定義します。 ${\displaystyle 0.5<x<1}$ ${\displaystyle P(M_{N}>x)}$

${\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}}$ 。

関数は凸型の非負関数であり、 ではゼロで、 に近づくにつれて増加することに注意してください。これは、のときのベルヌーイエントロピーの負です。コイン投げに適切であることは、ベルヌーイ試行に適用される漸近的等分割特性からわかります。次に、チャーノフの不等式により、 であることが示されます。^[2]この境界は、 を、すべての正の に対して厳密な不等式をもたらす大きな数で置き換えることができないという意味で、かなり厳しいものです。^[3]（ただし、指数境界は のオーダーの指数以下の係数によってさらに小さくすることができます。これは、ベルヌーイ分布に現れる二項係数にスターリング近似を適用することからわかります。）したがって、次の結果が得られます。 ${\displaystyle I(x)}$ ${\displaystyle x={\tfrac {1}{2}}}$ ${\displaystyle x}$ ${\displaystyle 1}$ ${\displaystyle p={\tfrac {1}{2}}}$ ${\displaystyle P(M_{N}>x)<\exp(-NI(x))}$ ${\displaystyle I(x)}$ ${\displaystyle N}$ ${\displaystyle 1/{\sqrt {N}}}$

${\displaystyle P(M_{N}>x)\approx \exp(-NI(x))}$ 。

確率はxに依存する割合で指数関​​数的に減少します。この式は、iid変数の標本平均の裾の確率を近似し、標本数が増加するにつれて収束することを示しています。 ${\displaystyle P(M_{N}>x)}$ ${\displaystyle N\to \infty }$

独立確率変数の和の大きな偏差

上記のコイン投げの例では、各投げが独立した試行であり、表または裏が出る確率は常に同じであると明示的に想定しました。

独立かつ同一分布（iid）する確率変数をそれぞれ持ち、その共通分布が特定の成長条件を満たすとします。このとき、以下の極限が存在します。 ${\displaystyle X,X_{1},X_{2},\ldots }$

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)}$ 。

ここ

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$ 、

以前と同じです。

この関数は「速度関数」または「クラメール関数」、あるいは「エントロピー関数」と呼ばれることもあります。 ${\displaystyle I(\cdot )}$

上記の限界は、大きな に対して、${\displaystyle N}$

${\displaystyle P(M_{N}>x)\approx \exp[-NI(x)]}$ 、

これは大偏差理論の基本的な結果である。^{[4] [5]}

の確率分布が分かれば、速度関数の明示的な表現が得られる。これはルジャンドル・フェンシェル変換によって与えられる。^[6]${\displaystyle X}$

${\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]}$ 、

どこ

${\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}$

はキュムラント生成関数（CGF）と呼ばれ、数学的期待値を表します。 ${\displaystyle \operatorname {E} }$

が正規分布に従う場合、速度関数は正規分布の平均を頂点とする放物線になります。 ${\displaystyle X}$

が既約かつ非周期的なマルコフ連鎖である場合、上で述べた基本的な大偏差の結果の変形が成り立つ可能性がある。^{[引用が必要]}${\displaystyle \{X_{i}\}}$

独立確率変数の和の中程度の偏差

前の例では、事象 の確率、つまりコンパクト集合におけるの法則の集中度を制御しました。また、あるシーケンス の事象の確率を制御することも可能である。以下は、中程度の偏差原理の例である：^{[7] [8]}${\displaystyle [M_{N}>x]}$ ${\displaystyle M_{N}}$ ${\displaystyle [-x,x]}$ ${\displaystyle [M_{N}>xa_{N}]}$ ${\displaystyle a_{N}\to 0}$

定理—を有限分散の中心iid変数列とし、 とする。を定義する。任意の列 に対して、以下の関係が成り立つ。 ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \forall \lambda \in \mathbb {R} ,\ \ln \mathbb {E} [e^{\lambda X_{1}}]<\infty }$ ${\displaystyle M_{N}:={\frac {1}{N}}\sum \limits _{n\leq N}X_{N}}$ ${\displaystyle 1\ll a_{N}\ll {\sqrt {N}}}$

${\displaystyle \lim \limits _{N\to +\infty }{\frac {a_{N}^{2}}{N}}\ln \mathbb {P} [a_{N}M_{N}\geq x]=-{\frac {x^{2}}{2\sigma ^{2}}}}$

特に、極限の場合は中心極限定理です。 ${\displaystyle a_{N}={\sqrt {N}}}$

正式な定義

ポーランド空間 が与えられ、が 上のボレル確率測度の列であるとし、がとなるような正の実数の列であるとし、最後に が上の下側半連続関数であるとする。この列が速度と速度を伴う大偏差原理を満たすとは、各ボレル可測集合に対して、次の場合のみである。${\displaystyle {\mathcal {X}}}$ ${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \{a_{N}\}}$ ${\displaystyle \lim _{N}a_{N}=\infty }$ ${\displaystyle I:{\mathcal {X}}\to [0,\infty ]}$ ${\displaystyle {\mathcal {X}}.}$ ${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle \{a_{n}\}}$ ${\displaystyle I}$ ${\displaystyle E\subset {\mathcal {X}}}$

${\displaystyle -\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)}$ 、

ここで、 はそれぞれの閉包と内部を表す。^[要出典]${\displaystyle {\overline {E}}}$ ${\displaystyle E^{\circ }}$ ${\displaystyle E}$

簡単な歴史

大偏差に関する最初の厳密な結果は、スウェーデンの数学者ハラルド・クラマーによるもので、彼はそれを保険事業のモデル化に応用しました。^[9]保険会社の観点から見ると、収益は毎月一定の割合（月額保険料）ですが、請求はランダムに発生します。会社が一定期間（できれば数か月間）にわたって成功するには、総収益が総請求額を上回る必要があります。したがって、保険料を見積もるためには、次の質問をする必要があります。「数か月にわたる総請求額が未満になるように、保険料として何を選択すればよいか？」これは明らかに、大偏差理論が尋ねる質問と同じです。クラマーは、この問題に対して、率関数がべき級数として表現される iid確率変数に対する解を与えました。 ${\displaystyle q}$ ${\displaystyle N}$ ${\displaystyle C=\Sigma X_{i}}$ ${\displaystyle Nq}$

重要な進歩を遂げた数学者の非常に不完全なリストには、ペトロフ[ ^10] 、サノフ^{[11] 、} SRSバラダン（理論への貢献によりアーベル賞を受賞）、D.ルエル、OEランフォード、マーク・フライドリン、アレクサンダー・D・ウェンツェル、アミール・デンボ、オフェル・ゼイトゥーニ^[12]が含まれます。

アプリケーション

大偏差の原理は、確率モデルから情報を収集するために効果的に適用できる可能性がある。したがって、大偏差理論は情報理論やリスク管理に応用されている。物理学において、大偏差理論の最もよく知られた応用は、熱力学と統計力学（エントロピーと速度関数の関係に関連して）である。^{[13] [14]}

大きな偏差とエントロピー

統計力学において、速度関数はエントロピーと関連しています。これは、次のように経験的に理解できます。統計力学において、特定のマクロ状態のエントロピーは、そのマクロ状態に対応するミクロ状態の数と関連しています。コイン投げの例では、平均値が特定のマクロ状態を表します。そして、特定の値を生み出す表と裏の特定のシーケンスが、特定のミクロ状態を構成します。大まかに言えば、マクロ状態を生み出すミクロ状態の数が多いほど、エントロピーが高くなります。そして、エントロピーが高い状態ほど、実際の実験で実現される可能性が高くなります。平均値が 1/2 (表と裏が同じ数) のマクロ状態は、それを生み出すミクロ状態の数が最も多く、まさにエントロピーが最も高い状態です。そして、ほとんどの実用的な状況では、このマクロ状態を多数の試行で得ることができます。一方、「速度関数」は特定のマクロ状態が出現する確率を測るものです。速度関数が小さいほど、マクロ状態が出現する確率は高くなります。コインを投げる場合、平均値が1/2のときの「速度関数」の値はゼロです。このように、「速度関数」は「エントロピー」の負の値と見ることができます。 ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$

大偏差理論における「速度関数」とカルバック・ライブラー情報量の間には関係があり、その関係はサノフの定理によって確立されている（サノフ^[11]およびノヴァク^[15]第14.5章を参照）。

特殊なケースでは、大きな偏差はグロモフ・ハウスドルフ限界の概念と密接に関連している。^[16]

参照

• 大偏差原理
• クラメールの大偏差定理
• チェルノフの不等式
• サノフの定理
• 収縮原理（大偏差理論） 、大偏差原理がどのように「前進」するかについての結果
• フリードリン・ウェンツェル定理、伊藤拡散に対する大偏差原理
• ルジャンドル変換、アンサンブル同値はこの変換に基づいています。
• ラプラス原理、 R ^dにおける大偏差原理
• ラプラス法
• シルダーの定理、ブラウン運動の大偏差原理
• ヴァラダンの補題
• 極値理論
• ガウス分布のランダム関数の大偏差

参考文献

1. SRS Varadhan、「漸近確率と微分方程式」、 Comm. Pure Appl. Math. 19 (1966)、261-286。
2. 「パフォーマンス分析のための大きな偏差：キュー、通信、コンピューティング」、シュワルツ、アダム、1953-TN: 1228486
3. Varadhan, SRS,The Annals of Probability 2008, Vol. 36, No. 2, 397–419, [1]
4. 「Large Deviations」（PDF） www.math.nyu.edu 2012年2月2日2024年6月11日閲覧。
5. SRS Varadhan, Large Deviations and Applications (SIAM, Philadelphia, 1984)
6. Touchette, Hugo (2009年7月1日). 「統計力学への大偏差アプローチ」. Physics Reports . 478 ( 1–3 ): 1–69 . arXiv : 0804.0327 . Bibcode :2009PhR...478....1T. doi :10.1016/j.physrep.2009.05.002. S2CID  118416390.
7. Dembo, Amir; Zeitouni, Ofer (2009年11月3日). Large Deviations Techniques and Applications. Springer Science & Business Media. p. 109. ISBN 978-3-642-03311-7。
8. Sethuraman, Jayaram; O., Robert (2011)、「中程度の偏差」、Lovric, Miodrag (ed.)、International Encyclopedia of Statistical Science、ベルリン、ハイデルベルク：Springer Berlin Heidelberg、pp.  847– 849、doi :10.1007/978-3-642-04898-2_374、ISBN 978-3-642-04897-5、 2023年7月2日閲覧
9. クラメール、H. (1944)。確率論の新しい極限定理について。ウスペキ・マテマチェスキフ・ナウク、(10)、166-178。
10. Petrov VV (1954) Cramérの極限定理の一般化. Uspehi Matem. Nauk, v. 9, No 4(62), 195--202.(ロシア語)
11. Sanov IN (1957) ランダムな大きさの大きな偏差の確率について。Matem. Sbornik, v. 42 (84), 11--44。
12. Dembo, A., Zeitouni, O. (2009). 大偏差の手法と応用 (第38巻). Springer Science & Business Media
13. Gingrich, Todd R.; Horowitz, Jordan M.; Perunov, Nikolay; England, Jeremy L. (2016年3月21日). 「散逸はすべての定常電流変動を規定する」. Physical Review Letters . 116 (12) 120601. arXiv : 1512.02212 . doi :10.1103/PhysRevLett.116.120601.
14. Harvey, Sarah E.; Lahiri, Subhaneil; Ganguli, Surya (2023年7月7日). 「非平衡細胞センシングにおける普遍的なエネルギー精度のトレードオフ」. Physical Review E. 108 ( 1) 014403. arXiv : 2002.10567 . doi :10.1103/PhysRevE.108.014403.
15. Novak SY (2011) 極値法とファイナンスへの応用. Chapman & Hall/CRC Press. ISBN 978-1-4398-3574-6。
16. 小谷 正之,砂田 毅. 結晶格子の大偏差と無限大接線円錐, Math. Z. 254, (2006), 837-870.

参考文献

• 特別招待論文：SRS Varadhan著「Large deviations」The Annals of Probability 2008, Vol. 36, No. 2, 397–419 doi :10.1214/07-AOP348
• 大偏差の基礎入門：理論、応用、シミュレーション、Hugo Touchette、arXiv：1106.4146。
• RS Ellis著『エントロピー、大偏差、統計力学』Springer Publication. ISBN 3-540-29059-1
• アラン・ワイスとアダム・シュワルツ著『パフォーマンス分析のための大偏差』チャップマン・アンド・ホールISBN 0-412-06311-5
• アミール・デンボとオフェル・ゼイトゥーニ著『Large Deviations Techniques and Applications』、Springer ISBN 0-387-98406-2
• フィラス・ラスール＝アガとティモ・セッペライネン著『ギブス測度入門を含む大偏差の講座』、Grad. Stud. Math.、162ページ、アメリカ数学会ISBN 978-0-8218-7578-0
• MI FreidlinとAD Wentzell著『Random Perturbations of Dynamical Systems』 、Springer ISBN 0-387-98362-7
• 「乗法ノイズを伴う2次元ナビエ・ストークス方程式の大きな偏差」SS SritharanとP. Sundar、確率過程とその応用、第116巻（2006年）1636-1659ページ[2]
• 「乱流の確率的シェルモデルの大きな偏差」、U. Manna、SS Sritharan、P. Sundar、NoDEA非線形微分方程式応用16（2009）、第4号、493-521。[3]