定常過程

数学および統計学において、定常過程（厳密な定常過程、厳密に定常な過程、強い定常過程、強い定常過程とも呼ばれる）とは、平均や分散などの統計特性が時間の経過に伴って変化しない確率過程である。より正式には、この過程の結合確率分布は、時間的に変化しても同じままである。これは、この過程が異なる期間にわたって統計的に一貫していることを意味する。時系列分析における多くの統計手法は定常性を前提としているため、非定常データは分析前に定常性を達成するために変換されることが多い。

非定常性の一般的な原因は平均のトレンドであり、これは単位根または決定論的トレンドのいずれかに起因する可能性があります。単位根の場合、確率的ショックの影響は永続的であり、プロセスは平均回帰しません。決定論的トレンドの場合、プロセスはトレンド定常と呼ばれます。ショックの影響は一時的なものとなり、変数は決定論的に変化する平均に向かう傾向があります。トレンド定常プロセスは厳密には定常ではありませんが、トレンドを除去することで定常化できます。同様に、単位根を持つプロセスは差分化によって定常化できます。

傾向のあるプロセスとは異なる別のタイプの非定常プロセスは、時間の経過に伴って周期的な変動を示す 周期定常プロセスです。

上記で定義した厳密な定常性は、多くの応用において制約が厳しすぎる場合があります。そのため、広義定常性やN次定常性といった他の形態の定常性がしばしば用いられます。異なる種類の定常性の定義は、著者によって必ずしも一致していません（その他の用語を参照）。

厳密な意味での定常性

意味

正式には、確率過程を とし、 をの無条件（すなわち、特定の初期値を参照しない）同時分布の累積分布関数とする。このとき、 が厳密に定常、強定常、または厳密な意味で定常であるとは、 ^{[ 1 ] : p. 155} のとき言われる。${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle F_{X}(x_{t_{1}+\tau},\ldots,x_{t_{n}+\tau})}$ ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle t_{1}+\tau ,\ldots ,t_{n}+\tau }$ ${\displaystyle \left\{X_{t}\right\}}$

${\displaystyle F_{X}(x_{t_{1}+\tau },\ldots ,x_{t_{n}+\tau })=F_{X}(x_{t_{1}},\ldots ,x_{t_{n}})\quad {\text{すべての }}\tau ,t_{1},\ldots ,t_{n}\in \mathbb {R} {\text{およびすべての }}n\in \mathbb {N} _{>0}} に対して$

式1

は影響を与えないので、は時間に依存しません。 ${\displaystyle \tau}$ ${\displaystyle F_{X}(\cdot )}$ ${\displaystyle F_{X}}$

例

上記は、定常プロセスと非定常プロセスの2つのシミュレートされた時系列プロセスを示しています。各プロセスについて拡張ディッキー・フラー検定（ADF）統計量が報告されています。2番目のプロセスについては、有意水準5%で非定常性を棄却できません。

ホワイト ノイズは定常プロセスの最も単純な例です。

離散時間定常過程において、標本空間も離散的である（つまり、確率変数がN個の可能な値のいずれかをとる）例として、ベルヌーイスキームが挙げられます。連続標本空間を持つ離散時間定常過程の他の例としては、自己回帰過程や移動平均過程が挙げられます。これらはいずれも自己回帰移動平均モデルのサブセットです。非自明な自己回帰成分を持つモデルは、パラメータ値に応じて定常または非定常のいずれかになります。重要な非定常の特殊なケースとしては、モデルに 単位根が存在する場合などがあります。

例1

を任意のスカラー確率変数とし、時系列を次のように 定義する。${\displaystyle Y}$ ${\displaystyle \left\{X_{t}\right\}}$

${\displaystyle X_{t}=Y\qquad {\text{すべてのtについて}}}$

は定常時系列であり、その実現値は一連の定数値から構成され、各実現値ごとに異なる定数値を持ちます。この場合、大数の法則は適用されません。単一の実現値からの平均の極限値は、の期待値ではなく、によって決定される乱数を取るためです。 ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle Y}$ ${\displaystyle Y}$

プロセスはエルゴード的でないため、の時間平均は収束しません。 ${\displaystyle X_{t}}$

例2

任意の単一の実現が明らかにノイズのない構造を持つ定常過程のさらなる例として、が一様分布を持ち、時系列を次のように 定義するとする。${\displaystyle Y}$ ${\displaystyle [0,2\pi ]}$ ${\displaystyle \left\{X_{t}\right\}}$

${\displaystyle X_{t}=\cos(t+Y)\quad {\text{ }}t\in \mathbb {R} の場合。}$

この場合、 は厳密に定常です。なぜなら、 ( を法として) は、任意の の場合と同じ均一分布に従うからです。 ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle (t+Y)}$ ${\displaystyle 2\pi }$ ${\displaystyle Y}$ ${\displaystyle t}$

例3

弱白色ノイズは必ずしも厳密に定常であるとは限らないことに留意してください。区間内で一様分布する確率変数を時系列と定義します。${\displaystyle \omega }$ ${\displaystyle (0,2\pi )}$ ${\displaystyle \left\{z_{t}\right\}}$

${\displaystyle z_{t}=\cos(t\omega )\quad (t=1,2,...)}$

それから

${\displaystyle {\begin{aligned}\mathbb {E} (z_{t})&={\frac {1}{2\pi }}\int _{0}^{2\pi }\cos(t\omega )\,d\omega =0,\\\operatorname {Var} (z_{t})&={\frac {1}{2\pi }}\int _{0}^{2\pi }\cos ^{2}(t\omega )\,d\omega =1/2,\\\operatorname {Cov} (z_{t},z_{j})&={\frac {1}{2\pi }}\int _{0}^{2\pi }\cos(t\omega )\cos(j\omega )\,d\omega =0\quad \forall t\neq j.\end{aligned}}}$

弱い意味でのホワイト ノイズも同様です (平均と相互共分散がゼロで、分散がすべて同じ)。ただし、厳密には定常ではありません。 ${\displaystyle \{z_{t}\}}$

N次定常性

式1において、確率過程の標本の分布は、すべての について、時間的にシフトした標本の分布と等しくなければなりません。N次定常性は、ある次数までのすべての についてのみ定常性が求められる、より弱い形態の定常性です。ランダム過程がN次定常であるとは、次の場合を言います。 ^{[ 1 ]：p. 152} ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle N}$ ${\displaystyle \left\{X_{t}\right\}}$

${\displaystyle F_{X}(x_{t_{1}+\tau },\ldots ,x_{t_{n}+\tau })=F_{X}(x_{t_{1}},\ldots ,x_{t_{n}})\quad {\text{for all }}\tau ,t_{1},\ldots ,t_{n}\in \mathbb {R} {\text{ and for all }}n\in \{1,\ldots ,N\}}$

式2

弱定常性または広義定常性

意味

信号処理で一般的に用いられる、より弱い定常性は、弱意味定常性、広意味定常性（WSS）、あるいは共分散定常性として知られています。WSSランダムプロセスでは、第1モーメント（つまり平均）と自己共分散が時間に対して変化せず、第2モーメントがすべての時間に対して有限であることのみが求められます。有限の平均と共分散を持つ厳密な定常プロセスはすべてWSSです。^{[ 2 ] : p. 299}

したがって、 WSS である連続時間ランダムプロセスに は、平均関数と自己共分散関数に次の制限があります。 ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle m_{X}(t)\triangleq \operatorname {E} [X_{t}]}$ ${\displaystyle K_{XX}(t_{1},t_{2})\triangleq \operatorname {E} [(X_{t_{1}}-m_{X}(t_{1}))(X_{t_{2}}-m_{X}(t_{2}))]}$

${\displaystyle {\begin{aligned}&m_{X}(t)=m_{X}(t+\tau )&&{\text{for all }}\tau ,t\in \mathbb {R} \\&K_{XX}(t_{1},t_{2})=K_{XX}(t_{1}-t_{2},0)&&{\text{for all }}t_{1},t_{2}\in \mathbb {R} \\&\operatorname {E} [|X_{t}|^{2}]<\infty &&{\text{for all }}t\in \mathbb {R} \end{aligned}}}$

式3

最初の性質は、平均関数が定数でなければならないことを意味します。2番目の性質は、自己共分散関数がと の差のみに依存し、2つの変数ではなく1つの変数でインデックス付けするだけでよいことを意味します。^{[ 1 ] : p. 159} したがって、次のように書く代わりに、 ${\displaystyle m_{X}(t)}$ ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$

${\displaystyle \,\!K_{XX}(t_{1}-t_{2},0)\,}$

この表記は、次のように省略されることが多い: ${\displaystyle \tau =t_{1}-t_{2}}$

${\displaystyle K_{XX}(\tau )\triangleq K_{XX}(t_{1}-t_{2},0)}$

これはまた、自己相関がのみに依存すること、すなわち ${\displaystyle \tau =t_{1}-t_{2}}$

${\displaystyle \,\!R_{X}(t_{1},t_{2})=R_{X}(t_{1}-t_{2},0)\triangleq R_{X}(\tau ).}$

3 番目の特性は、2 番目のモーメントは任意の時間に対して有限でなければならないというものです。 ${\displaystyle t}$

モチベーション

広義の定常性の主な利点は、時系列をヒルベルト空間の文脈に置くことである。Hを{ x ( t )}によって生成されるヒルベルト空間（つまり、与えられた確率空間上のすべての平方積分可能な確率変数のヒルベルト空間における、これらの確率変数のすべての線形結合の集合の閉包）とする。自己共分散関数の正定値性により、ボクナーの定理から、 Hが{ e ^{− 2πiξ⋅t} }によって生成されるL2 ( μ )のヒルベルト部分空間と同型となるような実数直線上の^正測度が存在することが示される。これにより^、連続時間定常確率過程の次のフーリエ型分解が得られる。すなわち、すべての${\displaystyle \mu }$ ${\displaystyle \omega _{\xi }}$ ${\displaystyle t}$

${\displaystyle X_{t}=\int e^{-2\pi i\lambda \cdot t}\,d\omega _{\lambda },}$

ここで、右辺の積分は適切な（リーマン）意味で解釈される。同じ結果は離散時間定常過程にも成り立ち、スペクトル測度は単位円上で定義される。

WSSランダム信号を線形時不変（LTI）フィルタで処理する場合、相関関数を線形演算子として考えると分かりやすい。相関関数は巡回演算子（2つの引数の差のみに依存する）であるため、その固有関数はフーリエ複素指数である。さらに、LTI演算子の固有関数も複素指数であるため、WSSランダム信号のLTI処理は非常に扱いやすく、すべての計算を周波数領域で実行できる。そのため、WSS仮定は信号処理アルゴリズムで広く用いられている。

複雑な確率過程の定義

が複雑な確率過程である場合、自己共分散関数は次のように定義され、式3の要件に加えて、擬似自己共分散関数は時間遅れのみに依存することが求められる。式において、 WSSは、 ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle K_{XX}(t_{1},t_{2})=\operatorname {E} [(X_{t_{1}}-m_{X}(t_{1})){\overline {(X_{t_{2}}-m_{X}(t_{2}))}}]}$ ${\displaystyle J_{XX}(t_{1},t_{2})=\operatorname {E} [(X_{t_{1}}-m_{X}(t_{1}))(X_{t_{2}}-m_{X}(t_{2}))]}$ ${\displaystyle \left\{X_{t}\right\}}$

${\displaystyle {\begin{aligned}&m_{X}(t)=m_{X}(t+\tau )&&{\text{for all }}\tau ,t\in \mathbb {R} \\&K_{XX}(t_{1},t_{2})=K_{XX}(t_{1}-t_{2},0)&&{\text{for all }}t_{1},t_{2}\in \mathbb {R} \\&J_{XX}(t_{1},t_{2})=J_{XX}(t_{1}-t_{2},0)&&{\text{for all }}t_{1},t_{2}\in \mathbb {R} \\&\operatorname {E} [|X(t)|^{2}]<\infty &&{\text{for all }}t\in \mathbb {R} \end{aligned}}}$

式4

共同定常性

定常性の概念は、2 つの確率過程に拡張できます。

厳密な意味での共同定常性

2つの確率過程とが、それらの累積分布が時間シフトの下で不変である場合、すなわち、 ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \left\{Y_{t}\right\}}$ ${\displaystyle F_{XY}(x_{t_{1}},\ldots ,x_{t_{m}},y_{t_{1}^{'}},\ldots ,y_{t_{n}^{'}})}$

${\displaystyle F_{XY}(x_{t_{1}},\ldots ,x_{t_{m}},y_{t_{1}^{'}},\ldots ,y_{t_{n}^{'}})=F_{XY}(x_{t_{1}+\tau },\ldots ,x_{t_{m}+\tau },y_{t_{1}^{'}+\tau },\ldots ,y_{t_{n}^{'}+\tau })\quad {\text{for all }}\tau ,t_{1},\ldots ,t_{m},t_{1}^{'},\ldots ,t_{n}^{'}\in \mathbb {R} {\text{ and for all }}m,n\in \mathbb {N} }$

式5

共同( M + N )次定常性

2つのランダムプロセスが( M  +  N )次の定常状態にあるとは次の条件を満たす場合であると言われる: ^{[ 1 ] : p. 159} ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \left\{Y_{t}\right\}}$

${\displaystyle F_{XY}(x_{t_{1}},\ldots ,x_{t_{m}},y_{t_{1}^{'}},\ldots ,y_{t_{n}^{'}})=F_{XY}(x_{t_{1}+\tau },\ldots ,x_{t_{m}+\tau },y_{t_{1}^{'}+\tau },\ldots ,y_{t_{n}^{'}+\tau })\quad {\text{for all }}\tau ,t_{1},\ldots ,t_{m},t_{1}^{'},\ldots ,t_{n}^{'}\in \mathbb {R} {\text{ and for all }}m\in \{1,\ldots ,M\},n\in \{1,\ldots ,N\}}$

式6

共同弱定常性または広義定常性

2つの確率過程とが共に広義定常であるとは、両者が広義定常であり、かつそれらの相互共分散関数が時間差のみに依存する場合を言う。これは以下のように要約できる。 ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \left\{Y_{t}\right\}}$ ${\displaystyle K_{XY}(t_{1},t_{2})=\operatorname {E} [(X_{t_{1}}-m_{X}(t_{1}))(Y_{t_{2}}-m_{Y}(t_{2}))]}$ ${\displaystyle \tau =t_{1}-t_{2}}$

${\displaystyle {\begin{aligned}&m_{X}(t)=m_{X}(t+\tau )&&{\text{for all }}\tau ,t\in \mathbb {R} \\&m_{Y}(t)=m_{Y}(t+\tau )&&{\text{for all }}\tau ,t\in \mathbb {R} \\&K_{XX}(t_{1},t_{2})=K_{XX}(t_{1}-t_{2},0)&&{\text{for all }}t_{1},t_{2}\in \mathbb {R} \\&K_{YY}(t_{1},t_{2})=K_{YY}(t_{1}-t_{2},0)&&{\text{for all }}t_{1},t_{2}\in \mathbb {R} \\&K_{XY}(t_{1},t_{2})=K_{XY}(t_{1}-t_{2},0)&&{\text{for all }}t_{1},t_{2}\in \mathbb {R} \end{aligned}}}$

式7

定常性の種類間の関係

• 確率過程がN次定常である場合、すべての⁠ ⁠に対してM次定常でもあります。${\displaystyle M\leq N}$
• 確率過程が2次定常（）であり、有限の2次モーメントを持つ場合、それは広義の定常でもある。^{[ 1 ]：p.159} ${\displaystyle N=2}$
• 確率過程が広義の定常性を示す場合、必ずしも二次定常性を示すとは限らない。^{[ 1 ]：p.159}
• 確率過程が厳密な意味で定常であり、有限の2次モーメントを持つ場合、それは広義の意味で定常である。^{[ 2 ]：p.299}
• 2つの確率過程が共同で( M  +  N )次の定常状態にあるとしても、個々の過程がM次、あるいはN次の定常状態にあることを保証するものではない。^{[ 1 ] :p.159}

その他の用語

厳密な定常性以外の定常性の種類に使用される用語は、かなり多岐にわたる場合があります。以下にいくつか例を挙げます。

• プリーストリーは、ここで広義の定常性について示したものと同様の条件が次数mまでのモーメントにも当てはまる場合、次数mまで定常と 定義している。^{[ 3 ] [ 4 ]}したがって、広義の定常性は「次数2まで定常」と同等であり、ここで示した2次定常性の定義とは異なる。
• HonarkhahとCaersは、多点地統計学の文脈でも定常性の仮定を使用しており、n点以上の統計量は空間領域で定常であると仮定している。^{[ 5 ]}

非定常プロセスを定常化する手法

時系列解析と確率過程において、時系列の定常化は、非定常過程を定常過程に変換することを目的とした重要な前処理ステップです。これを実現するための手法は、存在する非定常性のタイプと次数に応じていくつか存在します。過程の平均が時間とともに変化する 1 次の非定常性の場合、差分法が一般的かつ効果的な手法です。差分法では、各値をその前の値から減算することで系列を変換し、平均を安定させます。2 次までの非定常性の場合、時間周波数解析 (ウェーブレット変換、ウィグナー分布関数、短時間フーリエ変換など) を使用して、時間局所的な非定常スペクトル成分を分離して抑制することができます。さらに、サロゲート データ法を使用して、元の時系列の厳密に定常なバージョンを構築することもできます。非定常時系列を識別する方法の 1 つは、ACFプロットです。場合によっては、元の時系列よりも ACF プロットの方がパターンがはっきりと見えることがあります。しかし、必ずしもそうとは限りません。^{[ 6 ]}

時系列定常化手法の選択は、非定常性の性質と分析の目的によって決まります。特に、ARMAやスペクトルベースの手法など、厳密な定常性の仮定を必要とするモデルを構築する場合は、その選択が重要になります。時系列定常化手法のいくつかの詳細については、以下を参照してください。

差分法による定常化

時系列を一次定常状態にする方法の一つは、連続する観測値間の差分を計算することです。これは差分化と呼ばれます。差分化は、時系列の水準の変化を除去し、トレンドを排除することで、時系列の平均を安定化させるのに役立ちます。また、差分化が適切に行われれば（例えば、1年間隔の観測値間の差分化を行うことで年間トレンドを除去するなど）、季節性も除去できます。対数変換などの変換は、時系列の分散を安定化させるのに役立ちます。

代理法による定常化

定常化のための代理法^{[ 7 ]}は、元の系列の特定の統計的特性を保持しながら非定常成分を除去する新しい時系列を生成することによって機能します。^{[ 8 ] [ 9 ] [ 10 ]}一般的なアプローチは、元の時系列にフーリエ変換を適用して、その振幅と位相スペクトルを取得することです。周波数にわたるパワー分布を決定する振幅スペクトルは、グローバルな自己相関構造を維持するために保持されます。周波数成分の時間的配列をエンコードし、時系列の時間依存ダイナミクス（非定常性など）の原因となることが多い位相スペクトルは、次にランダム化されます。通常、実数値の逆を確実にするために共役対称性を強制しながら、一様に抽出された一連のランダム位相で置き換えます。修正されたスペクトルに逆フーリエ変換を適用すると、厳密に定常な代替時系列が得られる。^{[ 11 ]}これは元のスペクトルと同じパワースペクトルを持つが、非定常性の原因となる時間的構造が欠如している。この手法は、定常性を調べるための仮説検定でよく用いられる。^{[ 8 ] [ 10 ] [ 12 ] [ 13 ]}${\displaystyle [-\pi ,\pi ]}$

参照

• レヴィ過程
• 定常エルゴード過程
• ウィーナー・ヒンチンの定理
• エルゴード性
• 統計的な規則性
• 自己相関
• ウィットル尤度

参考文献

1. パーク、クン・イル (2018).確率過程の基礎と通信への応用. シュプリンガー. ISBN 978-3-319-68074-3。
2. イオヌート・フロレスク（2014年11月7日）.確率と確率過程. ジョン・ワイリー・アンド・サンズ. ISBN 978-1-118-59320-2。
3. プリーストリー、MB（1981年）。スペクトル解析と時系列。アカデミック・プレス。ISBN 0-12-564922-3。
4. プリーストリー、MB（1988年）。非線形および非定常時系列分析。アカデミック・プレス。ISBN 0-12-564911-8。
5. Honarkhah, M.; Caers, J. (2010). 「距離ベースパターンモデリングを用いたパターンの確率的シミュレーション」. Mathematical Geosciences . 42 (5): 487– 517. Bibcode : 2010MatGe..42..487H . doi : 10.1007/s11004-010-9276-7 .
6. Hyndman, Rob J.; Athanasopoulos, George. 「8.1 定常性と差分化」『予測：原則と実践』（第2版）OTexts . 2016年5月18日閲覧。
7. ピエール・ボルグナットとパトリック・フランドラン (2009). 代理関数による定常化. 統計力学ジャーナル: 理論と実験, 2009年第1号, https://iopscience.iop.org/article/10.1088/1742-5468/2009/01/P01001
8. Pierre Borgnat et al. (2010). サロゲートを用いた定常性の検証：時間周波数アプローチ. IEEE Transactions on Signal Processing, vol. 58, n. 7, pp. 3459-3470 https://ieeexplore.ieee.org/document/5419113
9. Pierre Borgnat他 (2011). Transitional Surrogates. 2011 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 3600-3603 https://ieeexplore.ieee.org/document/5946257
10. Douglas Baptista de Souza他 (2019). 代替データに基づく改良定常性検定. IEEE Signal Processing Letters, vol. 26, n. 10, pp. 1431-1435 https://ieeexplore.ieee.org/abstract/document/8777090
11. Cédric Richard et al. (2010). 信号の定常性を確認するための時間周波数サロゲートを用いた統計的仮説検定．2010 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 3666-3669 https://ieeexplore.ieee.org/document/5495887
12. Douglas Baptista de Souza 他 (2012). 広義定常性の検定のための改良時間周波数法. 2012 IEEE 国際音響・音声・信号処理会議, pp. 3409-3412 https://ieeexplore.ieee.org/abstract/document/6288648
13. Jun Xiao et al. (2007). サロゲートを用いた定常性のテスト - 1クラスSVMアプローチ. 2007 IEEE/SP 第14回統計信号処理ワークショップ, pp. 720-724 https://ieeexplore.ieee.org/document/4301353

さらに読む

• エンダース、ウォルター（2010年）『応用計量時系列（第3版）』ニューヨーク：ワイリー、  pp.53-57、ISBN 978-0-470-50539-7。
• Jestrovic, I.; Coyle, JL; Sejdic, E (2015). 「健常成人における流体粘度上昇が脳波信号の定常特性に及ぼす影響」 . Brain Research . 1589 : 45–53 . doi : 10.1016/j.brainres.2014.09.035 . PMC  4253861. PMID  25245522 .
• ハインドマン、アタナソプロス (2013). 『予測：原則と実践』 Otexts. https://www.otexts.org/fpp/8/1

外部リンク

• ランダム関数のスペクトル分解（Springer）