最小二乗関数近似

数学において、最小二乗関数近似は、他の関数の重み付き和を用いて、最小二乗の原理を関数近似に適用するものです。最良の近似とは、元の関数と近似値の差を最小化するものと定義されます。最小二乗法では、近似値の精度は、両者の差の二乗で測定されます。

機能解析

データセットの近似の一般化は、関数を他の関数の和（通常は直交集合）で近似することです。^[1]

${\displaystyle f(x)\approx f_{n}(x)=a_{1}\phi _{1}(x)+a_{2}\phi _{2}(x)+\cdots +a_{n}\phi _{n}(x),\ }$

関数の集合{ }は、関心のある区間、例えば[a, b]において正規直交集合となる。フェイエルの定理も参照のこと。係数{ }は、差|| f − f _n || ^{2の大きさが可能な限り小さくなるように選択される。例えば、}区間[a, b]における関数g ( x )の大きさ、あるいはノルムは、次のように定義される。^[2]${\displaystyle \ \phi _{j}(x)}$ ${\displaystyle \ a_{j}}$

${\displaystyle \|g\|=\left(\int _{a}^{b}g^{*}(x)g(x)\,dx\right)^{1/2}}$

ここで、'*'は複素関数の場合の複素共役を表す。このようにピタゴラスの定理を拡張すると、関数空間とルベーグ測度の概念が導かれる。これはユークリッド幾何学の元々の基礎よりも一般的な「空間」の概念である。{ }は${\displaystyle \phi _{j}(x)\ }$ 直交関係を満たす ：^[3]

${\displaystyle \int _{a}^{b}\phi _{i}^{*}(x)\phi _{j}(x)\,dx=\delta _{ij},}$

ここでδ _ijはクロネッカーのデルタである。これらの式に関数f _nを代入すると、 n次元ピタゴラスの定理が導かれる。^[4]

${\displaystyle \|f_{n}\|^{2}=|a_{1}|^{2}+|a_{2}|^{2}+\cdots +|a_{n}|^{2}.\,}$

|| f − f _n || ^{2 を}可能な限り小さくする係数 { a _j } は次の式で表される: ^[1]

${\displaystyle a_{j}=\int _{a}^{b}\phi _{j}^{*}(x)f(x)\,dx.}$

n次元ピタゴラスの定理を無限次元  実内積空間に一般化したもの、パーセバルの恒等式、あるいはパーセバル方程式として知られています。^[5]このような関数の表現の具体的な例としては、フーリエ級数と一般化フーリエ級数があります。

さらなる議論

線形代数の使用

したがって、上の連続関数と の部分空間である関数の 2 つの関数間の領域を最小化することで、別の関数の「最良」近似値を求めることができます。 ${\displaystyle f}$ ${\displaystyle [a,b]}$ ${\displaystyle g\in W}$ ${\displaystyle W}$ ${\displaystyle C[a,b]}$

${\displaystyle {\text{Area}}=\int _{a}^{b}\left\vert f(x)-g(x)\right\vert \,dx,}$

すべて部分空間内に存在する。絶対値を含む積分関数の評価はしばしば困難となるため、代わりに次のように定義することができる。 ${\displaystyle W}$

${\displaystyle \int _{a}^{b}[f(x)-g(x)]^{2}\,dx}$

内積空間 に関する の最小二乗近似関数 を得るための適切な基準として。 ${\displaystyle g}$ ${\displaystyle f}$ ${\displaystyle W}$

したがって、または同等に、はベクトル形式で次のように表すことができます。 ${\displaystyle \lVert f-g\rVert ^{2}}$ ${\displaystyle \lVert f-g\rVert }$

${\displaystyle \int _{a}^{b}[f(x)-g(x)]^{2}\,dx=\left\langle f-g,f-g\right\rangle =\lVert f-g\rVert ^{2}.}$

言い換えれば、 の最小二乗近似は、内積 に関して に最も近い関数です。さらに、これは次の定理に当てはまります。 ${\displaystyle f}$ ${\displaystyle g\in {\text{ subspace }}W}$ ${\displaystyle f}$ ${\displaystyle \left\langle f,g\right\rangle }$

が上で連続し、が の有限次元部分空間であるとする。を に関して最小二乗近似する関数は次のように与えられる。 ${\displaystyle f}$ ${\displaystyle [a,b]}$ ${\displaystyle W}$ ${\displaystyle C[a,b]}$ ${\displaystyle f}$ ${\displaystyle W}$

${\displaystyle g=\left\langle f,{\vec {w}}_{1}\right\rangle {\vec {w}}_{1}+\left\langle f,{\vec {w}}_{2}\right\rangle {\vec {w}}_{2}+\cdots +\left\langle f,{\vec {w}}_{n}\right\rangle {\vec {w}}_{n},}$

ここではの直交基底です。${\displaystyle B=\{{\vec {w}}_{1},{\vec {w}}_{2},\dots ,{\vec {w}}_{n}\}}$ ${\displaystyle W}$

参考文献

1. コルネリウス・ランチョス (1988). 応用解析学（1956年プレンティス・ホール版の再版）ドーバー出版. pp.  212– 213. ISBN  0-486-65656-X。
2. ジェラルド・B・フォランド (2009). 「方程式3.14」.フーリエ解析とその応用(ワズワースとブルックス/コール社1992年版の再版). アメリカ数学会書店. p. 69. ISBN  978-0-8218-4790-9。
3. フォーランド、ジェラルド・B (2009). フーリエ解析とその応用. アメリカ数学会. p. 69. ISBN  978-0-8218-4790-9。
4. David J. Saville, Graham R. Wood (1991). 「§2.5 平方和」.統計手法：幾何学的アプローチ（第3版）. Springer. p. 30. ISBN  0-387-97517-9。
5. Gerald B Folland (2009-01-13). 「方程式3.22」.引用文献. アメリカ数学会 p. 77. ISBN  978-0-8218-4790-9。