最小二乗法

マクロ経済学におけるオークンの法則は、ある経済においてGDP成長率は失業率の変化に線形に依存すると述べている。ここでは、この法則を記述する回帰直線を作成するために、通常の最小二乗法が用いられている。

統計学において、通常最小二乗法（OLS）は、線形回帰モデル（説明変数の線形関数のレベル1 ^{[説明が必要]}効果が固定）における未知のパラメータを最小二乗原理によって選択する線形最小二乗法の一種である。最小二乗原理とは、入力データセット内の観測された従属変数（観測される変数の値）と独立変数の（線形）関数の出力との差の二乗和を最小化することである。OLSは線形回帰であると考える情報源もある。^[1]

幾何学的には、これは従属変数の軸に平行な、セット内の各データ点と回帰面上の対応する点との間の距離の二乗和として捉えられます。差が小さいほど、モデルはデータに適合していると言えます。得られた推定値は、特に回帰式の右辺に 単一の回帰変数が存在する単回帰の場合、簡単な式で表すことができます。

OLS推定量は、回帰変数が外生的である場合にレベル1の固定効果と整合しており、完全な共線性（順位条件）を形成し、回帰変数が有限の4次モーメントを持つ場合^[2]に残差の分散推定と整合しており、ガウス・マルコフの定理により、誤差が等分散かつ連続的に無相関である場合に線型不偏推定量のクラスで最適である。これらの条件下では、誤差が有限分散を持つ場合、 OLS法は最小分散平均不偏推定値を提供する。誤差が平均ゼロで正規分布するという追加の仮定の下では、OLSはあらゆる非線型不偏推定量よりも優れた最大尤度推定量である。

線形モデル

データが観測値で構成されていると仮定します。各観測値には、スカラー応答変数とパラメータ（回帰変数）の列ベクトル（つまり ）が含まれます。線形回帰モデルにおいて、応答変数 は回帰変数の線形関数です。 ${\displaystyle n}$ ${\displaystyle \left\{\mathbf {x} _{i},y_{i}\right\}_{i=1}^{n}}$ ${\displaystyle i}$ ${\displaystyle y_{i}}$ ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle p}$ ${\displaystyle \mathbf {x} _{i}=\left[x_{i1},x_{i2},\dots ,x_{ip}\right]^{\operatorname {T} }}$ ${\displaystyle y_{i}}$

${\displaystyle y_{i}=\beta _{1}\ x_{i1}+\beta _{2}\ x_{i2}+\cdots +\beta _{p}\ x_{ip}+\varepsilon _{i},}$

またはベクトル形式では、

${\displaystyle y_{i}=\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}+\varepsilon _{i},\,}$

ここで、前述のように、 はすべての説明変数の - 番目の観測値の列ベクトルであり、 は未知のパラメータのベクトルであり、スカラーは- 番目の観測値の観測されていない確率変数（誤差）を表します。 は、説明変数以外の情報源からの応答への影響を考慮します。このモデルは、行列表記で次のように表すこともできます。 ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle i}$ ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle p\times 1}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle i}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle \mathbf {x} _{i}}$

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

ここで、 とは応答変数と観測値の誤差のベクトルであり、 は回帰変数の行列（設計行列 とも呼ばれる）で、その行はであり、すべての説明変数の 番目の観測値が含まれます。 ${\displaystyle \mathbf {y} }$ ${\displaystyle {\boldsymbol {\varepsilon }}}$ ${\displaystyle n\times 1}$ ${\displaystyle n}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n\times p}$ ${\displaystyle i}$ ${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }}$ ${\displaystyle i}$

典型的には、例えばすべての に対してをとることによって、回帰変数の集合に定数項 が含まれる。この回帰変数に対応する係数は切片 と呼ばれる。切片がないと、近似直線は のときに原点と交差する。 ${\displaystyle \mathbf {X} }$ ${\displaystyle x_{i1}=1}$ ${\displaystyle i=1,\dots ,n}$ ${\displaystyle \beta _{1}}$ ${\displaystyle x_{i}={\vec {0}}}$

推定値の一貫性を保つために、回帰変数は独立している必要はありません。例えば、非線形従属関係にある場合もあります。完全な多重共線性がない場合でも、パラメータ推定値は一貫性を保つ可能性があります。しかし、多重共線性が高まるにつれて、そのような推定値の標準誤差が増加し、推定値の精度が低下します。完全な多重共線性がある場合、関連する回帰変数の係数について一意の推定値を得ることはもはや不可能であり、これらのパラメータの推定値は収束しません（したがって、一貫性を保つことはできません）。

回帰変数が非線形従属的であるにもかかわらず、推定値が整合している可能性がある具体的な例として、応答変数が値とその二乗の両方に線形従属すると疑われる場合が挙げられます。この場合、値が別の回帰変数の二乗に等しい回帰変数を1つ追加します。この場合、モデルは2番目の回帰変数では2次式になりますが、パラメータ（ ）に関しては依然として線形であるため、線形モデルとみなされます。 ${\displaystyle {\boldsymbol {\beta }}}$

行列/ベクトル定式化

過剰決定系を考える

${\displaystyle \sum _{j=1}^{p}x_{ij}\beta _{j}=y_{i},\ (i=1,2,\dots ,n),}$

係数が未知で、、 である線形方程式の式。これは行列形式 で次のように表すことができる。${\displaystyle n}$ ${\displaystyle p}$ ${\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{p}}$ ${\displaystyle n>p}$

${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} ,}$

ここで

${\displaystyle \mathbf {X} ={\begin{bmatrix}X_{11}&X_{12}&\cdots &X_{1p}\\X_{21}&X_{22}&\cdots &X_{2p}\\\vdots &\vdots &\ddots &\vdots \\X_{n1}&X_{n2}&\cdots &X_{np}\end{bmatrix}},\qquad {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\qquad \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}.}$

（注：上記のような線形モデルでは、 のすべての要素にデータポイントの情報が含まれているわけではありません。最初の列には1、 が入力されます。他の列にのみ実際のデータが含まれます。したがって、 は回帰変数の数に1を加えた数に等しくなります）。 ${\displaystyle \mathbf {X} }$ ${\displaystyle X_{i1}=1}$ ${\displaystyle p}$

このようなシステムは通常、正確な解を持たないため、代わりに、二次最小化問題を 解くという意味で、方程式に「最もよく適合する」係数を見つけることが目標となる。${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\,S({\boldsymbol {\beta }}),}$

ここで目的関数は次のように与えられる。 ${\displaystyle S}$

${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{n}\left|y_{i}-\sum _{j=1}^{p}X_{ij}\beta _{j}\right|^{2}=\left\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right\|^{2}.}$

この基準を選択した根拠は、以下の「特性」で示されています。この最小化問題は、行列の列が線形独立である場合、いわゆる正規方程式を解くことで得られる唯一の解を持ちます。${\displaystyle p}$ ${\displaystyle \mathbf {X} }$

${\displaystyle \left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right){\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{\operatorname {T} }\mathbf {y} \ .}$

行列は正規行列またはグラム行列として知られ、行列は回帰のモーメント行列として知られ、回帰変数によって表される。^[3]最後に、は最小二乗超平面の係数ベクトルであり、次のように表される 。${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }$ ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {y} }$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} .}$

または

${\displaystyle {\hat {\boldsymbol {\beta }}}={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}.}$

推定

b がパラメータベクトルβの「候補」値であると仮定する。i番目の観測値の残差と呼ばれる量y i − x i T b は、データ_点( x _i ^, y i ) と超平面 y = x T b 間の垂直距離を測定し、実際_のデータと_モデルの適合度を評価^する。残差二乗和( SSR ) (誤差二乗和( ESS ) または残差二乗和( RSS ) とも呼ばれる) ^[4]は、モデル全体の適合度を示す指標である。

${\displaystyle S(b)=\sum _{i=1}^{n}(y_{i}-x_{i}^{\operatorname {T} }b)^{2}=(y-Xb)^{\operatorname {T} }(y-Xb),}$

ここで、Tは転置行列 を表し、 Xの行は従属変数の特定の値に関連付けられたすべての独立変数の値を表し、X _i = x _i ^{Tである。この合計を最小化する}bの値は、 βの OLS 推定値と呼ばれる。関数S ( b ) はbの2次関数で、正定値ヘッセ行列を持つため、この関数は で唯一の大域的最小値を持ち、これは明示的な式^{[5] [証明]}で与えられる。${\displaystyle b={\hat {\beta }}}$

${\displaystyle {\hat {\beta }}=\operatorname {argmin} _{b\in \mathbb {R} ^{p}}S(b)=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y\ .}$

積N = X ^T Xはグラム行列であり、その逆行列Q = N ⁻¹はβの補因子行列であり、^{[6] [7] [8]共分散行列}C _βと密接に関連している。行列 ( X ^T X ) ⁻¹ X ^T = Q X ^TはXのムーア・ペンローズ擬似逆行列と呼ばれる。この定式化は、説明変数間に完全な多重共線性がない（グラム行列の逆行列がなくなる） 場合にのみ推定を実行できるという点を強調している。   

予測

βを推定した後、回帰分析からの 適合値（または予測値）は次のようになります

${\displaystyle {\hat {y}}=X{\hat {\beta }}=Py,}$

ここでP = X ( X ^T X ) ⁻¹ X ^Tは、Xの列によって張られる空間Vへの射影行列です。この行列Pは、変数yに「帽子をかぶせる」ため、ハット行列と呼ばれることもあります。 Pと密接に関連するもう1つの行列は、消滅行列M = I _n − Pです。これは、 Vに直交する空間への射影行列です。行列PとMはどちらも対称かつべき等であり（つまり、P ² = PおよびM ² = M ）、恒等式PX = XおよびMX = 0を介してデータ行列Xに関連します。^[9]行列M は回帰からの 残差を作成します。

${\displaystyle {\hat {\varepsilon }}=y-{\hat {y}}=y-X{\hat {\beta }}=My=M(X\beta +\varepsilon )=(MX)\beta +M\varepsilon =M\varepsilon .}$

予測値の分散は、予測値の 分散共分散行列の主対角線に現れます。${\displaystyle s_{{\hat {y}}_{i}}^{2}}$

${\displaystyle C_{\hat {y}}=s^{2}P,}$

ここでPは射影行列、s2^は標本分散である。^[10] 完全な行列は非常に大きいため、その対角要素は次のように個別に計算できる。

${\displaystyle s_{{\hat {y}}_{i}}^{2}=s^{2}X_{i}(X^{T}X)^{-1}X_{i}^{T},}$

ここで、X _iは行列Xのi番目の行です。

標本統計量

これらの残差を用いて、縮約カイ二乗統計量 を用いて標本分散s²を推定することができ^ます

${\displaystyle s^{2}={\frac {{\hat {\varepsilon }}^{\mathrm {T} }{\hat {\varepsilon }}}{n-p}}={\frac {(My)^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }M^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }My}{n-p}}={\frac {S({\hat {\beta }})}{n-p}},\qquad {\hat {\sigma }}^{2}={\frac {n-p}{n}}\;s^{2}}$

分母n − pは統計的自由度である。最初の量s ^2はσ ²の OLS 推定値であり、2 番目の量はσ ²の MLE 推定値である。2 つの推定値は大規模なサンプルでは非常に類似している。つまり、最初の推定値は常に不偏であるのに対し、2 番目の推定値は偏りがあるものの、平均二乗誤差はより小さくなる。実際には、仮説検定にはs ^{2の方が便利なので、より頻繁に使用される。} s ²の平方根は回帰標準誤差、^[11]回帰の標準誤差、^{[12] [13]}または方程式 の標準誤差と呼ばれる。^[9]${\displaystyle \scriptstyle {\hat {\sigma }}^{2}}$

OLS回帰の適合度を評価する際、標本の初期変動がXに回帰することでどの程度減少するかを比較するのが一般的です。決定係数 R ²は、回帰の平方和が残差の平方和と等しい場合における、従属変数yの「説明された」変動と「全体の」変動の比として定義されます。 ^[14]

${\displaystyle R^{2}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}={\frac {y^{\mathrm {T} }P^{\mathrm {T} }LPy}{y^{\mathrm {T} }Ly}}=1-{\frac {y^{\mathrm {T} }My}{y^{\mathrm {T} }Ly}}=1-{\frac {\rm {RSS}}{\rm {TSS}}}}$

ここで、TSSは従属変数の平方和の総和であり、n × nの1の行列です。（は中心化行列であり、定数回帰と同等です。つまり、変数から平均値を単純に減算するだけです。） R ^{2 が}意味を持つためには、回帰変数のデータの行列Xに、回帰切片を係数とする定数を表す1の列ベクトルが含まれている必要があります。この場合、R ²は常に0から1の間の数値となり、1に近い値は適合度が高いことを示します。 ${\textstyle L=I_{n}-{\frac {1}{n}}J_{n}}$ ${\textstyle J_{n}}$ ${\displaystyle L}$

単純線形回帰モデル

データ行列X が定数とスカラー回帰変数x _iの2つの変数のみを含む場合、これは「単回帰モデル」と呼ばれます。このケースは、手計算にも適した非常に単純な式を提供するため、統計学の入門クラスでよく取り上げられます。パラメータは一般的に( α , β )と表記されます。

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

この場合の最小二乗推定値は簡単な式で与えられる。

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{n}{(x_{i}-{\bar {x}})^{2}}}}\\[2pt]{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}\ ,\end{aligned}}}$

他の導出

前のセクションでは、最小二乗推定値はモデルの残差二乗和を最小化する値として得られました。しかし、他のアプローチから同じ推定値を導出することも可能です。いずれの場合も、OLS推定値の式は同じです：^{^} β = ( X ^T X ) ⁻¹ X ^T y。唯一の違いは、この結果をどのように解釈するかです ${\displaystyle {\hat {\beta }}}$

投影

OLS推定は、回帰変数によって張られる線形空間への投影として見ることができます。（ここで、との各列はデータ行列の列を指します。）${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

数学者にとって、OLS法は過剰決定線形方程式Xβ≈y（βは未知数）の近似解です。この方程式系を正確に解くことはできないと仮定すると（方程式の数nが未知数pよりもはるかに大きい場合）、右辺と左辺の差が最小となるような解を求めます。言い換えれば、

${\displaystyle {\hat {\beta }}={\rm {arg}}\min _{\beta }\,\lVert \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\rVert ^{2},}$

ここで、 ‖ · ‖はn次元ユークリッド空間R ⁿにおける標準L ² ノルムである。予測値Xβは、回帰変数のベクトルの特定の線形結合にすぎない。したがって、残差ベクトルy − Xβは、 y をXの列によって張られる線形部分空間に直交投影したときに最小の長さになる。この場合の OLS 推定値は、Xの基底に沿った^{^} y = Pyのベクトル分解の係数として解釈できる。 ${\displaystyle {\hat {\beta }}}$

言い換えれば、最小値における勾配方程式は次のように表すことができます。

${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }\mathbf {X} =0.}$

これらの方程式の幾何学的解釈は、任意の共形ベクトル v に対してドット積がゼロとなるため、残差ベクトル は X の列空間に直交するというものです。これは、がすべての可能なベクトルの中で最短であること、つまり残差の分散が最小であることを意味します。これは右に示されています。 ${\displaystyle \mathbf {y} -X{\hat {\boldsymbol {\beta }}}}$ ${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\cdot \mathbf {X} \mathbf {v} }$ ${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}}}$ ${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$

行列が非特異であり、K ^T X = 0（直交射影を参照）という仮定の下で行列Kを導入すると、残差ベクトルは次の式を満たす必要があります。 ${\displaystyle {\hat {\boldsymbol {\gamma }}}}$ ${\displaystyle [\mathbf {X} \ \mathbf {K} ]}$

${\displaystyle {\hat {\mathbf {r} }}:=\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {K} {\hat {\boldsymbol {\gamma }}}.}$

したがって、線形最小二乗法の方程式と解は次のように記述されます。

${\displaystyle {\begin{aligned}\mathbf {y} &={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}{\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}},\\{}\Rightarrow {\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}}&={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}^{-1}\mathbf {y} ={\begin{bmatrix}\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\\\left(\mathbf {K} ^{\top }\mathbf {K} \right)^{-1}\mathbf {K} ^{\top }\end{bmatrix}}\mathbf {y} .\end{aligned}}}$

別の見方としては、回帰直線をデータセット内の任意の2点を通る直線の加重平均とみなすことです。^[15]この計算方法は計算コストは​​高くなりますが、OLSに対するより直観的な理解が得られます。

最尤法

OLS推定量は、誤差項の正規性仮定の下では最大尤度推定量（MLE）と同一である。 ^{[16] [証明]}この正規性仮定は、ユールとピアソンによる線型回帰分析の初期の研究の基礎となったため、歴史的に重要な意味を持つ。[^要出典] MLEの特性から、正規性仮定が満たされる場合、OLS推定量は漸近的に効率的である（分散のクラメール-ラオ境界を達成するという意味で）と推論できる。^[17]

一般化モーメント法

iidの場合、OLS推定量はモーメント条件から生じる GMM推定量として見ることもできる。

${\displaystyle \mathrm {E} {\big [}\,x_{i}\left(y_{i}-x_{i}^{\operatorname {T} }\beta \right)\,{\big ]}=0.}$

これらのモーメント条件は、回帰変数が誤差と無相関でなければならないことを規定しています。x _iはpベクトルであるため、モーメント条件の数はパラメータベクトルβの次元に等しく、したがってシステムは正確に同定されます。これは、推定量が重み行列の選択に依存しない、いわゆる古典的GMMの場合です。

元々の厳密な外生性仮定E[ ε _i  |  x _i ] = 0は、上記よりもはるかに豊富なモーメント条件を示唆していることに注意してください。特に、この仮定は、任意のベクトル関数ƒに対して、モーメント条件E[ ƒ ( x _i )· ε _i ] = 0が成立することを意味します。しかし、ガウス・マルコフ定理を用いると、関数ƒの最適な選択はƒ ( x ) = xとすることであり、その結果、上記に示したモーメント方程式が 得られることが示されます。

特性

仮定

OLS法を適用するために、線形回帰モデルを様々なフレームワークに組み込むことができます。これらの設定はどれも同じ式と結果を生成します。唯一の違いは、この手法が意味のある結果をもたらすために課すべき解釈と仮定です。適用可能なフレームワークの選択は、主に手持ちのデータの性質と、実行すべき推論タスクに依存します。

解釈における相違点の 1 つは、回帰変数をランダム変数として扱うか、定義済み定数として扱うかです。前者の場合 (ランダム設計)、回帰変数x _iはランダムであり、観察研究の場合と同様に、ある母集団からy _iとともにサンプリングされます。このアプローチにより、推定値の漸近特性をより自然に研究できます。もう一方の解釈 (固定設計) では、回帰変数Xは設計によって設定される既知の定数として扱われ、y は実験の場合と同様に、 Xの値に基づいて条件付きでサンプリングされます。実用上は、推定と推論はXを条件として実行されるため、この区別は重要ではないことがよくあります。この記事で述べられている結果はすべて、ランダム設計のフレームワーク内にあります。

古典的な線形回帰モデル

古典的モデルは「有限サンプル」推定と推論に重点を置いており、これは観測値の数nが固定されていることを意味します。これは、OLSの漸近的挙動を研究し、多数のサンプルにおける挙動を研究する 他のアプローチとは対照的です。

• 正しい仕様。線形関数形式は、実際のデータ生成プロセスの形式と一致する必要があります。
• 厳密な外生性。回帰分析における誤差は条件付き平均ゼロとなるべきである。^[18]外生性仮定の直接的な帰結は、誤差の平均がゼロとなること、すなわちE[ ε ] = 0 （全期待値の法則）、および回帰変数が誤差と無相関となることである。E [ X ^T ε ] = 0。$${\displaystyle \operatorname {E} [\,\varepsilon \mid X\,]=0.}$$
  外生性仮定はOLS理論にとって極めて重要である。この仮定が成り立つ場合、回帰変数は外生的と呼ばれる。外生的仮定が成り立たない場合、誤差項と相関する回帰変数は内生的^{と呼ばれ[19]}、OLS推定値はバイアスを持つ。このような場合、操作変数法を用いて推論を行うことができる。
• 線形従属は存在しない。X内の回帰変数はすべて線形独立でなければならない。数学的には、これは行列X がほぼ確実にフルランクの列を持つことを意味する。^[20]通常、回帰変数は少なくとも2次モーメントまでは有限モーメントを持つと仮定される。この場合、行列Q _xx = E[ X ^T X  /  n ]は有限かつ半正定値となる。$${\displaystyle \Pr \!{\big [}\,\operatorname {rank} (X)=p\,{\big ]}=1.}$$
  この仮定が破られる場合、回帰変数は線形従属的または完全に多重共線的であると呼ばれます。このような場合、回帰係数βの値は学習できませんが、同じ線形従属部分空間にある回帰変数の新しい値についてy値を予測することは可能です。
• 球面誤差：^[20]ここで、I _nはn次元の単位行列、σ ²は各観測値の分散を決定するパラメータである。このσ ^{2 はモデルにおいて}不要なパラメータとみなされるが、通常は推定値としても扱われる。この仮定が破られた場合、OLS推定値は依然として有効であるものの、効率的ではなくなる。$${\displaystyle \operatorname {Var} [\,\varepsilon \mid X\,]=\sigma ^{2}I_{n},}$$
  この仮定は、通常、次の 2 つの部分に分けられます。
  • 等分散性： E[  ε _i ²  |  X  ] = σ ²。これは、誤差項が各観測値において同一の分散σ ²を持つことを意味します。この要件に違反する場合、これは異分散性と呼ばれます。このような場合、より効率的な推定値は重み付き最小二乗法となります。誤差が無限分散を持つ場合、OLS推定値も無限分散を持つことになります（ただし、大数の法則により、誤差の平均がゼロである限り、OLS推定値は真の値に近づく傾向があります）。この場合、ロバスト推定手法の使用が推奨されます。
  • 自己相関なし：誤差は観測値間で無相関です：i ≠ jの場合、 E[  ε _i ε _j  |  X  ] = 0 です。この仮定は、時系列データ、パネルデータ、クラスターサンプル、階層データ、反復測定データ、縦断データ、その他の依存関係のあるデータでは満たされない可能性があります。このような場合、OLSよりも一般化最小二乗法の方がより適切な代替手段となります。自己相関の別の表現は、系列相関です。
• 正規性。回帰変数の条件付きで誤差が正規分布すると仮定されることもある。 ^[21]この仮定はOLS法の妥当性には必須ではないが、仮定した場合（特に仮説検定の分野において）、有限サンプル特有の性質が追加的に確立される。また、誤差が正規分布する場合、OLS推定量は最大尤度推定量（MLE）と等価であり、したがって、すべての正規推定量のクラスにおいて漸近的に効率的である。重要なのは、正規性仮定は誤差項にのみ適用されるということである。よくある誤解とは異なり、応答（従属）変数は正規分布する必要はない。^[22]$${\displaystyle \varepsilon \mid X\sim {\mathcal {N}}(0,\sigma ^{2}I_{n}).}$$

独立かつ同一に分布する（iid）

一部の応用、特に横断的データにおいては、すべての観測値は独立しており、かつ同一に分布しているという追加の仮定が課されます。これは、すべての観測値がランダム標本から抽出されることを意味し、これにより前述のすべての仮定がより単純化され、解釈が容易になります。また、この枠組みでは、漸近的な結果（標本サイズn  → ∞として）を述べることも可能になります。これは、データ生成プロセスから新たな独立観測値を取得する理論的な可能性として理解されます。この場合の仮定のリストは以下のとおりです。

• IID観測値：（x _i、y _i）は、すべてのi ≠ jに対して、（x _j、y _j）から独立しており、同じ分布を持ちます。
• 完全な多重共線性はありません_： Qxx = E[  x _i  x _i ^T  ]は正定値行列です。
• 外生性：E[  ε _i  |  x _i  ] = 0;
• 等分散性：Var[  ε _i  |  x _i  ] = σ ²。

時系列モデル

• 確率過程{ xi , _yi }_は定常かつエルゴード的である。{ xi , yi }が非定常の場合、 {xi _{, yi }が}共和分でない限り、OLSの結果はしばしば偽となる。^[23]
• 回帰変数は事前に決定されています: すべてのi = 1, ..., nに対してE[ x _i ε _i ] = 0です。
• p × p行列Qxx = E[  x _i  x _i ^T _]はフル ランクなので正定値です。
• { x _i ε _i } は、2番目のモーメントの有限行列Q _{xxε ²} = E[  ε _i ² x _i  x _i ^T  ]を持つマルチンゲール差分列です。

有限標本特性

まず、厳密な外生性仮定の下では、OLS推定値とs ^2は不偏であり、その期待値はパラメータの真の値と一致する：^{[24] [証明]}${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {E} [\,{\hat {\beta }}\mid X\,]=\beta ,\quad \operatorname {E} [\,s^{2}\mid X\,]=\sigma ^{2}.}$

厳密な外生性が成り立たない場合（外生性が過去のショックに関してのみ想定され、将来のショックに関しては想定されない多くの時系列モデルの場合のように）、これらの推定値は有限サンプルで偏りが生じます。

の分散共分散行列（または単に共分散行列）は^[25]に等しい。${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {Var} [\,{\hat {\beta }}\mid X\,]=\sigma ^{2}\left(X^{\operatorname {T} }X\right)^{-1}=\sigma ^{2}Q.}$

特に、各係数の標準誤差は、この行列のj番目の対角要素の平方根に等しい。この標準誤差の推定値は、未知の量σ ²をその推定値s ²に置き換えることによって得られる。したがって、 ${\displaystyle \scriptstyle {\hat {\beta }}_{j}}$

${\displaystyle {\widehat {\operatorname {s.\!e.} }}({\hat {\beta }}_{j})={\sqrt {s^{2}\left(X^{\operatorname {T} }X\right)_{jj}^{-1}}}}$

推定値はモデルの残差と無相関であることも簡単に示される： ^[25]${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {Cov} [\,{\hat {\beta }},{\hat {\varepsilon }}\mid X\,]=0.}$

ガウス・マルコフ定理は、球面誤差仮定（つまり、誤差は無相関かつ等分散であるべき）の下で、推定量は線形不偏推定量のクラスにおいて効率的であることを述べている。これは最良線形不偏推定量（BLUE）と呼ばれる。効率性は、 yに関して線形かつ不偏となる別の推定量を求める場合と同様に理解されるべきであり、^[25]${\displaystyle \scriptstyle {\hat {\beta }}}$ ${\displaystyle \scriptstyle {\tilde {\beta }}}$

${\displaystyle \operatorname {Var} [\,{\tilde {\beta }}\mid X\,]-\operatorname {Var} [\,{\hat {\beta }}\mid X\,]\geq 0}$

これは非負定常行列であるという意味で最適性を確立する。この定理は線形不偏推定量のクラスにおいてのみ最適性を確立するが、これは非常に限定的である。誤差項εの分布によっては、他の非線形推定量の方がOLSよりも良い結果をもたらす可能性がある。

正規性の仮定

これまでに挙げた特性は、誤差項の分布に関係なくすべて有効です。ただし、正規性の仮定が成り立つ（つまり、ε ~ N (0, σ ² I _n ) ）と仮定する場合には、OLS推定量の追加の特性を述べることができます

推定値は正規分布し、平均と分散は前述の通りである：^[26]${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\ \sim \ {\mathcal {N}}{\big (}\beta ,\ \sigma ^{2}(X^{\mathrm {T} }X)^{-1}{\big )}.}$

この推定量はモデルのクラメール・ラオ境界に達し、したがってすべての不偏推定量のクラスの中で最適である。 ^[17]ガウス・マルコフ定理とは異なり、この結果は線形推定量と非線形推定量の両方において最適性を確立するが、正規分布する誤差項の場合のみであること に注意する。

推定値s ^2はカイ二乗分布に比例する：^[27]

${\displaystyle s^{2}\ \sim \ {\frac {\sigma ^{2}}{n-p}}\cdot \chi _{n-p}^{2}}$

この推定値の分散は2 σ ⁴ /( n  −  p )に等しく、これはクラメール・ラオの限界である2 σ ⁴ / nには達しません。しかし、推定値s ²の分散よりも小さいσ ²の不偏推定値は存在しないことが示されています。^[28]偏りのある推定値を許容し、モデルの残差二乗和（SSR）に比例する推定値のクラスを考慮すると、このクラスで（平均二乗誤差の意味で）最良の推定値は^~ σ ² = SSR  /  ( n  −  p  + 2)となり、回帰変数が1つしかない場合（p = 1）のクラメール・ラオの限界よりも優れています。^[29]

さらに、推定値とs2^は独立しており、^[30]この事実は回帰のt検定とF検定を構築する際に役立ちます。 ${\displaystyle \scriptstyle {\hat {\beta }}}$

影響力のある観察

前述の通り、推定値はyに関して線形であり、従属変数y _iの線形結合を表します。この線形結合における重みは回帰変数Xの関数であり、通常は不等です。重みの高い観測値は推定値に顕著な影響を与えるため、 影響力があると呼ばれます。${\displaystyle {\hat {\beta }}}$

どの観測値が影響力を持つかを分析するために、特定のj番目の観測値を除外し、推定値がどの程度変化するかを検討します（ジャックナイフ法と同様）。OLS推定値βの変化は^[31]に等しいことが示されています。

${\displaystyle {\hat {\beta }}^{(j)}-{\hat {\beta }}=-{\frac {1}{1-h_{j}}}(X^{\mathrm {T} }X)^{-1}x_{j}^{\mathrm {T} }{\hat {\varepsilon }}_{j}\,,}$

ここで、 h _j = x _j ^T  ( X ^T X ) ⁻¹ x _jはハット行列Pのj番目の対角要素であり、x _jはj番目の観測値に対応する回帰変数のベクトルである。同様に、データセットからj番目の観測値を省略した場合の予測値の変化は^[31]に等しい。

${\displaystyle {\hat {y}}_{j}^{(j)}-{\hat {y}}_{j}=x_{j}^{\mathrm {T} }{\hat {\beta }}^{(j)}-x_{j}^{\operatorname {T} }{\hat {\beta }}=-{\frac {h_{j}}{1-h_{j}}}\,{\hat {\varepsilon }}_{j}}$

ハット行列の特性から、0 ≤ h _j ≤ 1であり、それらを合計するとpとなり、平均するとh _j ≈ p/nとなる。これらの量h _jはてこ比と呼ばれ、高いh _jを持つ観測値はてこ比ポイントと呼ばれる。^[32]通常、てこ比の高い観測値は、誤りであったり、外れ値であったり、あるいはデータセットの残りの部分と比べて何らかの点で非典型的であったりする可能性があるため、より注意深く精査する必要がある。

分割回帰

回帰分析における変数と対応するパラメータは、論理的に2つのグループに分割できる場合があり、その結果、回帰分析は次のようになります

${\displaystyle y=X_{1}\beta _{1}+X_{2}\beta _{2}+\varepsilon ,}$

ここで、X ₁とX _{2 は}n × p ₁、n × p _{2 の}次元を持ち、β ₁、β ₂はp ₁ ×1 とp ₂ ×1 ベクトルで、p ₁ + p ₂ = pとなります。

フリッシュ・ウォーフ・ラヴェル定理によれば、この回帰分析における残差とOLS推定値は、次の回帰分析におけるβ2_の残差とOLS推定値と数値的に同一となる。 ^[33]${\displaystyle {\hat {\varepsilon }}}$ ${\displaystyle \scriptstyle {\hat {\beta }}_{2}}$

${\displaystyle M_{1}y=M_{1}X_{2}\beta _{2}+\eta \,,}$

ここで、M _{1は回帰変数}X ₁の消滅行列です。

この定理は、多くの理論的結果を確立するために用いることができます。例えば、定数項と別の回帰変数を用いた回帰分析は、従属変数と回帰変数から平均値を減算し、その後、定数項を除いて、平均を除いた変数について回帰分析を実行することと等価です。

制約付き推定

回帰の係数が線形方程式の連立方程式を満たすことが分かっていると仮定する。

${\displaystyle A\colon \quad Q^{\operatorname {T} }\beta =c,\,}$

ここで、Qはp × qのフルランク行列であり、cはq ×1の既知定数ベクトル（q<p）である。この場合、最小二乗推定は、制約Aを課したモデルの残差二乗和を最小化することと等価である。制約付き最小二乗（CLS）推定量は、明示的な式で与えられる：^[34]

${\displaystyle {\hat {\beta }}^{c}={\hat {\beta }}-(X^{\operatorname {T} }X)^{-1}Q{\Big (}Q^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}Q{\Big )}^{-1}(Q^{\operatorname {T} }{\hat {\beta }}-c).}$

この制約付き推定量の式は、行列X ^T Xが逆行列である限り有効である。本稿の冒頭で、この行列はフルランクであると仮定し、ランク条件が満たされない場合、βは識別不能となることを指摘した。しかし、制約Aを加えることでβが識別可能になる場合もあり、その場合、推定量の式を求める必要がある。推定量は^{[35]に等しい。}

${\displaystyle {\hat {\beta }}^{c}=R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }y+{\Big (}I_{p}-R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }X{\Big )}Q(Q^{\operatorname {T} }Q)^{-1}c,}$

ここで、Rはp ×( p  −  q )行列であり、行列[ QR ]は非特異行列であり、R ^T Q = 0である。このような行列は常に存在するが、一般には一意ではない。X ^T Xが逆行列である場合、2番目の式は1番目の式と一致する。 [ ^35]

大規模標本の特性

最小二乗推定値は、線形回帰モデルのパラメータβの点推定値です。しかし、一般的には、これらの推定値がパラメータの真の値にどれだけ近いかを知ることも重要です。言い換えれば、区間推定値を構築したいのです

誤差項ε _iの分布についてはいかなる仮定も立てていないため、推定値との分布を推測することは不可能である。しかしながら、中心極限定理を適用することで、サンプルサイズnが無限大に近づくにつれて、それらの漸近特性を導くことができる。サンプルサイズは必然的に有限であるが、OLS推定値の真の分布がその漸近極限に近づくように、 nは「十分に大きい」と仮定するのが慣例である。 ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {\sigma }}^{2}}$

モデルの仮定の下では、 βの最小二乗推定値は整合しており（つまり、確率的にβに収束する）、漸近的に正規分布に従うことが示される。^[証明]${\displaystyle {\hat {\beta }}}$

${\displaystyle ({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}{\big (}0,\;\sigma ^{2}Q_{xx}^{-1}{\big )},}$

ここで${\displaystyle Q_{xx}=X^{\operatorname {T} }X.}$

区間

この漸近分布を用いると、ベクトルのj番目の成分の近似両側信頼区間は次のように構築できる。 ${\displaystyle {\hat {\beta }}}$

${\displaystyle \beta _{j}\in {\bigg [}\ {\hat {\beta }}_{j}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}}}\ {\bigg ]}}$ 1 −  α信頼水準   において、

ここでqは標準正規分布の分位関数を表し、[·] _jjは行列の j番目の対角要素です。

同様に、 σ ²の最小二乗推定値も、 ε _iの4次モーメントが存在する限り、限界分布と 整合し、漸近的に正規分布となる。

${\displaystyle ({\hat {\sigma }}^{2}-\sigma ^{2})\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\operatorname {E} \left[\varepsilon _{i}^{4}\right]-\sigma ^{4}\right).}$

これらの漸近分布は、予測、仮説検定、他の推定値の構築などに使用できます。例として、予測の問題を考えてみましょう。回帰変数の分布領域内のある点を と仮定し、その点における応答変数がどのような値であったかを知りたいとします。平均応答は であり、予測応答は です。明らかに、予測応答は確率変数であり、その分布は の分布から導き出すことができます。 ${\displaystyle x_{0}}$ ${\displaystyle y_{0}=x_{0}^{\mathrm {T} }\beta }$ ${\displaystyle {\hat {y}}_{0}=x_{0}^{\mathrm {T} }{\hat {\beta }}}$ ${\displaystyle {\hat {\beta }}}$

${\displaystyle \left({\hat {y}}_{0}-y_{0}\right)\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\sigma ^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}\right),}$

これにより、平均応答の信頼区間を構築することができます。 ${\displaystyle y_{0}}$

${\displaystyle y_{0}\in \left[\ x_{0}^{\mathrm {T} }{\hat {\beta }}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}}}\ \right]}$ 1 −  α信頼水準   で。

仮説検定

特に広く使用されている仮説検定は2つあります。1つ目は、推定された回帰式が、応答変数のすべての値が標本平均値に等しいと単純に予測するよりも優れているかどうかを知りたいというものです（そうでない場合、説明力がないと言われます）。推定された回帰式に説明力がないという帰無仮説は、 F検定を用いて検定されます。計算されたF値が、事前に選択された有意水準の臨界値を超えるほど大きいことが判明した場合、帰無仮説は棄却され、回帰式には説明力があるという対立仮説が採用されます。そうでない場合、説明力がないという帰無仮説が採用されます

次に、対象となる各説明変数について、その推定係数がゼロと有意に異なるかどうか、つまり、この特定の説明変数が応答変数を予測する説明力を持っているかどうかを知りたいと考えます。ここでの帰無仮説は、真の係数がゼロであるというものです。この仮説は、係数のt統計量（係数推定値とその標準誤差の比）を計算することで検定されます。t統計量が事前に設定された値よりも大きい場合、帰無仮説は棄却され、変数は説明力を持ち、係数がゼロと有意に異なることがわかります。それ以外の場合、真の係数がゼロであるという帰無仮説が受け入れられます。

さらに、チャウ検定は、2つのサブサンプルが両方とも同じ真の係数値を持つかどうかを検定するために使用されます。各サブセットと結合データセットにおける回帰分析の残差の二乗和をF統計量で比較します。この値が臨界値を超える場合、2つのサブセット間に差がないという帰無仮説は棄却され、そうでない場合は受け入れられます。

実際のデータを使った例

次のデータ セットは、30 ～ 39 歳のアメリカ人女性の平均身長と体重を示しています (出典: The World Almanac and Book of Facts、1975 年)。

従属変数が1つのみモデル化されている場合、散布図は従属変数と回帰変数の関係の形と強さを示唆します。また、外れ値、異分散性、および適合された回帰モデルの解釈を複雑にする可能性のあるデータのその他の側面が明らかになることもあります。散布図は、関係が強く、二次関数として近似できることを示唆しています。OLSは、回帰変数HEIGHT ²を導入することで非線形関係を処理できます。これにより、回帰モデルは多重線型モデルになります

${\displaystyle w_{i}=\beta _{1}+\beta _{2}h_{i}+\beta _{3}h_{i}^{2}+\varepsilon _{i}.}$

適合回帰

最も一般的な統計パッケージの出力は次のようになります

この表では：

• 値の列は、パラメータβ _jの最小二乗推定値を示しています
• 標準誤差列には、各係数推定値の標準誤差が表示されます。${\displaystyle {\hat {\sigma }}_{j}=\left({\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}\right)^{\frac {1}{2}}}$
• t統計量とp値の列は、係数のいずれかがゼロになるかどうかを検定しています。t統計量は、単純に として計算されます。誤差 ε が正規分布に従う場合、tはスチューデントt分布に従います。より弱い条件下では、tは漸近的に正規分布します。t の値が大きい場合、帰無仮説は棄却でき、対応する係数はゼロではないことを示します。2番目の列であるp値は、仮説検定の結果を有意水準として表します。慣例的に、 0.05未満のp値は、母集団係数がゼロではないことを示す証拠とみなされます。${\displaystyle t={\hat {\beta }}_{j}/{\hat {\sigma }}_{j}}$
• 決定係数（R-squared）は、回帰分析の適合度を示す決定係数です。この統計量は、回帰変数Xが完全な適合度を持つ場合1、説明力を持たない場合0となります。これは母集団の決定係数（R-squared）の偏りのある推定値であり、たとえ関連性のない回帰変数を追加しても、減少することはありません。
• 調整決定係数はをわずかに修正したもので、回帰分析の説明力を高めない回帰変数の過剰数に対してペナルティを課すように設計されています。この統計量は常に よりも小さく、新しい回帰変数が追加されるにつれて減少する可能性があり、適合度の低いモデルでは負の値になることもあります。${\displaystyle R^{2}}$ ${\displaystyle R^{2}}$

${\displaystyle {\overline {R}}^{2}=1-{\frac {n-1}{n-p}}(1-R^{2})}$

• 対数尤度は、誤差が正規分布に従うという仮定の下で計算されます。この仮定は必ずしも合理的ではありませんが、この統計量はLR検定を行う際に有用となる場合があります。
• ダービン・ワトソン統計量は、残差間の連続相関の証拠があるかどうかを検定します。経験則として、値が2より小さい場合は正の相関があると考えられます。
• 赤池情報量基準とシュワルツ基準はどちらもモデル選択に用いられる。一般的に、2つの代替モデルを比較する場合、これらの基準のいずれかの値が小さい方が、より優れたモデルであることを示す。 ^[36]
• 回帰の標準誤差は、誤差項の標準誤差であるσの推定値です。
• 総二乗和、モデル二乗和、残差二乗和は、サンプル内の初期変動のうち回帰によってどの程度説明されたかを示します。
• F統計量は、すべての係数（切片を除く）がゼロであるという仮説を検定しようとします。この統計量は、帰無仮説と正規性仮定の下でF ( p-1 , n-p )分布に従い、p値は仮説が真である確率を示します。誤差が正規分布でない場合、この統計量は無効となり、ワルド検定やLR検定などの他の検定法を用いる必要があることに注意してください。

残差プロット

通常の最小二乗分析では、モデルの想定された形からのデータの逸脱を検出するために設計された診断プロットが使用されることがよくあります。一般的な診断プロットの例を以下に示します

• モデル内の説明変数に対する残差。これらの変数間の非線形関係は、条件付き平均関数の線形性が成り立たない可能性を示唆しています。説明変数の異なるレベルにおける残差の変動レベルが異なることは、異分散性の可能性を示唆しています。
• モデルに含まれていない説明変数に対する残差。残差とこれらの変数の関係が見られる場合、これらの変数をモデルに含めることを検討する必要があると考えられます。
• 適合値に対する残差。${\displaystyle {\hat {y}}}$
• 残差と先行残差の比較。このプロットでは、残差の連続相関が特定される場合があります。

回帰モデルを用いて統計的推論を行う際に重要な考慮事項となるのは、データのサンプリング方法です。この例では、データは個々の女性の測定値ではなく平均値です。モデルの適合度は非常に良好ですが、これは個々の女性の体重を身長のみに基づいて高い精度で予測できることを意味するものではありません。

丸めに対する感度

この例は、これらの計算によって決定される係数がデータの準備方法に左右されることを示しています。身長は元々最も近いインチに丸められて提供されていましたが、これを変換して最も近いセンチメートルに丸めています。変換係数は1インチ=2.54センチメートルであるため、これは正確な変換ではありません。元のインチはRound(x/0.0254)で復元し、丸めなしでメートル法に再変換できます。これを行うと、結果は次のようになります。

正しく変換されたデータと誤って変換されたデータの2次近似の残差

どちらの式を使っても、身長5フィート6インチ（1.6764 m）の女性の体重を予測すると、四捨五入すると62.94 kg、四捨五入しない場合は62.98 kgと、ほぼ同じ値が得られます。したがって、データの一見小さな変動は係数には実際に影響を与えますが、式の結果にはわずかな影響しか与えません。

これはデータ範囲の中央では無害に見えるかもしれませんが、両端や、適合モデルを使用してデータ範囲外に投影する場合 (外挿) には重要になる可能性があります。

これはよくある誤りを浮き彫りにしています。この例はOLS法の乱用であり、OLS法では本質的に独立変数（この場合は身長）の誤差がゼロ、あるいは少なくとも無視できる程度であることが求められます。最初の最も近いインチへの丸め処理と実際の測定誤差は、有限かつ無視できない誤差を構成します。その結果、フィッティングされたパラメータは、想定されている最良の推定値とは異なります。推定値の誤差は完全に偽値ではありませんが、x軸とy軸の誤差の相対的な大きさに依存します。

実データが少ない別の例

問題提起

最小二乗法を用いて、極座標系における二体軌道の方程式を求めることができます。一般的に用いられる方程式は、 です。 は、物体が一方の天体からどれだけ離れているかを表す半径です。方程式では、パラメータと が軌道の経路を決定するために使用されます。以下のデータを測定しました ${\displaystyle r(\theta )={\frac {p}{1-e\cos(\theta )}}}$ ${\displaystyle r(\theta )}$ ${\displaystyle p}$ ${\displaystyle e}$

与えられたデータに対して、 とを最小二乗近似する必要があります${\displaystyle e}$ ${\displaystyle p}$

解答

まず、eとpを線形形式で表す必要があります。そこで、 方程式を次のように書き直します${\displaystyle r(\theta )}$ ${\displaystyle {\frac {1}{r(\theta )}}={\frac {1}{p}}-{\frac {e}{p}}\cos(\theta )}$

さらに、を として追加パラメータで展開することで、 を末尾側に適合させることができます。これは、追加基底関数 との両方で線形です。 ${\displaystyle \cos(\theta )}$ ${\displaystyle \cos(\theta -\theta _{0})=\cos(\theta )\cos(\theta _{0})+\sin(\theta )\sin(\theta _{0})}$ ${\displaystyle \cos(\theta )}$ ${\displaystyle \sin(\theta )}$

観測データを次のように表すために、元の 2 つのパラメータ形式を使用します。

${\displaystyle A^{T}A{\binom {x}{y}}=A^{T}b,}$

ここで：

${\displaystyle x=1/p\,}$ ; ;は、最初の列のの係数（すべて1）と、 2番目の列の の係数（ および で与えられる）を含み、以下のようになります ${\displaystyle y=e/p\,}$ ${\displaystyle A}$ ${\displaystyle 1/p}$ ${\displaystyle e/p}$ ${\displaystyle \cos(\theta )\,}$ ${\displaystyle b=1/r(\theta )}$

${\displaystyle A={\begin{bmatrix}1&-0.731354\\1&-0.707107\\1&-0.615661\\1&\ 0.052336\\1&0.309017\\1&0.438371\end{bmatrix}},\quad b={\begin{bmatrix}0.21220\\0.21958\\0.24741\\0.45071\\0.52883\\0.56820\end{bmatrix}}.}$

を解くと、 ${\displaystyle {\binom {x}{y}}={\binom {0.43478}{0.30435}}\,}$

だからそして${\displaystyle p={\frac {1}{x}}=2.3000}$ ${\displaystyle e=p\cdot y=0.70001}$

参照

• ベイズ最小二乗法
• ファマ・マクベス回帰
• 非線形最小二乗法
• 線形最小二乗法の数値解析
• 非線形システム同定

参考文献

1. 「通常の最小二乗法の仮定の起源」特集コラム. 2022年3月1日. 2024年5月16日閲覧。
2. 「線形回帰における通常の仮定の完全なリストは何ですか？」Cross Validated . 2022年9月28日閲覧。
3. ゴールドバーガー、アーサー・S. (1964). 「古典的線形回帰」. 計量経済理論. ニューヨーク: ジョン・ワイリー・アンド・サンズ. pp. 158. ISBN 0-471-31101-4。
4. 林文夫(2000).計量経済学. プリンストン大学出版局. p. 15. ISBN 9780691010182。
5. 林（2000年、18ページ）。
6. Ghilani, Charles D.; Wolf, Paul R. (2006年6月12日). 『調整計算：空間データ分析』 John Wiley & Sons. ISBN 9780471697282。
7. ホフマン＝ヴェレンホフ、ベルンハルト;リヒテネガー、ハーバート。エルマー、ワスル（2007 年 11 月 20 日）。 GNSS – 全地球航法衛星システム: GPS、GLONASS、Galileo など。スプリンガー。ISBN 9783211730171。
8. Xu, Guochang (2007年10月5日). GPS: 理論、アルゴリズム、アプリケーション. Springer. ISBN 9783540727156。
9. 林（2000年、19ページ）
10. Hoaglin, David C.; Welsch, Roy E. (1978). 「回帰分析と分散分析におけるハット行列」. The American Statistician . 32 (1): 17– 22. doi : 10.1080/00031305.1978.10479237 . hdl : 1721.1/1920 . ISSN  0003-1305.
11. Julian Faraway (2000)、Rを用いた実践的な回帰分析と分散分析
12. Kenney, J.; Keeping, ES (1963).統計数学. van Nostrand. p. 187.
13. ズウィリンガー、ダニエル (1995).標準数学表と公式. チャップマン＆ホール/CRC. p. 626. ISBN 0-8493-2479-3。
14. 林（2000年、20ページ）
15. ヴァハブ、アクバルザデ (2014 年 5 月 7 日)。 「ライン推定」。
16. 林（2000年、49ページ）
17. 林（2000年、52ページ）
18. 林（2000年、7ページ）
19. 林（2000年、187ページ）
20. 林（2000年、10ページ）
21. 林（2000年、34ページ）
22. Williams, M. N; Grajales, CA G; Kurkiewicz, D (2013). 「重回帰分析の前提：2つの誤解の修正」『実用的評価、研究、評価』18 (11).
23. 「EViews出力に関するメモ」(PDF) . 2020年12月28日閲覧。
24. 林（2000年、27、30ページ）
25. 林（2000年、27ページ）
26. 雨宮毅(1985). 『先進計量経済学』 ハーバード大学出版局. p. 13. ISBN 9780674005600。
27. 雨宮（1985年、14ページ）
28. ラオ, CR (1973).線形統計推論とその応用（第2版）. ニューヨーク: J. Wiley & Sons. p. 319. ISBN 0-471-70823-2。
29. 雨宮（1985年、20ページ）
30. 雨宮（1985年、27ページ）
31. デイビッドソン, ラッセル;マッキノン, ジェームズ・G. (1993).計量経済学における推定と推論. ニューヨーク: オックスフォード大学出版局. p. 33. ISBN 0-19-506011-3。
32. デイビッドソン＆マッキノン（1993年、36ページ）
33. デイビッドソン＆マッキノン（1993年、20ページ）
34. 雨宮（1985年、21ページ）
35. 雨宮（1985年、22ページ）
36. バーナム、ケネス・P.、アンダーソン、デイビッド・R. (2002).モデル選択とマルチモデル推論（第2版）. シュプリンガー. ISBN  0-387-95364-7。

参考文献

• ドハティ、クリストファー(2002).計量経済学入門（第2版）. ニューヨーク: オックスフォード大学出版局. pp.  48– 113. ISBN 0-19-877643-8。
• グジャラーティ、ダモダール・N .；ポーター、ドーン・C.（2009年）。『基礎経済学』（第5版）。ボストン：マグロウヒル・アーウィン。55  ～ 96ページ。ISBN 978-0-07-337577-9。
• ヘイジ、クリスティアーン、ボーア、フィリップ・H・フランセス、テウン・クローク、ハーマン・K・ファン・ダイク(2004). 『計量経済学的手法とそのビジネス・経済学への応用』（第1版）オックスフォード：オックスフォード大学出版局.  76～ 115ページ. ISBN 978-0-19-926801-6。
• ヒル、R. カーター、グリフィス、ウィリアム E.、リム、グアイ C. (2008). 『計量経済学の原理（第3版）』 ホーボーケン、ニュージャージー州: ジョン・ワイリー・アンド・サンズ. pp.  8– 47. ISBN 978-0-471-72360-8。
• ウッドリッジ、ジェフリー(2008).「単回帰モデル」.入門計量経済学：現代的アプローチ（第4版）. オハイオ州メイソン: Cengage Learning. pp.  22– 67. ISBN 978-0-324-58162-1。