回帰分析

統計モデリングにおいて、回帰分析は従属変数（機械学習用語では結果変数または応答変数、ラベルと呼ばれることが多い）と1つ以上の独立変数（回帰変数、予測変数、共変量、説明変数、特徴と呼ばれることが多い）との関係を推定する統計的手法である。^[1]^[2]

最も一般的な回帰分析の形式は線型回帰であり、特定の数学的基準に従ってデータに最もよく適合する直線（またはより複雑な線型結合）を見つける。たとえば、通常の最小二乗法では、真のデータとその直線（または超平面）との差の二乗和が最小となる唯一の直線（または超平面）を計算します。特定の数学的な理由（線型回帰を参照）により、これにより研究者は、独立変数が特定の値セットをとった場合の従属変数の条件付き期待値（または母集団平均値）を推定できます。あまり一般的ではない回帰形式では、わずかに異なる手順を使用して代替の位置パラメータを推定したり（たとえば、分位点回帰または必要条件分析^[3]）、より広範な非線形モデルの集合にわたって条件付き期待値を推定したり（たとえば、ノンパラメトリック回帰）します。

回帰分析は、主に概念的に異なる2つの目的で使用されます。第1に、回帰分析は予測や予報に広く使用されており、その用途は機械学習の分野と大幅に重複しています。第2に、状況によっては、回帰分析を使用して独立変数と従属変数間の因果関係を推測できます。重要なのは、回帰分析だけでは、固定されたデータセット内の従属変数と独立変数の集合との関係しか明らかにならないことです。回帰を予測や因果関係の推測に使用するには、研究者は、既存の関係が新しいコンテキストに対して予測力を持つ理由や、2つの変数間の関係に因果的な解釈がある理由を慎重に正当化する必要があります。後者は、研究者が観測データを使用して因果関係を推定したい場合に特に重要です。^[4]^[5]

歴史

最も初期の回帰分析は、1700年にアイザック・ニュートンが春分点の研究中に見られ、彼は「初期の線形回帰分析」を導入したとされています。「トビアス・マイヤーより50年も前に、彼はデータセットの平均化を行っただけでなく、残差をゼロにすることで回帰直線が平均点を通過するようにした。また、2つの不均質なデータセットを区別し、有効性という点ではそうではなかったものの、バイアスの観点からは最適な解を思いついたかもしれない。」彼はそれ以前にも、1671年のニュートン環に関する研究で平均化法を用いており、これは当時としては前例のないものであった。^[6]^[7]

最小二乗法は、 1805年にルジャンドルによって、そして1809年にガウスによって発表されました^。[^9]ルジャンドルとガウスは共に、天文観測から太陽の周りの天体（主に彗星、後に当時新たに発見された小惑星も含む）の軌道を決定する問題にこの方法を適用しました。ガウスは1821年に最小二乗法の理論をさらに発展させた論文を発表し、^[10]ガウス・マルコフ定理のバージョンを含んでいました。

「回帰」という用語は、19世紀にフランシス・ゴルトンが生物学的現象を説明するために作った造語である。その現象とは、背の高い先祖の子孫の身長が、正規平均に向かって下がる傾向があるというものである（平均回帰としても知られる現象）。^[11]^[12] ゴルトンにとって、回帰はこの生物学的意味のみを持っていたが、^[13]^{[14]彼の研究は後に}、ユールとピアソンによってより一般的な統計的文脈に拡張された。 ^[15]^[16]ユールとピアソンの研究では、応答変数と説明変数の結合分布はガウス分布であると仮定されている。この仮定は、RAフィッシャーの1922年と1925年の研究で弱められた。^[17]^[18]^[19]フィッシャーは応答変数の条件付き分布はガウス分布であると仮定したが、結合分布は必ずしもガウス分布である必要はない。この点で、フィッシャーの仮定はガウスの 1821 年の定式化に近いと言えます。

1950年代から1960年代にかけて、経済学者は回帰分析の計算に電気機械式卓上計算機を使用していました。1970年以前は、1回の回帰分析の結果が出るまでに最大24時間かかることもありました。^[20]

回帰分析法は、現在も活発に研究が行われている分野です。ここ数十年で、ロバスト回帰、時系列や成長曲線などの相関のある応答を含む回帰、予測変数（独立変数）または応答変数が曲線、画像、グラフ、その他の複雑なデータオブジェクトである回帰、さまざまな種類の欠損データに対応する回帰分析法、ノンパラメトリック回帰、ベイズ回帰法、予測変数が誤差付きで測定される回帰、観測値よりも多くの予測変数を含む回帰、回帰による因果推論など、新たな手法が開発されてきました。現代の回帰分析は、通常、コンピュータ上の統計ソフトウェアやスプレッドシートソフトウェアパッケージ、および携帯型の科学計算ツールやグラフ作成ツールを用いて行われます。

回帰モデル

実際には、研究者はまず推定したいモデルを選択し、次に選択した手法（例えば、通常の最小二乗法）を用いてそのモデルのパラメータを推定します。回帰モデルには以下の要素が含まれます。

未知のパラメータ。多くの場合、スカラーまたはベクトルとして表されます。 $\beta$
独立変数はデータ内で観測され、多くの場合ベクトル(データの行を表す) として表されます。 $X_{i}$ $i$
従属変数はデータ内で観測され、多くの場合スカラーで表されます。 $Y_{i}$
誤差項はデータでは直接観測されず、多くの場合スカラーで表されます。 $e_{i}$

さまざまな応用分野では、従属変数と独立変数の代わりに異なる用語が使用されます。

ほとんどの回帰モデルでは、はおよびの関数（回帰関数）であり、はのモデル化されていない行列式またはランダムな統計ノイズの代わりになる可能性のある加法的な誤差項を表すと提案されています。 $Y_{i}$ $X_{i}$ $\beta$ $e_{i}$ $Y_{i}$

Y_{i}=f(X_{i},\beta )+e_{i}

標準回帰モデルでは、独立変数に誤差がないものと仮定します。独立変数に誤差が含まれると仮定する場合は、変数内誤差モデルを使用できます。標準回帰モデルには、省略変数、交絡変数、内生性など、様々なシナリオを考慮して、その他の修正を加えることができます。 $X_{i}$

研究者の目標は、データに最もよく適合する関数を推定することです。回帰分析を実行するには、関数の形を指定する必要があります。この関数の形は、データに依存しないとの関係に関する知識に基づいている場合があります。そのような知識がない場合、の柔軟で便利な形が選択されます。例えば、単変量回帰分析ではが提案される場合があります。これは、研究者がデータを生成する統計プロセスの妥当な近似値であると考えていることを示しています。 $f(X_{i},\beta )$ $f$ $Y_{i}$ $X_{i}$ $f$ $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$

研究者が好みの統計モデルを決定すると、さまざまな形式の回帰分析によってパラメータを推定するツールが提供されます。たとえば、最小二乗法(最も一般的なバリエーションである通常の最小二乗法を含む) は、二乗誤差の合計を最小化するの値を求めます。特定の回帰法は最終的にの推定値を提供します。これは通常、推定値と、データを生成した真の (未知の) パラメータ値を区別するためにと示されます。この推定値を使用することで、研究者は予測に適合値を使用したり、データを説明するモデルの精度を評価したりできます。研究者が本質的に推定値に興味があるか、予測値に興味があるかは、状況と目的によって異なります。通常の最小二乗法で説明したように、推定された関数が条件付き期待値を近似するため、最小二乗法が広く使用されています。^[9]ただし、研究者が他の関数をモデル化したい場合は、代替のバリエーション (最小絶対偏差や分位回帰など) が便利です。 $\beta$ $\beta$ $\sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}$ $\beta$ ${\hat {\beta }}$ ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ ${\hat {\beta }}$ ${\hat {Y_{i}}}$ $f(X_{i},{\hat {\beta }})$ $E(Y_{i}|X_{i})$ $f(X_{i},\beta )$

回帰モデルを推定するには十分なデータが必要であることに注意することが重要です。たとえば、研究者が1 つの従属変数と 2 つの独立変数を含むデータ行にアクセスできるとします。さらに、研究者が最小二乗法を使用して 2 変量線形モデルを推定したいとします。研究者がデータポイントにしかアクセスできない場合、データを同様に説明する組み合わせが無限に見つかります。つまり、を満たす任意の組み合わせを選択でき、そのすべてがとなり、残差の二乗和を最小化する有効な解になります。なぜ無限に多くの選択肢があるのかを理解するために、連立方程式を 3 つの未知数について解く必要があるため、この系は劣決定になることに注意してください。あるいは、固定点を通る無限数の 3 次元平面を視覚化することもできます。 $N$ $(Y_{i},X_{1i},X_{2i})$ $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ $N=2$ $({\hat {\beta }}_{0},{\hat {\beta }}_{1},{\hat {\beta }}_{2})$ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ $N=2$ $N=2$

より一般的には、異なるパラメータを持つ最小二乗モデルを推定するには、異なるデータ点が必要です。の場合、データに完全に適合するパラメータの集合は一般に存在しません。この量は回帰分析で頻繁に出現し、モデルでは自由度と呼ばれます。さらに、最小二乗モデルを推定するには、独立変数が線形独立でなければなりません。つまり、残りの独立変数を加算したり乗算したりしても、独立変数を再構築できないようにする必要があります。通常の最小二乗法で説明したように、この条件により、は可逆行列であり、したがって一意の解が存在することが保証されます。 $k$ $N\geq k$ $N>k$ $N-k$ $(X_{1i},X_{2i},...,X_{ki})$ $X^{T}X$ ${\hat {\beta }}$

根底にある前提

回帰分析は、それ自体ではデータセットに対して行われる計算に過ぎません。得られた回帰分析を、現実世界の関係性を定量化する有意義な統計モデルとして解釈するために、研究者はしばしばいくつかの古典的な仮定に依拠します。これらの仮定には、多くの場合、以下のようなものが含まれます。

サンプルは人口全体を代表するものです。
独立変数はエラーなく測定されます。
モデルからの偏差は、共変量の条件により、期待値がゼロになります。 $E(e_{i}|X_{i})=0$
残差の分散は観測値全体で一定です（等分散性）。 $e_{i}$
残差は互いに無相関である。数学的には、誤差の分散共分散行列は対角行列である。 $e_{i}$

最小二乗推定量が望ましい特性を持つためには、いくつかの条件を満たす必要があります。特に、ガウス・マルコフ仮定は、パラメータ推定値が線形不偏推定量のクラスにおいて不偏、一貫性、および効率的であることを意味しています。これらの古典的な仮定が正確に当てはまる可能性は低いため、実践者は現実世界の設定でこれらの望ましい特性の一部またはすべてを維持するさまざまな方法を開発しました。たとえば、変数内誤差をモデル化すると、独立変数が誤差を伴って測定されることを合理的に推定できます。不均一分散一貫性のある標準誤差により、の分散がの値にわたって変化することができます。データのサブセット内に存在する、または特定のパターンに従う相関誤差は、クラスター化標準誤差、地理空間加重回帰、またはNewey–West標準誤差などの手法を使用して処理できます。データ行が空間内の位置に対応している場合、地理単位内でモデル化する方法の選択は重要な結果をもたらす可能性があります。^[21]^[22]計量経済学の分野は、古典的な仮定が正確には当てはまらない現実世界の設定において、研究者が合理的な現実世界の結論を導き出せるような手法の開発に主に焦点を当てています。 $e_{i}$ $X_{i}$ $e_{i}$

線形回帰

線型回帰では、従属変数はパラメータの線型結合であることがモデルの仕様となります（ただし、独立変数については線型である必要はありません）。例えば、データ点をモデル化する単線型回帰では、独立変数は1つ、パラメータは2つ、およびとなります。 $y_{i}$ $n$ $x_{i}$ $\beta _{0}$ $\beta _{1}$

直線：

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

多重線形回帰では、複数の独立変数または独立変数の関数が存在します。

前の回帰に項を追加すると、次のようになります。 $x_{i}^{2}$

放物線：

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

これは依然として線形回帰です。右辺の式は独立変数については2次式ですが、パラメータについては線形であり、 $x_{i}$ $\beta _{0}$ $\beta _{1}$ $\beta _{2}.$

どちらの場合も、は誤差項であり、下付き文字は特定の観測値を示します。 $\varepsilon _{i}$ $i$

直線の場合に戻って考えてみましょう。母集団からランダムに抽出したサンプルを用いて、母集団パラメータを推定し、サンプル線形回帰モデルを得ます。

{\widehat {y}}_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}x_{i}.

残差,は、モデルによって予測された従属変数の値, と従属変数の真の値 ,との差です。推定方法の一つとして、通常の最小二乗法が挙げられます。この方法では、残差の二乗和SSRを最小化するパラメータ推定値が得られます。 $e_{i}=y_{i}-{\widehat {y}}_{i}$ ${\widehat {y}}_{i}$ $y_{i}$

SSR=\sum _{i=1}^{n}e_{i}^{2}

この関数を最小化すると、一連の正規方程式、つまりパラメータの同時線形方程式のセットが得られ、これを解くとパラメータ推定値が得られます。 ${\widehat {\beta }}_{0},{\widehat {\beta }}_{1}$

単回帰の場合、最小二乗推定値の式は次のようになる。

{\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}

{\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}

ここで、は値の平均であり、は値の平均です。 ${\bar {x}}$ $x$ ${\bar {y}}$ $y$

母集団誤差項の分散は一定であるという仮定の下では、その分散の推定値は次のように与えられます。

{\hat {\sigma }}_{\varepsilon }^{2}={\frac {SSR}{n-2}}

これは回帰分析の平均二乗誤差（MSE）と呼ばれます。分母は、回帰変数の場合はサンプルサイズから、切片が使用される場合はモデルパラメータの数を差し引いた値です。[ ^23]この場合、分母はです。 $(n-p)$ $p$ $(n-p-1)$ $p=1$ $n-2$

パラメータ推定値の標準誤差は次のように与えられる。

{\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}

{\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}.

さらに、母集団の誤差項が正規分布しているという仮定の下で、研究者はこれらの推定標準誤差を使用して信頼区間を作成し、母集団パラメータに関する仮説検定を実施できます。

一般線形モデル

より一般的な重回帰モデルでは、独立変数が存在します。 $p$

y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i},\,

ここで、は- 番目の独立変数における - 番目の観測値です。最初の独立変数がすべての、に対して値 1 を取る場合、は回帰切片と呼ばれます。 $x_{ij}$ $i$ $j$ $i$ $x_{i1}=1$ $\beta _{1}$

最小二乗パラメータ推定値は正規方程式から得られる。残差は次のように表される。 $p$

\varepsilon _{i}=y_{i}-{\hat {\beta }}_{1}x_{i1}-\cdots -{\hat {\beta }}_{p}x_{ip}.

正規方程式は

\sum _{i=1}^{n}\sum _{k=1}^{p}x_{ij}x_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}x_{ij}y_{i},\ j=1,\dots ,p.\,

行列表記では、正規方程式は次のように表される。

\mathbf {(X^{\top }X){\hat {\boldsymbol {\beta }}}={}X^{\top }Y} ,\,

ここでの要素は、列ベクトルの要素は、の要素はです。したがっては、は、はです。解は $ij$ $\mathbf {X}$ $x_{ij}$ $i$ $Y$ $y_{i}$ $j$ ${\hat {\boldsymbol {\beta }}}$ ${\hat {\beta }}_{j}$ $\mathbf {X}$ $n\times p$ $Y$ $n\times 1$ ${\hat {\boldsymbol {\beta }}}$ $p\times 1$

\mathbf {{\hat {\boldsymbol {\beta }}}=(X^{\top }X)^{-1}X^{\top }Y} .\,

診断

回帰モデルを構築したら、モデルの適合度と推定パラメータの統計的有意性を確認することが重要になる場合があります。適合度の検証方法として一般的に用いられるのは、決定係数、残差パターン分析、仮説検定などです。統計的有意性は、全体の適合度に対するF検定と、個々のパラメータに対する t検定によって確認できます。

これらの診断検定の解釈は、モデルの仮定に大きく依存します。残差の検討はモデルの妥当性を検証するために使用できますが、モデルの仮定が満たされていない場合、 t検定やF検定の結果の解釈はより困難になることがあります。例えば、誤差項が正規分布に従わない場合、サンプル数が少ないと推定パラメータは正規分布に従わず、推論が複雑になります。しかし、比較的大きなサンプル数であれば、中心極限定理を適用して、漸近近似を用いて仮説検定を進めることができます。

限定された従属変数

限定従属変数は、カテゴリ化されているか、または特定の範囲にのみ限定されている応答変数であり、計量経済学でよく使用されます。

応答変数は非連続（実線の一部のサブセット上に限定される）であってもよい。 2 値（ゼロまたは 1 値）の変数の場合、分析が最小二乗線型回帰で行われると、そのモデルは線型確率モデルと呼ばれる。 2 値従属変数の非線型モデルには、プロビットモデルとロジットモデルがある。多変量プロビットモデルは、複数の 2 値従属変数といくつかの独立変数間の結合関係を推定する標準的な手法である。 3 つ以上の値を持つカテゴリ変数の場合は、多項ロジットモデルがある。 3 つ以上の値を持つ順序変数の場合は、順序ロジットモデルと順序プロビットモデルがある。打ち切り回帰モデルは、従属変数が時々しか観測されない場合に使用され、ヘックマン補正型モデルは、標本が対象の母集団からランダムに選択されていない場合に使用される。

このような手順の代替として、カテゴリ変数間のポリコリック相関（またはポリシリアル相関）に基づく線型回帰があります。これらの手順は、母集団における変数の分布に関する仮定が異なります。変数が正の値を持ち、低い値で事象の発生頻度を表す場合、ポアソン回帰や負の二項分布モデルなどの計数モデルが使用される場合があります。

非線形回帰

モデル関数がパラメータに対して線形でない場合、反復手順によって平方和を最小化する必要があります。これにより多くの複雑な問題が生じますが、それらは「線形最小二乗法と非線形最小二乗法の違い」にまとめられています。

予測（内挿と外挿）

中央の直線は、この直線の上下の点の間の最良のバランスを表しています。点線の直線は、傾きの変動のみを考慮した2つの極端な直線を表しています。内側の曲線は、傾きと切片の両方の変動を考慮した推定値の範囲を表しています。外側の曲線は、新しい測定値の予測を表しています。^[24]

回帰モデルは、X変数の既知の値に基づいて、Y変数の値を予測します。モデルフィッティングに使用されるデータセット内の値の範囲内での予測は、非公式には内挿と呼ばれます。データの範囲外の予測は、外挿と呼ばれます。外挿の実行は、回帰の仮定に大きく依存します。外挿がデータから外れれば外れれば外れるほど、仮定とサンプルデータまたは真の値との差によってモデルが失敗する余地が大きくなります。

点予測には、不確実性を表す予測区間が付随する場合があります。このような区間は、独立変数の値が観測データの範囲外になると急速に拡大する傾向があります。

このような理由やその他の理由から、外挿を行うのは賢明ではないと考える人もいます。^[25]

モデル選択

YとXの関係について特定の形式を仮定することは、不確実性のもう一つの要因です。適切に実施された回帰分析では、仮定された形式が観測データとどの程度一致するかを評価しますが、それは実際に利用可能な独立変数の値の範囲内でのみ可能です。つまり、外挿は回帰関係の構造形式に関する仮定に大きく依存することになります。この知識に従属変数が特定の値の範囲を超えることができないという事実が含まれている場合、たとえ観測データセットにそのような境界に近い値が全く存在しないとしても、モデルの選択にこれを活用できます。回帰分析に適切な関数形式を選択するというこのステップは、外挿を検討する上で大きな意味を持つ可能性があります。少なくとも、適合モデルから得られる外挿が「現実的」であること（つまり既知の事実と一致すること）を保証できます。

検出力とサンプルサイズの計算

モデルにおける観測数と独立変数の数の関係については、一般的に合意された方法はありません。GoodとHardinによって推測された方法の1つは、です。ここで、はサンプルサイズ、は独立変数の数、はモデルが独立変数を1つしか持たない場合に望ましい精度に達するために必要な観測数です。^[26]例えば、ある研究者が1000人の患者を含むデータセット（）を使用して線形回帰モデルを構築しているとします。研究者が直線（）を正確に定義するには5つの観測が必要であると判断した場合、モデルがサポートできる独立変数の最大数（）は4です。 $N=m^{n}$ $N$ $n$ $m$ $N$ $m$ $n$

{\frac {\log 1000}{\log 5}}\approx 4.29

。

その他の方法

回帰モデルのパラメータは通常、最小二乗法を使用して推定されますが、他に次のような方法も使用されています。

ベイズ法、例：ベイズ線形回帰
パーセンテージ回帰は、パーセンテージ誤差を減らすことがより適切であると考えられる状況で用いられる。^[27]
最小絶対偏差は外れ値が存在する場合にロバストであり、分位回帰につながる。
ノンパラメトリック回帰は、多数の観測値を必要とし、計算量が多い。
シナリオ最適化、区間予測モデルにつながる

ソフトウェア

主要な統計ソフトウェアパッケージはすべて、最小二乗回帰分析と推論を実行できます。最小二乗法を用いた単回帰と重回帰は、一部のスプレッドシートアプリケーションや電卓で実行できます。多くの統計ソフトウェアパッケージは、様々な種類のノンパラメトリック回帰やロバスト回帰を実行できますが、これらの手法は標準化されていません。ソフトウェアパッケージによって実装される手法は異なり、同じ名前の手法でも、パッケージによって実装が異なる場合があります。調査分析や神経画像診断などの分野では、専用の回帰ソフトウェアが開発されています。

参照

参考文献

^ Yan, Xin; Su, Xiaogang (2009). 線形回帰分析：理論と計算. World Scientific Publishing. pp. 2– 3. ISBN 9789812834102。
^ Freund, Rudolf J.; Mohr, Donna L.; Wilson, William J. (2010). 統計手法. Elsevier Science. p. 323. ISBN 9780080961033。
^ 必要条件分析
^ David A. Freedman (2009年4月27日). 統計モデル：理論と実践. Cambridge University Press. ISBN 978-1-139-47731-4。
^ R. デニスクック、サンフォードワイスバーグ『回帰分析における批判と影響分析』社会学的方法論、第13巻（1982年）、313～361頁
^ Belenkiy, Ari; Echague, Eduardo Vila (2008). 「線形回帰分析への模索：ヒッパルコスによる春分点観測のニュートンによる分析」arXiv : 0810.4948 [physics.hist-ph].
^ バックウォルド, ジェド・Z.; フェインゴールド, モーデカイ (2013).ニュートンと文明の起源.プリンストン大学出版局. pp. 90– 93, 101– 103. ISBN 978-0-691-15478-7。
^ AM ルジャンドル。 Nouvelles méthodes pour la détermination des orbites des comètes、Firmin Didot、パリ、1805。「Sur la Méthode des moindres quarrés」は付録として掲載されています。
^ ab 第1章：Angrist, JD, & Pischke, JS (2008). Mostly Harmless Econometrics: An Empiricist's Companion . Princeton University Press.
^ ガウス、CF (1821–1823)。理論の組み合わせは観察上の誤りを最小限に抑えます – Google Books より。
^ Mogull, Robert G. (2004). 『第2学期応用統計学』 Kendall/Hunt Publishing Company. p. 59. ISBN 978-0-7575-1181-3。
^ ガルトン、フランシス (1989). 「親族関係と相関関係（1989年再版）」.統計科学. 4 (2): 80– 86. doi : 10.1214/ss/1177012581 . JSTOR 2245330.
^ フランシス・ゴルトン. 「遺伝の典型的な法則」, Nature 15 (1877), 492–495, 512–514, 532–533.（ゴルトンはこの論文でエンドウ豆の大きさについて論じており、「復帰変異」という用語を使用している。）
^ フランシス・ゴルトン、大統領演説、H部、人類学（1885年）（ゴルトンはこの論文の中で人間の身長について論じており、「回帰」という用語を使用している。）
^ ユール、G. ウドニー(1897). 「相関理論について」.王立統計学会誌. 60 (4): 812–54 . doi :10.2307/2979746. JSTOR 2979746.
^ ピアソン, カール; ユール, GU; ブランチャード, ノーマン; リー, アリス (1903). 「祖先遺伝の法則」. Biometrika . 2 (2): 211– 236. doi :10.1093/biomet/2.2.211. JSTOR 2331683.
^ Fisher, RA (1922). 「回帰式の適合度と回帰係数の分布」. Journal of the Royal Statistical Society . 85 (4): 597– 612. doi :10.2307/2341124. JSTOR 2341124. PMC 1084801 .
^ ロナルド・A・フィッシャー(1970). 『研究者のための統計手法（第12版）』エディンバラ：オリバー・アンド・ボイド. ISBN 978-0-05-002170-5。
^ Aldrich, John (2005). 「フィッシャーと回帰」(PDF) .統計科学. 20 (4): 401– 417. doi : 10.1214/088342305000000331 . JSTOR 20061201.
^ ロドニー・ラムチャラン、「回帰分析：なぜ経済学者はそれに執着するのか？」2006年3月。2011年12月3日にアクセス。
^ フォザリンガム, A. スチュワート; ブランズドン, クリス; チャールトン, マーティン (2002).地理加重回帰分析：空間的に変化する関係性の分析（再版）. チチェスター, イギリス: ジョン・ワイリー. ISBN 978-0-471-49616-8。
^ Fotheringham, AS; Wong, DWS (1991年1月1日). 「多変量統計分析における修正可能な面積単位問題」. Environment and Planning A. 23 ( 7): 1025–1044 . Bibcode :1991EnPlA..23.1025F. doi :10.1068/a231025. S2CID 153979055.
^ Steel, RGD、および Torrie, JH、「生物学を特に参照した統計の原理と手順」、 McGraw Hill、1960年、288ページ。
^ Rouaud, Mathieu (2013). 確率、統計、推定(PDF) . p. 60.
^ Chiang, CL, (2003)統計的分析方法、World Scientific. ISBN 981-238-310-7- 274ページ、セクション9.7.4「内挿と外挿」
^ Good, PI ; Hardin, JW (2009). 『統計におけるよくある誤りとその回避方法』（第3版）. ホーボーケン、ニュージャージー州: Wiley. p. 211. ISBN 978-0-470-45798-6。
^ Tofallis, C. (2009). 「最小二乗法によるパーセンテージ回帰」. Journal of Modern Applied Statistical Methods . 7 : 526–534 . doi :10.2139/ssrn.1406472. hdl : 2299/965 . SSRN 1406472.

さらに読む

ウィリアム・H・クラスカルとジュディス・M・タヌール編（1978年）「線形仮説」国際統計百科事典、フリープレス、第1巻

エヴァン・J・ウィリアムズ、「I. 回帰」、pp.523-41。

Julian C. Stanley、「II. 分散分析」、pp. 541–554。

Lindley, DV (1987).「回帰分析と相関分析」『ニュー・パルグレイブ経済学辞典』第4巻、120～123頁。
バークス、デイビッド、ドッジ、Y.、『回帰分析の代替法』ISBN 0-471-56881-3
Chatfield, C. (1993)「区間予測の計算」『ビジネスと経済統計ジャーナル』 11 . pp. 121–135。
Draper, NR; Smith, H. (1998).応用回帰分析（第3版）. John Wiley. ISBN 978-0-471-17082-2。
Fox, J. (1997). 応用回帰分析、線型モデルおよび関連手法. Sage
ハードル、W.、応用ノンパラメトリック回帰（1990）、ISBN 0-521-42950-1
ミード、ナイジェル；イスラム、トウヒドゥル（1995）「成長曲線予測のための予測区間」『予測ジャーナル』14（5）：413-430 . doi :10.1002/for.3980140502.
A. Sen、M. Srivastava、「回帰分析 - 理論、方法、およびアプリケーション」、Springer-Verlag、ベルリン、2011年（第4版）。
T. Strutz:データフィッティングと不確実性（重み付き最小二乗法とその応用に関する実践的入門） Vieweg+Teubner、ISBN 978-3-8348-1022-9。
Stulp, Freek, Olivier Sigaud.多様な回帰アルゴリズムを一つの統合モデルで：レビュー. Neural Networks, vol. 69, 2015年9月, pp. 60–79. https://doi.org/10.1016/j.neunet.2015.05.005.
Malakooti, B. (2013). 『多目的オペレーションと生産システム』John Wiley & Sons.
チッコ、ダビデ。ウォーレンズ、マタイス J.ジャーマン、ジュゼッペ (2021)。「決定係数 R 二乗は、回帰分析の評価において SMAPE、MAE、MAPE、MSE、RMSE よりも有益です。」PeerJ コンピュータサイエンス。7 (e623): e623。ドイ: 10.7717/peerj-cs.623。PMC 8279135。PMID 34307865。

外部リンク

ウィキメディアコモンズには、回帰分析に関連するメディアがあります。

「回帰分析」、数学百科事典、EMS Press、2001 [1994]
初期の使用: 回帰 – 基本的な歴史と参考文献
重回帰分析は何に使われるのか？ – 重回帰分析
弱い相関データの回帰 – Y範囲がX範囲よりもはるかに小さい場合、線形回帰の誤りがどのように発生するか