図1. 緑の線は過剰適合モデル、黒の線は正規化モデルを表しています。緑の線は訓練データに最もよく追従しますが、訓練データへの依存度が高く、黒の点で示される新しい未知のデータに対するエラー率は黒の線に比べて高くなる可能性があります。
図2. ノイズを含む（ほぼ線形の）データを線形関数と多項式関数に当てはめています。多項式関数は完全に適合しますが、線形関数の方がより一般化しやすいことが期待されます。つまり、2つの関数を用いて適合データを超えて外挿した場合、線形関数の方がより正確な予測ができるはずです。
図3. 青い破線は、適合度の低いモデルを表しています。直線は放物線に決して適合しません。このモデルは単純すぎます。

数学的モデリングにおいて、過適合とは「特定のデータセットに近すぎる、あるいは正確すぎる分析結果を生成することで、追加のデータに適合できなかったり、将来の観測値を信頼性を持って予測できなかったりする可能性がある」ことを意味する。[1]過適合モデルとは、データによって正当化されるよりも多くのパラメータを含む数学的モデルである。 [2]多項式関数からなるモデルの特殊なケースでは、これらのパラメータは多項式の次数を表す。過適合の本質は、残差変動（すなわちノイズ）の一部を、あたかもその変動が基礎となるモデル構造を表しているかのように、無意識のうちに抽出することである。[3] : 45 

アンダーフィッティングは、数学モデルがデータの基礎構造を適切に捉えられない場合に発生します。アンダーフィッティングモデルとは、正しく指定されたモデルには現れるはずのパラメータや項が欠落しているモデルです。[2]アンダーフィッティングは、例えば線形モデルを非線形データに当てはめる場合に発生します。このようなモデルは予測性能が低下する傾向があります。

モデルの選択基準がモデルの適合性を判断する基準と一致しない場合、過剰適合が発生する可能性があります。例えば、あるモデルは、あるトレーニングデータセットにおけるパフォーマンスを最大化するように選択されたものの、その適合性は未知のデータに対するパフォーマンスによって決定される場合があります。過剰適合は、モデルが傾向から一般化するために「学習」するのではなく、トレーニングデータを「記憶」し始めるときに発生します。

極端な例として、パラメータの数が観測数と同じかそれよりも多い場合、モデルはデータ全体を記憶するだけでトレーニングデータを完全に予測できます。（図2を参照）。このようなモデルは、予測を行う際に通常、重大な失敗を犯します。

過適合は、選択された関数クラスの近似誤差と最適化手順の最適化誤差に直接関係しています。データセットのサイズに対して適切な意味で大きすぎる関数クラスは、過適合になる可能性があります。[4]適合モデルのパラメータ数が過剰でない場合でも、適合関係は、新しいデータセットでは、適合に使用したデータセットよりもパフォーマンスが低下することが予想されます（この現象は収縮と呼ばれることもあります）。[2]特に、決定係数の値は元のデータと比較して収縮します。

過剰適合の可能性や量を減らすために、いくつかの手法が利用可能です（例：モデル比較、クロスバリデーション、正則化、早期停止、枝刈り、ベイズ事前分布、ドロップアウト）。これらの手法の基本は、(1) 過度に複雑なモデルに明示的にペナルティを課すか、(2) 訓練に使用されないデータセット（モデルが遭遇する典型的な未知のデータに近いと想定される）でモデルの性能を評価することにより、モデルの一般化能力をテストすることです。

統計的推論

統計学では、何らかの手順を経て選択された統計モデルから推論が導き出されます。バーナムとアンダーソンは、モデル選択に関するよく引用される著書の中で、過剰適合を避けるためには「節約の原則」に従うべきだと主張しています。[3]著者らはまた、次のように述べています。[3] : 32–33 

過剰適合モデルは、パラメータ推定値にバイアスがないことが多いものの、推定値（および実際の）標本分散が不必要に大きくなります（推定値の精度は、より簡素なモデルで達成できたであろう精度に比べて低い）。誤った治療効果が特定される傾向があり、過剰適合モデルには誤った変数が含まれます。… 最適近似モデルは、過小適合と過剰適合の誤差を適切にバランスさせることで実現されます。

分析を導く理論がほとんどない場合、過剰適合はより深刻な懸念事項となる可能性が高くなります。その理由の一つは、選択可能なモデルが多数存在する傾向があるためです。『モデル選択とモデル平均化』（2008年）では、この点についてこのように述べています。[5]

データセットがあれば、ボタンを押すだけで何千ものモデルを当てはめることができますが、最適なモデルをどのように選べばよいでしょうか？候補となるモデルが多すぎると、過剰適合が深刻な危険を伴います。ハムレットとタイプした猿は、実際には優れた作家だったのでしょうか？

回帰

回帰分析では、過剰適合が頻繁に発生します。[6]極端な例として、p 個のデータポイントを持つ線型回帰にp 個の変数がある場合、適合線はすべてのポイントを正確に通過することがあります。[7]ロジスティック回帰または Cox比例ハザードモデルの場合、さまざまな経験則があります (例: 5–9、[8] 10 [9]および 10–15 [10] — 独立変数ごとに 10 個の観測値というガイドラインは、「10分の 1 ルール」として知られています)。回帰モデルの選択プロセスでは、ランダム回帰関数の平均二乗誤差は、ランダムノイズ、近似バイアス、および回帰関数の推定値の分散に分けることができます。バイアスと分散のトレードオフは、過剰適合モデルを克服するためによく使用されます。

予測対象となる従属変数と実際には無関係な説明変数が多数存在する場合、一部の変数が統計的に有意であると誤って判定されることが一般的であり、研究者はそれらの変数をモデルに残すことで、モデルを過剰適合させてしまう可能性があります。これはフリードマンのパラドックスとして知られています。

機械学習

図4. 教師あり学習（例：ニューラルネットワーク）における過学習/過剰適合。学習誤差は青、検証誤差は赤で示され、どちらも学習サイクル数の関数として示されています。学習誤差が着実に減少している（負の傾き）一方で検証誤差が増加（正の傾き）している場合、過学習が発生している可能性があります。最も予測精度が高く、適合度の高いモデルは、検証誤差が最小値となるモデルです。

通常、学習アルゴリズムは、望ましい出力が既知の典型的な状況である「トレーニングデータ」のセットを用いてトレーニングされます。その目標は、トレーニング中に遭遇しなかった「検証データ」を与えられた場合でも、アルゴリズムが出力を予測する性能を良好に発揮することです。

過剰適合とは、オッカムの剃刀に違反するモデルまたは手順の使用であり、たとえば、最終的に最適な数よりも多くの調整可能なパラメータを含めたり、最終的に最適な数よりも複雑なアプローチを使用したりすることで発生します。調整可能なパラメータが多すぎる例として、 2 つの独立変数の線形関数によってyのトレーニング データを適切に予測できるデータセットを考えてみましょう。このような関数に必要なのは、3 つのパラメータ (切片と 2 つの傾き) だけです。この単純な関数を、新しい、より複雑な 2 次関数、または 3 つ以上の独立変数を含む新しい、より複雑な線形関数に置き換えると、リスクが伴います。オッカムの剃刀によれば、任意の複雑な関数は任意の単純な関数よりも事前に確率が低いことになります。単純な関数の代わりに、より複雑な新しい関数が選択され、トレーニングデータの適合度が複雑さの増加を相殺するのに十分なほど大きくなかった場合、新しい複雑な関数はデータを「過剰適合」し、複雑な関数がトレーニングデータセット上では同様に、あるいは場合によってはそれ以上に優れたパフォーマンスを発揮したとしても、トレーニングデータセット外の検証データでは、複雑な過剰適合関数は単純な関数よりもパフォーマンスが悪くなる可能性があります。[11]

異なる種類のモデルを比較する場合、各モデルに存在するパラメータの数を数えるだけでは複雑さを測ることはできません。各パラメータの表現力も考慮する必要があります。例えば、m個のパラメータを持つニューラルネットワーク（曲線関係を追跡できる）の複雑さと、 n個のパラメータを持つ回帰モデルの複雑さを直接比較することは容易ではありません。[11]

過学習は、学習が長すぎる場合や訓練データが少ない場合に特に起こりやすく、学習器は目標関数と因果関係のない訓練データの非常に特定のランダムな特徴に適応してしまいます。この過学習のプロセスでは、訓練データに対するパフォーマンスは向上しますが、未知のデータに対するパフォーマンスは低下します。

簡単な例として、購入した商品、購入者、購入日時を含む小売購入のデータベースを考えてみましょう。購入日時を使って他の属性を予測することで、トレーニングセットに完全に適合するモデルを構築するのは簡単です。しかし、過去のデータは二度と発生しないため、このモデルは新しいデータには全く一般化できません。

一般的に、学習アルゴリズムが単純なアルゴリズムに比べて、既知のデータ（後知恵）への適合精度が高い一方で、新しいデータ（先見）の予測精度が低い場合、そのアルゴリズムは過剰適合していると言われます。過去の経験から得られる情報は、将来に関連する情報と無関係な情報（「ノイズ」）の2つのグループに分けられるという事実から、過剰適合は直感的に理解できます。他の条件が同じであれば、基準の予測が困難であるほど（つまり、不確実性が高いほど）、過去の情報には無視すべきノイズが多く存在します。問題は、どの部分を無視するかを決定することです。ノイズの適合リスクを低減できる学習アルゴリズムは「ロバスト」と呼ばれます。

結果

過剰適合した生成モデルは、トレーニングセットのインスタンスと実質的に同一の出力を生成する可能性がある。[12]

過剰適合の最も明白な結果は、検証データセットにおけるパフォーマンスの低下です。その他の悪影響としては、以下のようなものがあります。

  • 過剰適合された関数は、最適な関数よりも検証データセット内の各項目についてより多くの情報を要求する可能性が高く、この不要な追加データを収集することは、特に個々の情報を人間の観察と手動のデータ入力によって収集する必要がある場合、コストがかかったり、エラーが発生しやすくなったりする可能性があります。[11]
  • より複雑で過剰適合した関数は、単純な関数よりも移植性が低くなる可能性があります。極端な例として、1変数の線形回帰は非常に移植性が高く、必要であれば手作業で行うことさえ可能です。一方、極端な例として、元のモデル作成者のセットアップ全体を完全に複製することによってのみ再現可能なモデルがあり、再利用や科学的な再現が困難になります。[11]
  • 過剰適合した機械学習モデルのトレーニングセットから、個々のトレーニングインスタンスの詳細を再構築できる可能性があります。例えば、トレーニングデータに機密性の高い個人識別情報（PII）が含まれている場合、これは望ましくない可能性があります。この現象は人工知能と著作権の分野でも問題を引き起こしており、 Stable DiffusionやGitHub Copilotといった生成型深層学習モデルの開発者は、トレーニングデータから特定の著作権で保護されたアイテムを再現できることが判明したため、著作権侵害で訴えられています。[12] [13]

救済策

最適な関数は通常、より大きなデータセットや全く新しいデータセットで検証する必要があります。しかしながら、相関係数と時系列（ウィンドウ幅）の依存関係を応用した最小全域木や相関の寿命といった手法があります。ウィンドウ幅が十分に大きい場合、相関係数は安定し、ウィンドウ幅の大きさに依存しなくなります。したがって、調査対象変数間の相関係数を計算することで相関行列を作成できます。この行列は、変数間の直接的および間接的な影響を視覚化する複雑なネットワークとして位相的に表現できます。

ドロップアウト正則化（訓練セットデータのランダムな削除）も堅牢性を向上させ、層への入力を確率的に削除することで過学習を軽減します。プルーニングは、疎で最適なニューラルネットワーク構造を特定することで過学習を軽減し、汎化を向上させる別の手法です[14]。同時に、訓練と推論の両方の計算コストを削減します。

アンダーフィッティング

図5. 赤い線は、青で示されたデータポイントのアンダーフィッティングモデルを表しています。データポイントの曲率を表す放物線状の線が見られるはずです。
図 6. 青い線は、緑色で表されたデータ ポイントの近似モデルを表します。

アンダーフィッティングはオーバーフィッティングの逆で、統計モデルまたは機械学習アルゴリズムが単純すぎるため、データのパターンを正確に捉えられないことを意味します。アンダーフィッティングの兆候は、現在使用されているモデルまたはアルゴリズムで高いバイアスと低い分散が検出されることです（オーバーフィッティングの逆：低いバイアスと高い分散）。これは、バイアス誤差、分散誤差、および削減不可能な誤差についてモデルまたはアルゴリズムを分析する方法であるバイアスと分散のトレードオフから推測できます。高いバイアスと低い分散では、モデルはデータ ポイントを不正確に表現し、したがって将来のデータ結果を十分に予測できなくなります（一般化誤差を参照）。図 5 に示すように、直線はポイントの曲率に似ていないため、指定されたすべてのデータ ポイントを表すことはできません。図 6 と図 1 に示すように、放物線状の線が表示されることが予想されます。図 5 を分析に使用すると、図 6 を分析した結果とは反対の誤った予測結果が得られます。

バーナムとアンダーソンは次のように述べています。[3] : 32 

... 適合不足のモデルは、データ内の重要な再現可能な（つまり、他のほとんどのサンプルで概念的に再現可能な）構造を無視し、データによって実際に裏付けられている効果を特定できない可能性があります。この場合、パラメータ推定値のバイアスはしばしば大きく、標本分散は過小評価されており、これらの要因により信頼区間のカバレッジが狭くなります。適合不足のモデルは、実験設定において重要な治療効果を見逃す傾向があります。

アンダーフィッティングの解決

アンダーフィッティングに対処する方法は複数あります。

  1. モデルの複雑さを増やす：モデルが単純すぎる場合は、特徴量を追加したり、パラメータ数を増やしたり、より柔軟なモデルを使用したりすることで、モデルの複雑さを増やす必要があるかもしれません。ただし、過剰適合を避けるため、慎重に行う必要があります。[15]
  2. 別のアルゴリズムを使用する：現在のアルゴリズムがデータのパターンを捉えられない場合は、別のアルゴリズムを試す必要があるかもしれません。例えば、データの種類によっては、線形回帰モデルよりもニューラルネットワークの方が効果的な場合があります。[15]
  3. トレーニングデータの量を増やす：データ不足のためにモデルの学習が不十分な場合は、トレーニングデータの量を増やすことで改善する可能性があります。これにより、モデルはデータの根本的なパターンをより適切に捉えることができるようになります。[15]
  4. 正則化：正則化は、損失関数に大きなパラメータ値を抑制するペナルティ項を追加することで、過適合を防ぐために使用される手法です。また、モデルの複雑さを制御することで、過適合を防ぐこともできます。[16]
  5. アンサンブル法：アンサンブル法は複数のモデルを組み合わせることで、より正確な予測を行います。複数のモデルを連携させてデータの根本的なパターンを捉えることで、アンダーフィッティングを軽減できます。
  6. 特徴量エンジニアリング：特徴量エンジニアリングとは、既存のモデル特徴量から、より問題に関連性の高い新しいモデル特徴量を作成することです。これにより、モデルの精度が向上し、アンダーフィッティングを防ぐことができます。[15]

良性過剰適合

良性過剰適合とは、ノイズの多い訓練データに完璧に適合している（すなわち、訓練セットで完璧な予測精度を得ている）にもかかわらず、統計モデルが未知のデータにも十分に一般化されているように見える現象を指します。この現象はディープニューラルネットワークにおいて特に興味深いものですが、線形回帰などのはるかに単純なモデルの文脈において理論的観点から研究されています。特に、この設定では、良性過剰適合には過剰パラメータ化が不可欠であることが示されている。言い換えれば、予測に重要でないパラメータ空間の方向の数が、サンプルサイズを大幅に上回っている必要があるということです。[17]

参照

注記

  1. ^ OxfordDictionaries.comにおける「overfitting」の定義: この定義は特に統計学に関するものです。
  2. ^ abc Everitt BS, Skrondal A. (2010)、Cambridge Dictionary of Statistics、Cambridge University Press。
  3. ^ abcd Burnham, KP; Anderson, DR (2002),モデル選択とマルチモデル推論（第2版）、Springer-Verlag。
  4. ^ Bottou, Léon; Bousquet, Olivier (2011-09-30)、「大規模学習のトレードオフ」、機械学習のための最適化、MIT Press、pp.  351– 368、doi :10.7551/mitpress/8996.003.0015、ISBN 978-0-262-29877-3、 2023年12月8日取得
  5. ^ Claeskens, G. ; Hjort, NL (2008)、「モデル選択とモデル平均化」、ケンブリッジ大学出版局。
  6. ^ Harrell, FE Jr. (2001),回帰モデリング戦略, Springer。
  7. ^ Martha K. Smith (2014年6月13日). 「Overfitting」.テキサス大学オースティン校. 2016年7月31日閲覧。
  8. ^ Vittinghoff, E.; McCulloch, CE (2007). 「ロジスティック回帰とCox回帰における変数あたり10イベントルールの緩和」. American Journal of Epidemiology . 165 (6): 710– 718. doi :10.1093/aje/kwk052. PMID  17182981.
  9. ^ Draper, Norman R.; Smith, Harry (1998).応用回帰分析（第3版）. Wiley . ISBN 978-0471170822。
  10. ^ Jim Frost (2015年9月3日). 「回帰モデルの過剰適合の危険性」 . 2016年7月31日閲覧。
  11. ^ abcd Hawkins, Douglas M (2004). 「過剰適合の問題」. Journal of Chemical Information and Modeling . 44 (1): 1– 12. doi :10.1021/ci0342472. PMID  14741005. S2CID  12440383.
  12. ^ ab Lee, Timothy B. (2023年4月3日). 「安定拡散に関する著作権訴訟はAIにとって法的な激震となる可能性がある」Ars Technica .
  13. ^ ヴィンセント・ジェームズ (2022年11月8日). 「AI著作権のルールを書き換える可能性のある訴訟」The Verge . 2022年12月7日閲覧。
  14. ^ LeCun, Yann; Denker, John; Solla, Sara (1989). 「最適な脳損傷」.神経情報処理システムの進歩. 2. Morgan-Kaufmann.
  15. ^ abcd "ML | アンダーフィッティングとオーバーフィッティング". GeeksforGeeks . 2017年11月23日. 2023年2月27日閲覧。
  16. ^ Nusrat, Ismoilov; Jang, Sung-Bong (2018年11月). 「ディープニューラルネットワークにおける正規化手法の比較」. Symmetry . 10 (11): 648. Bibcode :2018Symm...10..648N. doi : 10.3390/sym10110648 . ISSN  2073-8994.
  17. ^ Bartlett, PL, Long, PM, Lugosi, G., & Tsigler, A. (2019). 線形回帰における良性過剰適合. Proceedings of the National Academy of Sciences, 117, 30063-30070.

参考文献

  • Leinweber, DJ (2007). 「愚かなデータマイナーの手口」. The Journal of Investing . 16 : 15–22 . doi :10.3905/joi.2007.681820. S2CID  108627390.
  • Tetko, IV; Livingstone, DJ; Luik, AI (1995). 「ニューラルネットワーク研究. 1. オーバーフィッティングとオーバートレーニングの比較」(PDF) . Journal of Chemical Information and Modeling . 35 (5): 826– 833. doi :10.1021/ci00027a006.
  • ヒント7：過剰適合を最小限に抑える. Chicco, D. (2017年12月). 「計算生物学における機械学習のための10のクイックヒント」. BioData Mining . 10 (35): 35. doi : 10.1186/s13040-017-0155-3 . PMC 5721660. PMID  29234465 . 

さらに読む