損失関数

数理最適化および意思決定理論において、損失関数またはコスト関数（誤差関数と呼ばれることもある）^[1]は、事象または1つ以上の変数の値を、その事象に関連する何らかの「コスト」を直感的に表す実数にマッピングする関数である。最適化問題は、損失関数を最小化することを目指す。目的関数は損失関数またはその逆（特定の領域では、報酬関数、利益関数、効用関数、適応度関数などと呼ばれる）のいずれかであり、後者の場合は最大化される。損失関数には、階層の複数のレベルの項が含まれる場合がある。

統計学では、通常、損失関数はパラメータ推定に使用され、問題のイベントは、データのインスタンスの推定値と真の値の差の何らかの関数です。ラプラスと同じくらい古いこの概念は、 20世紀半ばにアブラハム・ワルドによって統計学に再導入されました。 ^{[2]たとえば、}経済学の文脈では、これは通常、経済的コストまたは後悔です。分類では、例を誤って分類した場合のペナルティです。保険数理学では、特に1920年代のハラルド・クラマーの研究以来、保険の文脈で保険料に対して支払われる給付をモデル化するために使用されています。 ^[3]最適制御では、損失は望ましい値を達成できなかった場合のペナルティです。金融リスク管理では、関数は金銭的な損失に対応付けられます。

例

後悔

レナード・J・サベージは、ミニマックスなどの非ベイジアン手法を使用する場合、損失関数は後悔の考えに基づくべきであると主張しました。つまり、決定に関連する損失は、状況が判明しているときに下された最善の決定の結果と、状況が判明する前に実際に下された決定の結果との差であるべきだということです。

二次損失関数

二次損失関数は、例えば最小二乗法を用いる場合によく用いられます。分散の特性と対称性（目標値を上回る誤差は、目標値を下回る誤差と同じ大きさの誤差と同じ損失を引き起こす）により、他の損失関数よりも数学的に扱いやすい場合が多いです。目標値がtの場合、二次損失関数は次のようになります。

\lambda (x)=C(tx)^{2}\;

ある定数Cについて、定数の値は決定に影響を与えず、1に設定することで無視できます。これは二乗誤差損失（SEL）としても知られています。^[1]

t 検定、回帰モデル、実験計画法など、多くの一般的な統計では、二次損失関数に基づく線形回帰理論を使用して適用される最小二乗法が使用されます。

二次損失関数は、線形-二次最適制御問題でも使用されます。これらの問題では、不確実性がない場合でも、すべてのターゲット変数の目標値を達成できない可能性があります。損失は、多くの場合、対象変数の目標値からの偏差の二次形式として表現されます。このアプローチは、線形一次条件となるため扱いやすいです。確率制御のコンテキストでは、二次形式の期待値が使用されます。二次損失は、その平方性質により、真のデータよりも外れ値に重点を置きます。そのため、データに大きな外れ値が多数含まれる場合は、 Huber損失、log-cosh損失、SMAE損失などの代替手段が使用されます。

0-1損失関数

統計学と意思決定理論において、頻繁に使用される損失関数は0-1損失関数である。

L({\hat {y}},y)={\begin{cases}0&{\text{if }}y={\hat {y}}\\1&{\text{if }}y\neq {\hat {y}}\end{cases}}

情報理論では、この損失関数はハミング歪みとして知られています。

損失関数と目的関数の構築

多くの応用において、目的関数（特別なケースとして損失関数を含む）は、問題の定式化によって決定される。他の状況では、意思決定者の選好は、最適化に適した形式のスカラー値関数（効用関数とも呼ばれる）によって抽出され、表現される必要がある。これは、ラグナル・フリッシュがノーベル賞受賞講演で強調した問題である。^[4] 目的関数を構築するための既存の手法は、2つの専門会議の議事録にまとめられている。^[5]^[6] 特に、アンドラニク・タンジャンは、最も使用可能な目的関数（二次関数および加法関数）は、いくつかの無差別点によって決定されることを示した。彼は、コンピュータ支援による意思決定者とのインタビューを通じて抽出された順序データまたは基数データからこれらの目的関数を構築するモデルにこの特性を使用した。 ^[7]^[8] とりわけ、彼は、16のヴェストファーレン大学の予算^[9] と、ドイツの271の地域で失業率を均等化するための欧州補助金を最適に配分するための目的関数を構築した。^[10]

予想損失

いくつかのコンテキストでは、損失関数の値自体はランダム変数Xの結果に依存するため、ランダムな量になります。

統計

頻度主義とベイズ統計理論はどちらも損失関数の期待値に基づいて決定を下すことを伴いますが、この量は 2 つのパラダイムで異なる定義がされています。

頻度主義的期待損失

まず、頻度主義の文脈において期待損失を定義する。これは、観測データXの確率分布Pθに対する期待値をとることによって得られる。これは、決定ルールδとパラメータ_θのリスク関数^[11]^[12]^[13]^[14]とも呼ばれる。ここで、決定ルールはXの結果に依存する。リスク関数は次のように与えられる。

R(\theta,\delta)=\operatorname {E}_{\theta}L{\big(}\theta,\delta(X){\big)}=\int_{X}L{\big(}\theta,\delta(x){\big)}\,\mathrm {d}P_{\theta}(x).

ここで、θは固定されているが未知の可能性のある自然の状態、Xは母集団から確率的に抽出された観測値のベクトル、はXのすべての母集団の値の期待値、dP _θはXのイベント空間上の確率測度（ θによってパラメーター化される）、積分はXのサポート全体で評価されます。 $\operatorname {E} _{\theta}$

ベイズリスク

ベイズアプローチでは、期待値はパラメータ θの事前分布 $π$ ^*を使用して計算されます。

\rho (\pi ^{*},a)=\int _{\Theta }\int _{\mathbf {X}}L(\theta ,a({\mathbf {x}}))\,\mathrm {d} P({\mathbf {x}}\vert \theta )\,\mathrm {d} \pi ^{*}(\theta )=\int _{\mathbf {X}}\int _{\Theta }L(\theta ,a({\mathbf {x}}))\,\mathrm {d} \pi ^{*}(\theta \vert {\mathbf {x}})\,\mathrm {d} M({\mathbf {x}})

ここで、m(x) は予測尤度と呼ばれ、θ は「積分除去」され、 $π$ ^* (θ | x) は事後分布であり、積分の順序が変更されています。したがって、この期待損失を最小化するアクションa ^*を選択する必要があります。これはベイズリスクと呼ばれます。後者の式では、dx 内の積分対象は事後リスクと呼ばれ、決定aに関してこれを最小化すると、全体のベイズリスクも最小化されます。この最適な決定a ^*はベイズ（決定）ルールと呼ばれ、すべての可能な自然状態 θ と、すべての可能な（確率重み付けされた）データ結果における平均損失を最小化します。ベイズ的アプローチの利点の1つは、実際の観測データに基づいて最適なアクションを選択するだけで、一様に最適なアクションが得られることです。一方、すべての可能な観測値の関数として実際の頻度主義的最適決定ルールを選択することは、はるかに困難な問題です。同様に重要なのは、ベイズの定理は、さまざまな自然状態 θ における損失の結果を考慮していることです。

統計学における例

スカラーパラメータθ 、出力がθの推定値である決定関数、および二次損失関数（二乗誤差損失）の場合、リスク関数は推定値の平均二乗誤差になります。平均二乗誤差を最小化することで見つかった推定値は、事後分布の平均を推定します。 ${\hat {\theta }}$ $L(\theta ,{\hat {\theta }})=(\theta -{\hat {\theta }})^{2},$ $R(\theta ,{\hat {\theta }})=\operatorname {E} _{\theta }\left[(\theta -{\hat {\theta }})^{2}\right].$
密度推定では、未知のパラメータは確率密度そのものである。損失関数は通常、適切な関数空間におけるノルムとなるように選択される。例えば、L ² ノルムの場合、リスク関数は平均積分二乗誤差となる。 $L(f,{\hat {f}})=\|f-{\hat {f}}\|_{2}^{2}\,,$ $R(f,{\hat {f}})=\operatorname {E} \left(\|f-{\hat {f}}\|^{2}\right).\,$

不確実性の下での経済的選択

経済学では、不確実性下における意思決定は、期末の資産価値など、対象となる不確実な変数のフォン・ノイマン・モルゲンシュテルンの効用関数を用いてモデル化されることが多い。この変数の値は不確実であるため、効用関数の値も不確実であり、最大化されるのは効用の期待値である。

決定ルール

決定ルールは、最適性基準を用いて選択を行います。一般的に用いられる基準には以下のようなものがあります。

ミニマックス: 最悪の損失が最も低い決定ルールを選択します。つまり、最悪の場合の（最大可能な）損失を最小化します。 ${\underset {\delta }{\operatorname {arg\,min} }}\ \max _{\theta \in \Theta }\ R(\theta ,\delta ).$
不変性: 不変性要件を満たす決定ルールを選択します。
平均損失が最も低い（つまり、損失関数の期待値を最小化する）決定ルールを選択します。 ${\underset {\delta }{\operatorname {arg\,min} }}\operatorname {E} _{\theta \in \Theta }[R(\theta ,\delta )]={\underset {\delta }{\operatorname {arg\,min} }}\ \int _{\theta \in \Theta }R(\theta ,\delta )\,p(\theta )\,d\theta .$

損失関数の選択

健全な統計的実践には、特定の応用問題において実際に許容される変動と一致する推定値を選択することが求められる。したがって、損失関数の応用利用において、応用問題をモデル化するためにどの統計手法を用いるかは、問題の特定の状況下で誤りが生じることで生じる損失を把握していることにかかっている。^[15]

よくある例として、「場所」の推定が挙げられます。一般的な統計的仮定の下では、平均値は二乗誤差損失関数における期待損失を最小化する場所推定統計量であり、中央値は絶対差損失関数における期待損失を最小化する推定値です。しかし、それほど一般的ではない状況では、異なる推定値が最適な場合もあります。

経済学において、ある主体がリスク中立である場合、目的関数は単純に、利益、所得、期末の資産といった貨幣量の期待値として表現されます。リスク回避型またはリスク嗜好型の主体の場合、損失は効用関数の負の値として測定され、最適化される目的関数は効用の期待値となります。

コストの他の測定方法としては、公衆衛生や安全工学の分野における死亡率や罹患率などがあります。

ほとんどの最適化アルゴリズムでは、グローバルに連続かつ微分可能な損失関数を持つことが望ましいです。

非常によく使われる損失関数は、二乗損失、と絶対損失、の2つです。しかし、絶対損失はで微分できないという欠点があります。二乗損失は、外れ値に支配されやすいという欠点があります。つまり、一連の（のように）を合計すると、最終的な合計は平均的なa値の表現ではなく、特に大きなa値の数個の結果になる傾向があります。 $L(a)=a^{2}$ $L(a)=|a|$ $a=0$ $a$ ${\textstyle \sum _{i=1}^{n}L(a_{i})}$

損失関数の選択は恣意的ではありません。非常に制約的であり、損失関数は望ましい特性によって特徴付けられる場合もあります。^{[16]選択原理には、例えば、}IID観測の場合の対称統計量のクラスの完全性の要件、完全情報原理などがあります。

W・エドワーズ・デミングとナシーム・ニコラス・タレブは、損失関数の選択基準は、数学的な性質ではなく、経験的な現実のみであるべきだと主張している。そして、現実の損失はしばしば数学的に適切ではなく、微分可能、連続的、対称的などではない。例えば、飛行機の搭乗口が閉まる前に到着した人は飛行機に間に合うが、後に到着した人は間に合わない。これは不連続性と非対称性であり、少し遅れて到着する方が少し早く到着するよりもはるかに大きなコストがかかることを意味する。薬剤投与において、薬剤が少なすぎる場合のコストは効力の欠如となる一方、多すぎる場合のコストは許容できる毒性となる。これも非対称性の一つの例である。交通、配管、梁、生態系、気候などは、ある程度までは目立った変化なく負荷や応力の増加に耐えられるが、その後、渋滞したり壊滅的な破損を起こしたりする。デミングとタレブは、このような状況は現実の問題では一般的であり、おそらく古典的な滑らかで連続的で対称的な微分問題よりも一般的であると主張する。^[17]

参照

参考文献

^ ab ハスティー, トレバー;ティブシラニ, ロバート;フリードマン, ジェローム H. (2001). 統計学習の要素. シュプリンガー. p. 18. ISBN 0-387-95284-5。
^ Wald, A. (1950). 統計的決定関数. Wiley – APA Psycnet経由.
^ Cramér, H. (1930).リスクの数学的理論について. Centraltryckeriet.
^ Frisch, Ragnar (1969). 「ユートピア理論から実用化へ：計量経済学の事例」. ノーベル賞受賞記念講演. 2021年2月15日閲覧。
^ Tangian, Andranik; Gruber, Josef (1997).スカラー値目的関数の構築. 計量経済学的意思決定モデルに関する第3回国際会議議事録：スカラー値目的関数の構築, ハーゲン大学, 1995年9月5日～8日, カトリック・アカデミー・シュヴェルテにて開催. 経済学と数学システムに関する講義ノート. 第453巻. ベルリン: Springer. doi :10.1007/978-3-642-48773-6. ISBN 978-3-540-63061-6。
^ Tangian, Andranik; Gruber, Josef (2002).目的関数の構築と適用. 第4回国際計量意思決定モデル会議議事録: 目的関数の構築と適用, ハーゲン大学, ハウス・ノルドヘレ, 2000年8月28日〜31日. 経済学と数学システムに関する講義ノート. 第510巻. ベルリン: Springer. doi :10.1007/978-3-642-56038-5. ISBN 978-3-540-42669-1。
^ Tangian, Andranik (2002). 「意思決定者へのインタビューに基づく準凹二次目的関数の構築」. European Journal of Operational Research . 141 (3): 608– 640. doi :10.1016/S0377-2217(01)00185-0. S2CID 39623350.
^ Tangian, Andranik (2004). 「加法的な目的関数を順序的に構築するためのモデル」. European Journal of Operational Research . 159 (2): 476– 512. doi :10.1016/S0377-2217(03)00413-2. S2CID 31019036.
^ Tangian, Andranik (2004). 「現状を踏まえた大学予算の再配分」. European Journal of Operational Research . 157 (2): 409– 428. doi :10.1016/S0377-2217(03)00271-6.
^ Tangian, Andranik (2008). 「地域雇用政策の多基準最適化：ドイツにおけるシミュレーション分析」 .都市・地域開発レビュー. 20 (2): 103– 122. doi :10.1111/j.1467-940X.2008.00144.x.
^ Nikulin, MS (2001) [1994]、「統計的手順のリスク」、数学百科事典、EMSプレス
^ Berger, James O. (1985). 統計的決定理論とベイズ分析（第2版）. ニューヨーク: Springer-Verlag. Bibcode :1985sdtb.book.....B. ISBN 978-0-387-96098-2. MR 0804611。
^ デグルート、モリス(2004) [1970].最適統計的決定. ワイリークラシックスライブラリー. ISBN 978-0-471-68029-1. MR 2288194。
^ ロバート・クリスチャン・P. (2007).ベイズ選択. Springer Texts in Statistics (第2版). ニューヨーク: Springer. doi :10.1007/0-387-71599-1. ISBN 978-0-387-95231-4. MR 1835885。
^ Pfangl、J. (1994)。パラメトリック統計理論。ベルリン：ヴァルター・デ・グロイテル。ISBN 978-3-11-013863-4。
^ 損失関数の選択に関する数学的原理に関する詳細な情報は、 Klebanov, B.; Rachev, Svetlozat T.; Fabozzi, Frank J. (2009). Robust and Non-Robust Models in Statistics（ニューヨーク：Nova Scientific Publishers, Inc.）の第2章に記載されています。(そしてそこに参照があります)。
^ デミング、W・エドワーズ（2000年）『危機からの脱出』MIT出版。ISBN 9780262541152。

さらに読む

アレッツ, ケビン; バートラム, ゾンケ M.; ポープ, ピーター F. (2011年4月～6月). 「非対称損失関数と期待株式リターンの合理性」(PDF) .国際予測ジャーナル. 27 (2): 413– 437. doi :10.1016/j.ijforecast.2009.10.008. SSRN 889323.
バーガー, ジェームズ・O. (1985).統計的決定理論とベイズ分析（第2版）. ニューヨーク: シュプリンガー・フェアラーク.書誌コード:1985sdtb.book.....B. ISBN 978-0-387-96098-2. MR 0804611。

チェケッティ, S. (2000). 「金融政策の策定：目的とルール」.オックスフォード経済政策レビュー. 16 (4): 43– 59. doi :10.1093/oxrep/16.4.43.

ホロウィッツ、アン・R. (1987). 「損失関数と公共政策」.マクロ経済学ジャーナル. 9 (4): 489– 504. doi :10.1016/0164-0704(87)90016-4.

Waud, Roger N. (1976). 「非対称政策立案者の効用関数と不確実性下における最適政策」. Econometrica . 44 (1): 53– 66. doi :10.2307/1911380. JSTOR 1911380.