外れ値

図 1.マイケルソン・モーリー実験のデータのボックス プロット。中央の列に 4 つの外れ値、最初の列に 1 つの外れ値が表示されています。

統計学において、外れ値とは他の観測値とは著しく異なるデータポイントのことである。 ^{[1] [2]}外れ値は、測定の変動、新しいデータの兆候、または実験エラーの結果である可能性があり、後者はデータセットから除外されることがある。^{[3] [4]} 外れ値は刺激的な可能性を示すものである可能性があるが、統計分析において深刻な問題を引き起こすこともある。

外れ値はどの分布でも偶然に発生することがありますが、データセット内の新しい動作や構造、測定誤差、または母集団が裾の重い分布を持っていることを示している可能性があります。測定誤差の場合、それらを破棄するか、外れ値に対して堅牢な統計を使用しますが、裾の重い分布の場合は、分布の歪度が高いことを示し、正規分布を前提とするツールや直感の使用には細心の注意を払う必要があります。外れ値のよくある原因は、2つの分布が混在していることです。これは、2つの異なるサブ母集団である場合もあれば、「正しい試行」と「測定誤差」を示す場合もあります。これは、混合モデルによってモデル化されます。

大規模なデータサンプリングでは、多くの場合、一部のデータポイントはサンプル平均から合理的と考えられる範囲よりも離れてしまいます。これは、偶発的な系統的誤差や、仮定された確率分布族を生成した理論の欠陥、あるいは一部の観測値がデータの中心から大きく離れていることが原因である可能性があります。したがって、外れ値は、データに欠陥がある、手順に誤りがある、あるいは特定の理論が妥当でない可能性のある領域を示している可能性があります。しかし、大規模なサンプルでは、​​少数の外れ値は予想されます（これは、何らかの異常な状況によるものではありません）。

外れ値は最も極端な観測値であり、極端に高いか低いかによって、標本最大値、標本最小値、あるいはその両方が含まれる場合があります。ただし、標本最大値と標本最小値は、他の観測値から異常に離れていない可能性があるため、必ずしも外れ値とは限りません。

外れ値を含むデータセットから得られる統計情報を単純に解釈すると、誤解を招く可能性があります。例えば、ある部屋にある10個の物体の平均温度を計算し、そのうち9個が20～25 ℃でオーブンが175℃の場合、データの中央値は20～25℃になりますが、平均温度は35.5～40℃になります。この場合、中央値は平均値よりも、ランダムに抽出された物体の温度（室内の温度ではありません）をより正確に反映します。平均値を「典型的なサンプル」、つまり中央値と同等であると単純に解釈するのは誤りです。この例が示すように、外れ値は、サンプルセットの残りの部分とは異なる母集団に属するデータポイントを示している可能性があります。

外れ値に対処できる推定値は堅牢であると言われます。中央値は中心傾向の堅牢な統計量ですが、平均値はそうではありません。^[5]

発生と原因

正規分布における相対確率

正規分布データの場合、 3シグマルールとは、およそ22個中1個の観測値が平均値から標準偏差の2倍以上離れ、370個中1個が標準偏差の3倍以上離れることを意味します。 ^[6] 1000個の観測値の標本において、平均値から標準偏差の3倍以上離れている観測値が最大5個あることは、予想される範囲内であり、期待値の2倍未満、したがって期待値の1標準偏差以内です（ポアソン分布を参照）。したがって、異常を示すものではありません。ただし、標本サイズが100個しかない場合は、そのような外れ値が3個あるだけでも、期待値の11倍を超え、懸念すべき理由となります。

一般に、母集団の分布の性質が事前にわかっていれば、外れ値の数が予想値から大幅に逸脱するかどうかを検定することができます。つまり、与えられた分布の与えられたカットオフ（つまりサンプルがカットオフを超える確率はp）に対して、外れ値の数はパラメータpを持つ二項分布に従います。これは通常、 λ = pnのポアソン分布で十分に近似できます。したがって、平均から 3 標準偏差のカットオフを持つ正規分布をとると、pは約 0.3% となり、1000 回の試行で偏差が 3 シグマを超えるサンプル数を λ = 3 のポアソン分布で近似することができます。

原因

外れ値には様々な異常な原因が考えられます。測定を行うための物理的な装置に一時的な故障が発生した可能性があります。データの送信や転記にエラーが発生した可能性もあります。外れ値は、システムの動作の変化、不正行為、人為的ミス、機器のエラー、あるいは単に母集団の自然偏差によって発生します。サンプルが、調査対象の母集団以外の要素に汚染されている可能性もあります。あるいは、外れ値は仮定された理論の欠陥の結果である可能性があり、研究者による更なる調査が必要になります。さらに、特定の形態の外れ値の病的な外観は、さまざまなデータセットに現れ、データの原因となるメカニズムが極端な場合では異なる可能性があることを示唆しています（キング効果）。

定義と検出

外れ値を構成するものについて厳密な数学的定義は存在せず、観測結果が外れ値であるか否かの判断は最終的には主観的な作業となる。^[7] 外れ値検出には様々な手法があり、その中には新規性検出と同義に扱われるものがある。^{[3] [8] [9] [10] [11]}正規確率プロットのようなグラフィカルなものもあれば、モデルに基づくものもある。箱ひげ図はそれらのハイブリッドである。

識別に一般的に使用されるモデルベースの方法では、データが正規分布からのものであると想定し、平均と標準偏差に基づいて「ありそうにない」と判断される観測値を識別します。

• ショーヴネの基準
• 外れ値に対するグラブスの検定
• ディクソンのQ検定
• ASTM E178: 異常値観測への対応に関する標準的な方法^[12]
• マハラノビス距離とレバレッジは、特に線形回帰モデルの開発において、外れ値を検出するためによく使用されます。
• 高次元数値データのための部分空間と相関に基づく手法^[11]

ピアースの基準

一連の観測において、誤差の限界を決定することが提案されている。この限界を超えると、そのような観測が複数存在する場合、その観測はすべて棄却される。この問題を解決するために提案されている原理は、提案された観測を保持することによって得られる誤差のシステムの確率が、それらを棄却することによって得られる誤差のシステムの確率に、それ以上の異常な観測を行わない確率を乗じた値よりも小さい場合、提案された観測は棄却されるべきであるというものである。（ショーヴネ著『天文学マニュアル』第2巻558ページ、ピアーズ（1982年版）516ページの編集者注より引用） ^{[13] [14] [15] [16]}${\displaystyle m}$ ${\displaystyle n}$

テューキーのフェンス

他の手法では、四分位範囲などの尺度に基づいて観測値にフラグを付けます。例えば、とがそれぞれ下位四分位数と上位四分位数である場合、範囲外の観測値を外れ値と定義できます。 ${\displaystyle Q_{1}}$ ${\displaystyle Q_{3}}$

${\displaystyle {\big [}Q_{1}-k(Q_{3}-Q_{1}),Q_{3}+k(Q_{3}-Q_{1}){\big ]}}$

非負定数 に対して。 ジョン・チューキーはこの検定法を提案した。ここで は「外れ値」、 は「大きく外れた」データであることを示す。^[17]${\displaystyle k}$ ${\displaystyle k=1.5}$ ${\displaystyle k=3}$

異常検出において

統計学、信号処理、金融、計量経済学、製造業、ネットワーク、データマイニングなど、様々な分野において、異常検出のタスクは他のアプローチをとる場合があります。これらの中には、距離ベース^{[18] [19]や、}局所外れ値係数（LOF） ^[20]のような密度ベースなどがあります。また、k近傍点までの距離を用いて観測値を外れ値または非外れ値として分類するアプローチもあります。 ^[21]

修正トンプソン・タウ検定

修正トンプソン・タウ検定は、データセット内に外れ値が存在するかどうかを判定するために使用される手法である。^[22]この手法の強みは、データセットの標準偏差と平均値を考慮し、統計的に決定された棄却領域を提供することにある。これにより、データポイントが外れ値であるかどうかを客観的に判定することができる。^{[要出典] [23]} 仕組み：まず、データセットの平均値を決定する。次に、各データポイントと平均値の絶対偏差を決定する。最後に、以下の式を用いて棄却領域を決定する。

${\displaystyle {\text{拒絶領域}}{=}{\frac {{t_{\alpha /2}}{\left(n-1\right)}}{{\sqrt {n}}{\sqrt {n-2+{t_{\alpha /2}^{2}}}}}}}$ ;

ここで、 は自由度n -2のスチューデントt分布の臨界値、 nは標本サイズ、sは標本標準偏差です。値が外れ値かどうかを判断するには、 を計算します。δ >棄却領域の場合、データ点は外れ値です。δ ≤ 棄却領域の場合、データ点は外れ値ではありません。 ${\displaystyle \scriptstyle {t_{\alpha /2}}}$ ${\displaystyle \scriptstyle \delta =|(X平均(X))/s|}$

修正トンプソン・タウ検定は、一度に1つの外れ値を検出するために使用されます（外れ値の場合は、 δの最大値が削除されます）。つまり、データポイントが外れ値であると判明した場合、データセットから削除され、新たな平均値と棄却域を用いて再度検定が適用されます。このプロセスは、データセットに外れ値がなくなるまで続けられます。

名義データ（またはカテゴリデータ）の外れ値についても、いくつかの研究で検証されています。データセット内の一連の例（またはインスタンス）の文脈において、インスタンスの難易度は、インスタンスが誤分類される確率を測定します（ここで、 yは割り当てられたクラスラベル、xはトレーニングセットt内のインスタンスの入力属性値を表します）。^{[24]理想的には、インスタンスの難易度は、すべての可能な仮説}Hの集合を合計することによって計算されます。 ${\displaystyle 1-p(y|x)}$

${\displaystyle {\begin{aligned}IH(\langle x,y\rangle )&=\sum _{H}(1-p(y,x,h))p(h|t)\\&=\sum _{H}p(h|t)-p(y,x,h)p(h|t)\\&=1-\sum _{H}p(y,x,h)p(h|t).\end{aligned}}}$

実際には、 Hは潜在的に無限大であり、多くのアルゴリズムでは計算方法が未知であるため、この定式化は実現不可能です。したがって、インスタンスの困難性は、多様なサブセットを用いて近似することができます。 ${\displaystyle p(h|t)}$ ${\displaystyle L\subset H}$

${\displaystyle IH_{L}(\langle x,y\rangle )=1-{\frac {1}{|L|}}\sum _{j=1}^{|L|}p(y|x,g_{j}(t,\alpha ))}$

ここで、はハイパーパラメータ を用いてトレーニングセットtでトレーニングされた学習アルゴリズムによって誘導された仮説です。インスタンスの難易度は、インスタンスが外れ値インスタンスであるかどうかを判断するための連続値を提供します。 ${\displaystyle g_{j}(t,\alpha )}$ ${\displaystyle g_{j}}$ ${\displaystyle \alpha}$

外れ値の処理

外れ値への対処方法は、その原因に応じて選択する必要があります。一部の推定量、特に共分散行列の推定量は外れ値に対して非常に敏感です。

保持

正規分布モデルが分析対象のデータに適している場合でも、サンプルサイズが大きい場合は外れ値が発生することが予想され、その場合でも自動的に除外すべきではありません。^[25] 代わりに、自然発生する外れ値を含むデータをモデル化または分析するには、外れ値に対して堅牢な手法を使用する必要があります。^[25]

除外

外れ値を除去するかどうかを決定する際には、その原因を考慮する必要があります。前述のように、外れ値の原因が実験誤差に起因する場合、あるいは外れ値のデータ点が誤りであると判断できる場合は、一般的にその外れ値を除去することが推奨されます。^{[25] [26]}しかし、可能であれば、誤った値を修正することが望ましいです。

一方、外れ値であるという理由だけでデータポイントを除外することは、多くの科学者や科学指導者からしばしば批判され、議論の的となる行為です。これは統計的結果の妥当性を失わせることが多いためです。^{[25] [26]}数学的基準はデータ除外のための客観的かつ定量的な方法を提供しますが、特にデータ集合が小さい場合や正規分布を仮定できない場合には、除外の科学的または方法論的妥当性を高めるものではありません。外れ値の除外は、測定対象プロセスの基礎モデルと測定誤差の通常の分布が確実に分かっている実践分野では、より受け入れられやすいものです。

外れ値を除外する一般的な方法は、切り捨て（またはトリミング）とウィンザライジングの2つです。トリミングは外れ値を切り捨てますが、ウィンザライジングは外れ値を最も近い「疑わしい」データに置き換えます。^[27]また、実験がそのような極端な値を完全に測定できない場合など、測定プロセスの結果、除外が行われることもあります。その結果、打ち切りデータが発生します。^[28]

回帰問題では、クックの距離などの尺度を使用して、推定係数に大きな影響を与える点のみを除外するという代替アプローチが考えられます。^[29]

データ分析からデータ ポイントが除外された場合は、それ以降のレポートにその旨を明記する必要があります。

非正規分布

データの根底にある分布が近似的に正規分布ではなく、「厚い裾」を持つ可能性を考慮する必要がある。例えば、コーシー分布^[30]から標本をサンプリングする場合、標本分散は標本サイズの増加に伴って増加し、標本平均は標本サイズの増加に伴って収束せず、正規分布の場合よりもはるかに高い割合で外れ値が発生することが予想される。裾の太さのわずかな違いでさえ、極値の期待数に大きな違いをもたらす可能性がある。

集合のメンバーシップの不確実性

セットメンバーシップアプローチでは、未知のランダムベクトルxのi番目の測定に対応する不確実性が、確率密度関数ではなくセットX _{iによって表されると考えます。外れ値が発生しない場合、} x はすべてのX _iの交差に属する必要があります。外れ値が発生した場合、この交差は空になる可能性があり、不整合を回避するために、少数のセットX _{i を}（可能な限り小さく）緩和する必要があります。^{[31]これは、} q緩和交差の概念を使用して行うことができます。図に示すように、q緩和交差は、 q個を除くすべてのセットに属するすべてのxの集合に対応します。q 緩和交差と交差しないセットX i は_、外れ値である疑いがあります。

図5. q =2（赤）、q =3（緑）、q = 4（青）、q = 5（黄）の6つのセットのq緩和交差。

代替モデル

外れ値の原因がわかっている場合には、階層的ベイズモデルや混合モデルなどを使用して、この影響をモデル構造に組み込むことが可能である可能性がある。^{[32] [33]}

参照

• 異常現象（自然科学）
• 新規性の検出
• アンスコムの四重奏団
• データ変換（統計）
• 極値理論
• 影響力のある観察
• ランダムサンプルコンセンサス
• ロバスト回帰
• スパイダーズ・ゲオルグ
• スチューデント化残差
• ウィンザーライジング

参考文献

1. Grubbs, FE (1969年2月). 「サンプルにおける外れ値の検出手順」. Technometrics . 11 (1): 1– 21. doi :10.1080/00401706.1969.10490657.外れ値、または「外れ値」とは、それが存在するサンプル内の他のメンバーから著しく逸脱しているように見える値のことである。
2. Maddala, GS (1992). 「外れ値」. 計量経済学入門（第2版）. ニューヨーク: マクミラン. pp. 89. ISBN 978-0-02-374545-4外れ値とは、残りの観測値から大きく離れた観測値のことです。
3. Pimentel, MA, Clifton, DA, Clifton, L., & Tarassenko, L. (2014). 新規性検出のレビュー. Signal Processing, 99, 215-249.
4. Grubbs 1969、p. 1 では、「外れ値の観測は、単にデータに内在するランダム変動性の極端な現れである可能性があります。…一方、外れ値の観測は、規定された実験手順からの大幅な逸脱、または数値の計算または記録におけるエラーの結果である可能性があります。」と述べています。
5. リプリー、ブライアン・D. 2004. ロバスト統計 2012年10月21日アーカイブ、Wayback Machineより
6. Ruan, Da ; Chen, Guoqing; Kerre, Etienne (2005). Wets, G. (ed.). Intelligent Data Mining: Techniques and Applications . Studies in Computational Intelligence Vol. 5. Springer. p. 318. ISBN 978-3-540-26256-5。
7. Zimek, Arthur; Filzmoser, Peter (2018). 「行き来：統計的推論とデータマイニングアルゴリズム間の外れ値検出」（PDF） . Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery . 8 (6) e1280. doi :10.1002/widm.1280. ISSN  1942-4787. S2CID 53305944. 2021年11月14日時点 のオリジナル（PDF）からアーカイブ。 2019年12月11日閲覧。
8. Rousseeuw, P ; Leroy, A. (1996)、『ロバスト回帰と外れ値検出』（第3版）、John Wiley & Sons
9. ホッジ、ビクトリア・J.; オースティン、ジム (2004)、「外れ値検出手法の調査」、人工知能レビュー、22 (2): 85– 126、CiteSeerX 10.1.1.109.1943、doi :10.1023/B:AIRE.0000045502.10941.a9、S2CID  3330313 
10. バーネット、ヴィック; ルイス、トビー (1994) [1978]、「統計データの外れ値（第3版）」、ワイリー、ISBN 978-0-471-93094-5
11. Zimek, A.; Schubert, E.; Kriegel, H.-P. (2012). 「高次元数値データにおける教師なし外れ値検出に関する調査」.統計分析とデータマイニング. 5 (5): 363– 387. doi :10.1002/sam.11161. S2CID  6724536.
12. E178: 外れ値の観測値を扱うための標準的な方法
13. ベンジャミン・パース、「疑わしい観測を却下するための基準」、天文学ジャーナルII45（1852年）および原論文の訂正。
14. パース、ベンジャミン（1877年5月 – 1878年5月）「パースの基準について」アメリカ芸術科学アカデミー紀要. 13 : 348–351 . doi :10.2307/25138498. JSTOR  25138498.
15. ピアース、チャールズ・サンダース(1873) [1870]. 「付録21. 観測誤差理論について」. 1870年の測量進捗状況を示す米国沿岸測量局長報告書: 200–224 .NOAA PDF Eprint (レポートの 200 ページ、PDF の 215 ページ)。
16. ピアース、チャールズ・サンダース(1986) [1982]. 「観察の誤りの理論について」. クローゼル、クリスチャン・J・W他編. 『チャールズ・S・ピアース著作集：年代順版』第3巻、1872- 1878年. ブルーミントン、インディアナ州: インディアナ大学出版局. pp. 140-160. ISBN 978-0-253-37201-7。– 付録21、515ページの編集者注によると
17. Tukey, John W (1977). 探索的データ分析. Addison-Wesley. ISBN 978-0-201-07616-5OCLC  3058187 。
18. , EM; Ng, RT; Tucakov, V. (2000). 「距離ベースの外れ値：アルゴリズムと応用」. VLDBジャーナル 国際超大規模データベースジャーナル8 ( 3–4 ): 237. CiteSeerX 10.1.1.43.1842 . doi :10.1007/s007780050006. S2CID  11707259. 
19. Ramaswamy, S.; Rastogi, R.; Shim, K. (2000).大規模データセットからの外れ値マイニングのための効率的なアルゴリズム. 2000 ACM SIGMOD 国際データ管理会議 - SIGMOD '00 の議事録. p. 427. doi : 10.1145/342009.335437 . ISBN 1-58113-217-4。
20. Breunig, MM; Kriegel, H.-P .; Ng, RT; Sander, J. (2000). LOF: 密度ベースの局所的外れ値の識別(PDF) . 2000 ACM SIGMOD 国際データ管理会議議事録. SIGMOD . pp.  93– 104. doi :10.1145/335191.335388. ISBN 1-58113-217-4. 2015年9月23日時点のオリジナル（PDF）からアーカイブ。2015年8月28日閲覧。
21. Schubert, E.; Zimek, A.; Kriegel, H.-P. (2012). 「局所的外れ値検出の再考：局所性に関する一般論と空間、動画、ネットワークにおける外れ値検出への応用」.データマイニングと知識発見. 28 : 190–237 . doi :10.1007/s10618-012-0300-z. S2CID  19036098.
22. Wheeler, Donald J. (2021年1月11日). 「いくつかの外れ値テスト：パート2」. Quality Digest . 2025年2月9日閲覧。
23. Thompson .R. (1985). 「代替外れ値モデルを用いた制限付き最大尤度推定に関するノート」王立統計学会誌 シリーズB（方法論） 第47巻 第1号 53-55頁
24. Smith, MR; Martinez, T.; Giraud-Carrier, C. (2014). 「データ複雑性のインスタンスレベル分析」. 機械学習, 95(2): 225-256.
25. Karch, Julian D. (2023). 「外れ値は自動的に除去されない可能性がある」. Journal of Experimental Psychology: General . 152 (6): 1735– 1753. doi :10.1037/xge0001357. hdl : 1887/4103722 . PMID  37104797. S2CID  258376426.
26. Bakker, Marjan; Wicherts, Jelte M. (2014). 「外れ値除去、合計スコア、独立サンプルt検定におけるタイプIエラー率のインフレ：代替案と推奨の力」心理学的方法. 19 (3​​): 409– 427. doi :10.1037/met0000014. PMID  24773354.
27. Wike, Edward L. (2006). 『データ分析：心理学学生のための統計入門』 Transaction Publishers. pp.  24– 25. ISBN 978-0-202-36535-0。
28. Dixon, WJ (1960年6月). 「打ち切り正規標本からの簡略化された推定」.数理統計年報. 31 (2): 385– 391. doi : 10.1214/aoms/1177705900 .
29. Cook, R. Dennis (1977年2月). 「線形回帰における影響力のある観測値の検出」. Technometrics (American Statistical Association) 19 (1): 15–18.
30. Weisstein, Eric W. Cauchy Distribution. MathWorld（Wolfram Web Resource）より
31. Jaulin, L. (2010). 「ロバスト回帰のための確率的セットメンバーシップアプローチ」(PDF) . Journal of Statistical Theory and Practice . 4 : 155– 167. doi :10.1080/15598608.2010.10411978. S2CID  16500768.
32. Roberts, S. および Tarassenko, L.: 1995, 「新規性検出のための確率的リソース割り当てネットワーク」Neural Computation 6, 270–284.
33. Bishop, CM (1994年8月). 「新規性検出とニューラルネットワークの検証」. IEE Proceedings - Vision, Image, and Signal Processing . 141 (4): 217– 222. doi :10.1049/ip-vis:19941330 (2025年7月12日非アクティブ).

外部リンク

• レンゼ、ジョン。 「外れ値」。マスワールド。
• バラクリシュナン、N.; チャイルズ、A. (2001) [1994]、「アウトライアー」、数学百科事典、EMSプレス
• NISTマニュアルに記載されているGrubbsテスト