教師あり学習

教師あり学習では、トレーニング データに予想される回答のラベルが付けられますが、教師なし学習では、モデルはラベルなしデータのパターンまたは構造を識別します。

機械学習において、教師あり学習（SL ）は機械学習パラダイムの一種であり、アルゴリズムは入力データと出力データのサンプルに基づいて、入力データを特定の出力にマッピングすることを学習します。このプロセスでは、ラベル付きデータを用いて統計モデルをトレーニングします。つまり、各入力データには正しい出力が与えられます。例えば、画像内の猫をモデルに識別させたい場合、教師あり学習では、明示的に「猫」とラベル付けされた多数の猫の画像（入力）をモデルに与えます（出力）。

教師あり学習の目標は、訓練されたモデルが新しい未知のデータの出力を正確に予測することです。^[1]そのためには、アルゴリズムが訓練例から効果的に一般化することが必要であり、その品質は一般化誤差によって測定されます。教師あり学習は、分類（スパムかどうかなどのカテゴリの予測）や回帰（住宅価格などの連続値の予測）などのタスクによく使用されます。

従うべき手順

教師あり学習の特定の問題を解決するには、次の手順を実行する必要があります。

1. トレーニングサンプルの種類を決定します。まず、ユーザーはトレーニングセットとして使用するデータの種類を決定する必要があります。例えば、手書き文字分析の場合、これは手書き文字1文字、手書き単語1単語、手書き文1文、手書き段落1段落などになります。
2. トレーニングセットを収集します。トレーニングセットは、関数の実際の使用状況を代表するものでなければなりません。そのため、人間の専門家または測定から得られた入力オブジェクトのセットと、対応する出力を収集します。
3. 学習済み関数の入力特徴表現を決定します。学習済み関数の精度は、入力オブジェクトの表現方法に大きく依存します。通常、入力オブジェクトは、オブジェクトを記述する多数の特徴を含む特徴ベクトルに変換されます。次元の呪いのため、特徴の数は多すぎるべきではありませんが、出力を正確に予測するのに十分な情報を含む必要があります。
4. 学習した関数の構造とそれに対応する学習アルゴリズムを決定します。例えば、サポートベクターマシンや決定木などを使用することを選択できます。
5. 設計を完了します。収集したトレーニングセットに対して学習アルゴリズムを実行します。一部の教師あり学習アルゴリズムでは、ユーザーが特定の制御パラメータを決定する必要があります。これらのパラメータは、トレーニングセットのサブセット（検証セットと呼ばれる）のパフォーマンスを最適化するか、交差検証によって調整できます。
6. 学習した関数の精度を評価します。パラメータ調整と学習後、トレーニングセットとは別のテストセットで、結果として得られた関数のパフォーマンスを測定する必要があります。

アルゴリズムの選択

教師あり学習アルゴリズムは多岐にわたり、それぞれに長所と短所があります。すべての教師あり学習問題に最適な単一の学習アルゴリズムは存在しません（「ノーフリーランチ定理」を参照）。

教師あり学習では、考慮すべき 4 つの主要な問題があります。

バイアスと分散のトレードオフ

最初の問題は、バイアスと分散のトレードオフです。^[2]複数の異なるが同等に優れたトレーニングデータセットが利用可能であると想像してください。学習アルゴリズムは、これらのデータセットそれぞれでトレーニングした際に、特定の入力に対して正しい出力を予測する際に系統的に誤った予測をする場合、特定の入力に対してバイアスがかかっているとみなされます。学習アルゴリズムは、異なるトレーニングデータセットでトレーニングした際に異なる出力値を予測する場合、特定の入力に対して高い分散を持っています。学習された分類器の予測誤差は、学習アルゴリズムのバイアスと分散の合計に関係しています。^[3]一般的に、バイアスと分散の間にはトレードオフがあります。バイアスが低い学習アルゴリズムは、データにうまく適合できるように「柔軟」でなければなりません。しかし、学習アルゴリズムが柔軟すぎると、各トレーニングデータセットに異なる適合をするため、分散が高くなります。多くの教師あり学習法の重要な側面は、このバイアスと分散のトレードオフを調整できることです（自動的に、またはユーザーが調整できるバイアス/分散パラメータを提供することによって）。 ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle x}$

関数の複雑さとトレーニングデータの量

2つ目の問題は、「真の」関数（分類器または回帰関数）の複雑さに対する、利用可能なトレーニングデータの量です。真の関数が単純な場合、バイアスが高く分散が低い「柔軟性のない」学習アルゴリズムでも、少量のデータから学習できます。しかし、真の関数が非常に複雑な場合（例えば、多くの異なる入力特徴間の複雑な相互作用を伴い、入力空間の異なる部分で異なる動作をする場合）、関数は大量のトレーニングデータと、バイアスが低く分散が高い「柔軟な」学習アルゴリズムを組み合わせることでのみ学習できます。

入力空間の次元

3つ目の問題は、入力空間の次元性です。入力特徴ベクトルの次元数が大きい場合、真の関数がそれらの特徴量の少数にのみ依存している場合でも、関数の学習が困難になる可能性があります。これは、多くの「余分な」次元が学習アルゴリズムを混乱させ、高い分散を引き起こす可能性があるためです。したがって、高次元の入力データでは、通常、分類器を低分散かつ高バイアスになるように調整する必要があります。実際には、エンジニアが入力データから無関係な特徴量を手動で削除できれば、学習した関数の精度が向上する可能性があります。さらに、関連する特徴量を特定し、無関係な特徴量を破棄しようとする特徴選択アルゴリズムも数多く存在します。これは、教師あり学習アルゴリズムを実行する前に、入力データを低次元空間にマッピングしようとする、より一般的な次元削減戦略の一例です。

出力値のノイズ

4つ目の問題は、望ましい出力値（監視対象変数）のノイズの程度です。望ましい出力値が（人為的エラーやセンサーエラーによって）頻繁に不正確になる場合、学習アルゴリズムはトレーニング例と完全に一致する関数を見つけようとすべきではありません。データを過度に慎重に適合させようとすると、過剰適合につながります。学習しようとしている関数が学習モデルに対して複雑すぎる場合、測定エラー（確率的ノイズ）がなくても過剰適合が発生する可能性があります。このような状況では、モデル化できない対象関数の部分がトレーニングデータを「破損」させます。この現象は決定論的ノイズと呼ばれています。どちらかのタイプのノイズが存在する場合は、バイアスが高く分散が低い推定値を使用する方がよいでしょう。

実際には、出力値のノイズを軽減するためのアプローチはいくつかあります。例えば、過学習を防ぐための早期停止や、教師あり学習アルゴリズムの学習前にノイズの多い学習例を検出して除去するといったアプローチがあります。ノイズの多い学習例を特定するアルゴリズムはいくつかあり、学習前にノイズの疑いのある学習例を除去することで、一般化誤差が統計的に有意に減少することが示されています。^{[4] [5]}

考慮すべきその他の要素

学習アルゴリズムを選択して適用する際に考慮すべきその他の要素は次のとおりです。

• データの異質性。特徴ベクトルに様々な種類（離散値、離散順序付き値、カウント値、連続値）の特徴が含まれている場合、他のアルゴリズムよりも適用しやすいアルゴリズムがあります。サポートベクターマシン、線形回帰、ロジスティック回帰、ニューラルネットワーク、最近傍法など、多くのアルゴリズムでは、入力特徴が数値であり、同様の範囲（例えば、[-1,1]区間）にスケーリングされている必要があります。最近傍法やガウスカーネルを用いたサポートベクターマシンなど、距離関数を用いる手法は、特にこの点に敏感です。決定木の利点は、異質なデータを容易に処理できることです。
• データの冗長性。入力特徴量に冗長な情報（例えば、相関の高い特徴量）が含まれている場合、一部の学習アルゴリズム（例えば、線形回帰、ロジスティック回帰、距離ベースの手法）は数値的不安定性のためにパフォーマンスが低下します。これらの問題は、何らかの正則化を適用することで解決できることが多いです。
• 相互作用と非線形性の存在。各特徴量が出力に独立して寄与する場合、線形関数（例：線形回帰、ロジスティック回帰、サポートベクターマシン、ナイーブベイズ）および距離関数（例：最近傍法、ガウスカーネルを用いたサポートベクターマシン）に基づくアルゴリズムは、一般的に良好なパフォーマンスを発揮します。しかし、特徴量間に複雑な相互作用がある場合は、決定木やニューラルネットワークなどのアルゴリズムの方が適しています。これらのアルゴリズムは、これらの相互作用を検出するために特別に設計されているためです。線形手法も適用できますが、エンジニアは使用時に相互作用を手動で指定する必要があります。

新しいアプリケーションを検討する際、エンジニアは複数の学習アルゴリズムを比較し、どのアルゴリズムが現在の問題に最も適しているかを実験的に判断することができます（クロスバリデーションを参照）。学習アルゴリズムのパフォーマンスの調整には非常に時間がかかる場合があります。リソースが限られている場合、学習アルゴリズムの調整に余分な時間を費やすよりも、追加のトレーニングデータやより有益な特徴量の収集に多くの時間を費やす方が効果的であることが多いです。

アルゴリズム

最も広く使用されている学習アルゴリズムは次のとおりです。

• サポートベクターマシン
• 線形回帰
• ロジスティック回帰
• ナイーブベイズ
• 線形判別分析
• 決定木
• k近傍アルゴリズム
• ニューラルネットワーク（例：多層パーセプトロン）
• 類似性学習

教師あり学習アルゴリズムの仕組み

形式の訓練例集合が与えられ、は- 番目の例の特徴ベクトル、はそのラベル（すなわちクラス）であるとすると、学習アルゴリズムは関数 を求めます。ここで、 は入力空間、は出力空間です。関数 は、通常仮説空間と呼ばれる、可能な関数の空間 の要素です。は、最高スコアを与える値を返すように定義されるスコアリング関数を用いて表現すると便利な場合があります。 はスコアリング関数の空間を表します。 ${\displaystyle N}$ ${\displaystyle \{(x_{1},y_{1}),...,(x_{N},\;y_{N})\}}$ ${\displaystyle x_{i}}$ ${\displaystyle i}$ ${\displaystyle y_{i}}$ ${\displaystyle g:X\to Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle g}$ ${\displaystyle G}$ ${\displaystyle g}$ ${\displaystyle f:X\times Y\to \mathbb {R} }$ ${\displaystyle g}$ ${\displaystyle y}$ ${\displaystyle g(x)={\underset {y}{\arg \max}}\;f(x,y)}$ ${\displaystyle F}$

とは任意の関数空間にすることができますが、多くの学習アルゴリズムは確率モデルであり、 は条件付き確率モデルの形をとり、 は結合確率モデルの形をとります。例えば、ナイーブベイズ分析と線形判別分析は結合確率モデルですが、ロジスティック回帰は条件付き確率モデルです。 ${\displaystyle G}$ ${\displaystyle F}$ ${\displaystyle g}$ ${\displaystyle g(x)={\underset {y}{\arg \max}}\;P(y|x)}$ ${\displaystyle f}$ ${\displaystyle f(x,y)=P(x,y)}$

またはを選択するための基本的なアプローチは2つあります。経験的リスク最小化と構造的リスク最小化です。^[6]経験的リスク最小化は、訓練データに最も適合する関数を求めます。構造的リスク最小化には、バイアスと分散のトレードオフを制御する ペナルティ関数が含まれます。${\displaystyle f}$ ${\displaystyle g}$

どちらの場合も、訓練データ集合は独立かつ同一分布のペア、の標本で構成されていると仮定します。関数が訓練データにどの程度適合するかを測定するために、損失関数が定義されます。訓練例 の場合、値を予測する際の損失は です。 ${\displaystyle (x_{i},\;y_{i})}$ ${\displaystyle L:Y\times Y\to \mathbb {R} ^{\geq 0}}$ ${\displaystyle (x_{i},\;y_{i})}$ ${\displaystyle {\hat {y}}}$ ${\displaystyle L(y_{i},{\hat {y}})}$

機能リスク は期待損失として定義される。これは訓練データから次のように推定できる 。${\displaystyle R(g)}$ ${\displaystyle g}$ ${\displaystyle g}$

${\displaystyle R_{emp}(g)={\frac {1}{N}}\sum _{i}L(y_{i},g(x_{i}))}$ 。

経験的リスク最小化

経験的リスク最小化において、教師あり学習アルゴリズムはを最小化する関数を求めます。したがって、を求める最適化アルゴリズムを適用することで、教師あり学習アルゴリズムを構築できます。 ${\displaystyle g}$ ${\displaystyle R(g)}$ ${\displaystyle g}$

が条件付き確率分布で、損失関数が負の対数尤度:の場合、経験的リスク最小化は最大尤度推定と同等になります。 ${\displaystyle g}$ ${\displaystyle P(y|x)}$ ${\displaystyle L(y,{\hat {y}})=-\log P(y|x)}$

候補関数が多数含まれる場合、または訓練データセットが十分に大きくない場合、経験的リスク最小化は大きな分散と不十分な汎化をもたらします。学習アルゴリズムは、十分に汎化することなく訓練例を記憶することができます（過学習）。 ${\displaystyle G}$

構造リスクの最小化

構造リスク最小化は、最適化に正則化ペナルティを組み込むことで、過適合を防止しようとします。正則化ペナルティは、より複雑な関数よりもより単純な関数を優先する、一種のオッカムの剃刀を実装するものと見なすことができます。

複雑性の様々な定義に応じて、様々なペナルティが採用されている。例えば、関数が以下の形式の線形関数である 場合を考えてみよう。${\displaystyle g}$

${\displaystyle g(x)=\sum _{j=1}^{d}\beta _{j}x_{j}}$ 。

一般的な正則化ペナルティは で、これは重みのユークリッドノルムの2乗であり、ノルムとも呼ばれます。他のノルムには、ノルム、 、そして「ノルム」（非ゼロの の数）があります。ペナルティは と表記されます。 ${\displaystyle \sum _{j}\beta _{j}^{2}}$ ${\displaystyle L_{2}}$ ${\displaystyle L_{1}}$ ${\displaystyle \sum _{j}|\beta _{j}|}$ ${\displaystyle L_{0}}$ ${\displaystyle \beta_{j}}$ ${\displaystyle C(g)}$

教師あり学習の最適化問題は、以下の関数を最小化する 関数を見つけることである。${\displaystyle g}$

${\displaystyle J(g)=R_{emp}(g)+\lambda C(g).}$

パラメータはバイアスと分散のトレードオフを制御します。 のとき、これは低いバイアスと高い分散を伴う経験的リスク最小化をもたらします。が大きいとき、学習アルゴリズムは高いバイアスと低い分散を持ちます。 の値は、交差検証によって経験的に選択できます。 ${\displaystyle \lambda}$ ${\displaystyle \lambda =0}$ ${\displaystyle \lambda}$ ${\displaystyle \lambda}$

複雑性ペナルティは、ベイズ解釈によれば、 の負の対数事前確率、 であり、その場合、はの事後確率である。 ${\displaystyle g}$ ${\displaystyle -\log P(g)}$ ${\displaystyle J(g)}$ ${\displaystyle g}$

生成的トレーニング

上で説明した訓練法は、異なる出力値を適切に識別する関数を見つけようとするため、識別訓練法と呼ばれます（識別モデルを参照）。が結合確率分布であり、損失関数が負の対数尤度である特殊なケースでは、リスク最小化アルゴリズムは生成訓練を行うと言われています。これは、 がデータがどのように生成されたかを説明する生成モデルと見なすことができるためです。生成訓練アルゴリズムは、識別訓練アルゴリズムよりも単純で計算効率が高いことがよくあります。場合によっては、ナイーブベイズや線形判別分析のように、解を閉形式で計算できます。 ${\displaystyle g}$ ${\displaystyle f(x,y)=P(x,y)}$ ${\displaystyle -\sum _{i}\log P(x_{i},y_{i}),}$ ${\displaystyle f}$

一般化

課題において教師あり学習と教師なし学習の手法が採用される傾向。円の境界をまたぐ課題名が意図的なものである。これは、教師なし学習を用いた想像力豊かな課題（左）の古典的な区分が、今日の学習体系においては曖昧になっていることを示している。

標準的な教師あり学習の問題を一般化する方法がいくつかあります。

• 半教師あり学習または弱教師：望ましい出力値は訓練データのサブセットに対してのみ提供されます。残りのデータはラベル付けされていないか、不正確にラベル付けされています。
• 能動学習：能動学習アルゴリズムは、すべてのトレーニング例が最初から与えられていると想定するのではなく、通常は人間のユーザーにクエリを発行することで、インタラクティブに新しい例を収集します。多くの場合、クエリはラベルなしデータに基づいており、これは半教師あり学習と能動学習を組み合わせたシナリオです。
• 構造化予測: 目的の出力値が解析ツリーやラベル付きグラフなどの複雑なオブジェクトである場合、標準メソッドを拡張する必要があります。
• ランク付けの学習: 入力がオブジェクトのセットであり、目的の出力がそれらのオブジェクトのランク付けである場合、この場合も標準の方法を拡張する必要があります。

アプローチとアルゴリズム

• 分析的学習
• 人工ニューラルネットワーク
• バックプロパゲーション
• ブースティング（メタアルゴリズム）
• ベイズ統計
• 事例に基づく推論
• 決定木学習
• 帰納的論理プログラミング
• ガウス過程回帰
• 遺伝的プログラミング
• データ処理のグループ方式
• カーネル推定器
• 学習オートマトン
• 学習分類システム
• ベクトル量子化の学習
• 最小メッセージ長（決定木、決定グラフなど）
• 多重線形部分空間学習
• ナイーブベイズ分類器
• 最大エントロピー分類器
• 条件付きランダムフィールド
• 最近傍アルゴリズム
• おそらく近似的に正しい学習（PAC）学習
• リップルダウンルール、知識獲得方法論
• シンボリック機械学習アルゴリズム
• サブシンボリック機械学習アルゴリズム
• サポートベクターマシン
• 最小複雑性マシン（MCM）
• ランダムフォレスト
• 分類器の集合
• 順序分類
• データ前処理
• 不均衡なデータセットの処理
• 統計的関係学習
• Proaftn、多基準分類アルゴリズム

アプリケーション

• バイオインフォマティクス
• ケミインフォマティクス
  • 定量的構造活性相関
• データベースマーケティング
• 手書き認識
• 情報検索
  • ランキングを学ぶ
• 情報抽出
• コンピュータビジョンにおける物体認識
• 光学文字認識
• スパム検出
• パターン認識
• 音声認識
• 教師あり学習は生物システムにおける下方因果関係の特殊なケースである
• 衛星画像を用いた地形分類^[7]
• 調達プロセスにおける支出分類^[8]

一般的な問題

• 計算学習理論
• 誘導バイアス
• 過剰適合
• （未較正）クラス所属確率
• バージョンスペース

参照

• 機械学習研究用データセット一覧
• 教師なし学習

参考文献

1. Mehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkar (2012) Foundations of Machine Learning、MIT Press ISBN 9780262018258。
2. S. Geman, E. Bienenstock, R. Doursat (1992). ニューラルネットワークとバイアス／分散のジレンマ. Neural Computation 4, 1–58.
3. G. James (2003)「一般損失関数の分散とバイアス」機械学習51, 115–135. (http://www-bcf.usc.edu/~gareth/research/bv.pdf)
4. CE BrodelyとMA Friedl (1999). 誤ったラベルが付けられたトレーニングインスタンスの識別と除去, Journal of Artificial Intelligence Research 11, 131–167. (http://jair.org/media/606/live-606-1803-jair.pdf)
5. MR SmithとT. Martinez (2011). 「誤分類されるべきインスタンスの識別と削除による分類精度の向上」.国際ニューラルネットワーク合同会議 (IJCNN 2011) の議事録. pp.  2690– 2697. CiteSeerX 10.1.1.221.1371 . doi :10.1109/IJCNN.2011.6033571. 
6. Vapnik, VN 『統計学習理論の性質（第2版）』、Springer Verlag、2000年。
7. A. Maity (2016). 「RADARSAT-2偏光データの異なる地形における教師付き分類」arXiv : 1608.00501 [cs.CV].
8. 「アジャイル調達のための主要テクノロジー | SIPMM出版物」. publication.sipmm.edu.sg . 2020年10月9日. 2022年6月16日閲覧。

外部リンク

• 機械学習オープンソースソフトウェア（MLOSS）