生成モデル

統計的分類には、生成的アプローチと識別的アプローチという2つの主要なアプローチがあります。これらは、統計的モデリングの程度が異なる異なるアプローチによって分類器を計算します。用語は一貫していませんが^[a]、主に3つのタイプに区別できます。^[1]

1. 生成モデルは、与えられた観測変数Xと目標変数Yの結合確率分布の統計モデルである。^[2]生成モデルは、観測xのランダムなインスタンス（結果）を「生成」するために使用できる。^[3] ${\displaystyle P(X,Y)}$
2. 判別モデルとは、観測値xが与えられた場合に、目標変数Yの条件付き確率 をモデル化するものである。これは、観測値xが与えられた場合に、目標変数Yの値を「判別」するために用いられる。^[4]${\displaystyle P(Y\mid X=x)}$
3. 確率モデルを使用せずに計算される分類器は、広義には「識別的」とも呼ばれます。

最後の 2 つのクラスの区別は一貫していません。^[5] Jebara (2004) は、これら 3 つのクラスを生成学習、条件付き学習、識別学習と呼んでいますが、Ng & Jordan (2002) は 2 つのクラスのみを区別し、それらを生成分類器 (結合分布) と識別分類器 (条件付き分布または分布なし) と呼んでおり、後者の 2 つのクラスは区別していません。^[6]同様に、生成モデルに基づく分類器は生成分類器であり、識別モデルに基づく分類器は識別分類器ですが、この用語はモデルに基づかない分類器も指します。

それぞれの標準的な例（すべて線形分類器）は次のとおりです。

• 生成分類器:
  • 単純ベイズ分類器と
  • 線形判別分析
• 識別モデル:
  • ロジスティック回帰

分類への応用では、観測値xからラベルy（またはラベルの確率分布）を求めることが求められます。確率分布を使用せずにこれを直接計算する（分布フリー分類器）、観測値が与えられた場合にラベルの確率を推定する（識別モデル）、それに基づいて分類を行う、あるいは結合分布を推定する（生成モデル）、そこから条件付き確率を計算し、それに基づいて分類を行うといったことが可能です。これらは間接的になりつつも確率的になり、より多くのドメイン知識と確率論を適用できるようになります。実際には、特定の問題に応じて異なるアプローチが使用され、複数のアプローチの長所を組み合わせたハイブリッドなアプローチもあります。 ${\displaystyle P(Y|X=x)}$ ${\displaystyle P(X,Y)}$ ${\displaystyle P(Y|X=x)}$

意味

別の区分では、これらを対称的に次のように定義します。

• 生成モデルは、観測可能なXの条件付き確率を、目標値yを与えられた場合に表すモデルであり、記号的に表現すると^[3]${\displaystyle P(X\mid Y=y)}$
• 識別モデルとは、観測値xが与えられたときの目標値Yの条件付き確率のモデルであり、記号的に表現すると^[4]${\displaystyle P(Y\mid X=x)}$

正確な定義にかかわらず、用語は憲法上適切である。なぜなら、生成モデルは、観測値とターゲット、またはターゲット値yが与えられた観測値xのいずれかのランダムインスタンス（結果）を「生成」するために使用できるからである^。[3]一方、識別モデルまたは識別分類器（モデルなし）は、観測値xが与えられた場合にターゲット変数Yの値を「識別」するために使用できる。^[4]「識別する」（区別する）と「分類する」の違いは微妙であり、これらは一貫して区別されていない。（「識別分類器」という用語は、 「識別」が「分類」と同義である場合に冗長語になる。） ${\displaystyle (x,y)}$

「生成モデル」という用語は、入力変数の潜在的なサンプルの確率分布と明確な関係を持たない方法で出力変数のインスタンスを生成するモデルを指す場合にも使用されます。生成敵対ネットワークはこの種の生成モデルの例であり、特定の出力と潜在的な入力の類似性によって主に判断されます。このようなモデルは分類器ではありません。

モデル間の関係

分類への応用では、観測可能なXは連続変数であることが多いですが、ターゲットYは一般的にはラベルの有限セットで構成される離散変数であり、条件付き確率は、 Xを入力、Yを出力と見なして、(非決定論的な)ターゲット関数として解釈することもできます。 ${\displaystyle P(Y\mid X)}$ ${\displaystyle f\colon X\to Y}$

有限のラベル集合が与えられた場合、「生成モデル」の2つの定義は密接に関連しています。条件付き分布のモデルは各ラベルの分布のモデルであり、結合分布のモデルは、ラベル値の分布と、ラベルが与えられた観測値の分布を組み合わせたモデルと等価です。つまり、結合確率分布のモデルはラベルの分布のモデルよりも情報量が多いものの（ただし、ラベルの相対頻度は考慮されません）、そのステップは比較的小さいため、必ずしも区別されるわけではありません。 ${\displaystyle P(X\mid Y=y)}$ ${\displaystyle P(Y)}$ ${\displaystyle P(X\mid Y)}$ ${\displaystyle P(X,Y)=P(X\mid Y)P(Y).}$

結合分布のモデルが与えられれば、個々の変数の分布は周辺分布および（X を連続と見なし、したがってその上で積分し、Y を離散と見なし、したがってその上で合計する）として計算することができ、条件付き確率の定義からいずれかの条件付き分布を計算できます 。${\displaystyle P(X,Y)}$ ${\displaystyle P(X)=\sum _{y}P(X,Y=y)}$ ${\displaystyle P(Y)=\int _{x}P(Y,X=x)}$ ${\displaystyle P(X\mid Y)=P(X,Y)/P(Y)}$ ${\displaystyle P(Y\mid X)=P(X,Y)/P(X)}$

1つの条件付き確率のモデルと、変数XとYの推定確率分布（および）が与えられれば、ベイズの定理を使用して反対の条件付き確率を推定することができます。 ${\displaystyle P(X)}$ ${\displaystyle P(Y)}$

${\displaystyle P(X\mid Y)P(Y)=P(Y\mid X)P(X).}$

たとえば、 の生成モデルが与えられた場合、次のように推定できます。 ${\displaystyle P(X\mid Y)}$

${\displaystyle P(Y\mid X)=P(X\mid Y)P(Y)/P(X),}$

の判別モデルが与えられれば、次のように推定できる。 ${\displaystyle P(Y\mid X)}$

${\displaystyle P(X\mid Y)=P(Y\mid X)P(X)/P(Y).}$

ベイズの定理 (1 つの条件付き確率を他の条件付き確率に基づいて計算する) と条件付き確率の定義 (結合分布に基づいて条件付き確率を計算する) も頻繁に混同されることに注意してください。

識別分類器との対比

生成アルゴリズムは、信号が分類されるためにデータがどのように生成されたかをモデル化します。生成アルゴリズムは、「生成の仮定に基づいて、どのカテゴリがこの信号を生成する可能性が最も高いか」という質問をします。識別アルゴリズムはデータがどのように生成されたかを気にせず、与えられた信号を単に分類します。したがって、識別アルゴリズムはデータから直接学習し、それからデータを分類しようとします。一方、生成アルゴリズムは、後でデータを分類するためにどのアルゴリズムに変換できるかを学習しようとします。生成アルゴリズムの利点の1つは、既存のデータに類似した新しいデータを生成できることです。一方、分類タスクにおいては、一部の識別アルゴリズムが一部の生成アルゴリズムよりも優れたパフォーマンスを発揮することが証明されています。^[7]${\displaystyle p(y|x)}$ ${\displaystyle p(x,y)}$ ${\displaystyle p(y|x)}$ ${\displaystyle p(x,y)}$

識別モデルは観測変数の分布をモデル化する必要がないにもかかわらず、観測変数と目標変数間の複雑な関係を一般的に表現することはできません。しかし、一般的に、分類や回帰のタスクにおいて、識別モデルは生成モデルよりも必ずしも優れたパフォーマンスを発揮するわけではありません。この2つのクラスは、補完的なもの、あるいは同じ手順の異なる視点として捉えられています。^[8]

深層生成モデル

ディープラーニングの台頭に伴い、生成モデルとディープニューラルネットワークを組み合わせた、ディープラーニング生成モデル（DGM） ^{[9] [10]}と呼ばれる新しい手法群が形成されました。ニューラルネットワークの規模の拡大は、通常、学習データの規模の拡大を伴い、良好なパフォーマンスを得るには、この両方が不可欠です。^[11]

一般的なDGMには、変分オートエンコーダ（VAE）、生成的敵対ネットワーク（GAN）、自己回帰モデルなどがあります。最近では、非常に大規模な深層生成モデルを構築する傾向が見られます。^[9]例えば、GPT-3とその前身であるGPT-2 [ ^12]は、数十億のパラメータを含む自己回帰ニューラル言語モデルです。BigGAN ^[13]とVQ-VAE ^[14]は、数億のパラメータを持つ画像生成に使用されます。Jukeboxは、数十億のパラメータを含む音楽オーディオ用の非常に大規模な生成モデルです。^[15]

種類

生成モデル

生成モデルの種類は次のとおりです。

• ガウス混合モデル（およびその他のタイプの混合モデル）
• 隠れマルコフモデル
• 確率的文脈自由文法
• ベイジアンネットワーク（例：ナイーブベイズ、自己回帰モデル）
• 平均1依存推定値
• 潜在ディリクレ分布
• ボルツマンマシン（例：制限付きボルツマンマシン、ディープビリーフネットワーク）
• 変分オートエンコーダ
• 生成的敵対ネットワーク
• フローベースの生成モデル
• エネルギーベースのモデル
• 拡散モデル

観測データが生成モデルから真にサンプリングされたものである場合、データの尤度を最大化するように生成モデルのパラメータをフィッティングすることが一般的な手法です。しかし、ほとんどの統計モデルは真の分布の近似に過ぎないため、モデルの適用が、他の変数の既知の値を条件として一部の変数について推論することである場合、その近似は問題の解決に必要な以上の仮定に基づいていると言えるでしょう。このような場合、判別モデル（下記参照）を用いて条件付き密度関数を直接モデル化する方がより正確ですが、最終的にはアプリケーション固有の詳細によって、特定のケースに最適なアプローチが決まります。

識別モデル

• k近傍法アルゴリズム
• ロジスティック回帰
• サポートベクターマシン
• 決定木学習
• ランダムフォレスト
• 最大エントロピーマルコフモデル
• 条件付きランダムフィールド

例

簡単な例

入力データが、 のラベルのセットが、次の 4 つのデータ ポイントがあるとします。 ${\displaystyle x\in \{1,2\}}$ ${\displaystyle x}$ ${\displaystyle y\in \{0,1\}}$ ${\displaystyle (x,y)=\{(1,0),(1,1),(2,0),(2,1)\}}$

上記のデータの場合、経験的尺度から結合確率分布を推定すると、次のようになります。 ${\displaystyle p(x,y)}$

以下はそれです: ${\displaystyle p(y|x)}$

テキスト生成

シャノン (1948) は、英語の単語ペアの頻度表を使用して、「representing and speedily is an good」で始まる文を生成する例を示しています。これは正しい英語ではありませんが、表を単語ペアから単語トリプレットなどに移すにつれて、より正確な英語に近づきます。

参照

• 数学ポータル

• 識別モデル
• グラフィカルモデル

注記

1. 3つの主要な情報源、Ng & Jordan 2002、Jebara 2004、およびMitchell 2015では、異なる区分と定義が示されています。

参考文献

1. Jebara, Tony (2004). 『機械学習：識別的学習と生成的学習』 Springer International Series in Engineering and Computer Science. Kluwer Academic (Springer). ISBN 978-1-4020-7647-3。
2. Ng & Jordan (2002)：「生成分類器は、入力xとラベルyの結合確率のモデルを学習し、ベイズの規則を使用して を計算し、最も可能性の高いラベルyを選択することで予測を行います。${\displaystyle p(x,y)}$ ${\displaystyle p(y\mid x)}$
3. Mitchell 2015：「ベイズの定理は、学習アルゴリズム（関数近似器）の設計の基礎として、次のように使用できます。何らかのターゲット関数、または同等のを学習したい場合、トレーニングデータを使用して および の推定値を学習します。次に、これらの推定確率分布とベイズの定理を使用して、新しいXの例を分類できます。このタイプの分類器は、分布がターゲット属性Yを条件としてランダムインスタンスXを生成する方法を記述するものと見なすことができるため、生成分類器と呼ばれます。${\displaystyle f\colon X\to Y}$ ${\displaystyle P(Y\mid X)}$ ${\displaystyle P(X\mid Y)}$ ${\displaystyle P(Y)}$ ${\displaystyle P(X\mid Y)}$
4. Mitchell 2015：「ロジスティック回帰は、ナイーブベイズとは対照的に、訓練データを用いて直接推定する関数近似アルゴリズムです。この意味で、ロジスティック回帰は、分布が任意のインスタンスXに対する目標値Yの値を直接識別するものと見ることができるため、しばしば識別分類器と呼ばれます。${\displaystyle P(Y\mid X)}$ ${\displaystyle P(Y\mid X)}$
5. Jebara 2004、2.4 識別学習：「条件付き学習と識別学習のこの区別は、現在この分野では十分に確立された慣習ではありません。」
6. Ng & Jordan 2002：「識別分類器は事後分布を直接モデル化するか、入力xからクラスラベルへの直接マップを学習します。」${\displaystyle p(y|x)}$
7. Ng & Jordan 2002
8. ビショップ, CM; ラセール, J. (2007年9月24日)、「生成的か識別的か？両方の長所を活かす」、ベルナルド, JM (編)、ベイジアン統計8：第8回バレンシア国際会議議事録、2006年6月2-6日、オックスフォード大学出版局、  3-23頁、ISBN 978-0-19-921465-5
9. 「スケールアップ ― 研究者が大規模ディープ生成モデルを進化させる」Microsoft 2020年4月9日。
10. 「生成モデル」. OpenAI . 2016年6月16日.
11. Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). 「ニューラル言語モデルのスケーリング則」. arXiv : 2001.08361 [stat.ML].
12. 「より優れた言語モデルとその影響」OpenAI . 2019年2月14日.
13. Brock, Andrew; Donahue, Jeff; Simonyan, Karen (2018). 「高忠実度自然画像合成のための大規模GANトレーニング」arXiv : 1809.11096 [cs.LG].
14. ラザヴィ、アリ;ファン・デン・オールド、アーロン。ビニャルズ、オリオール (2019)。 「VQ-VAE-2による多様な高忠実度画像の生成」。arXiv : 1906.00446 [cs.LG]。
15. 「ジュークボックス」。オープンAI。 2020年4月30日。

外部リンク

• Shannon, CE (1948). 「通信の数学的理論」(PDF) . Bell System Technical Journal . 27 (7月, 10月): 379– 423, 623– 656. doi :10.1002/j.1538-7305.1948.tb01338.x. hdl : 10338.dmlcz/101429 . オリジナル(PDF)から2016年6月6日にアーカイブ. 2016年1月9日閲覧.
• ミッチェル、トム・M. (2015). 「3. 生成分類器と識別分類器：ナイーブベイズとロジスティック回帰」(PDF) .機械学習.
• Ng, Andrew Y. ; Jordan, Michael I. (2002). 「識別分類器と生成分類器について：ロジスティック回帰とナイーブベイズの比較」(PDF) . 『Advances in Neural Information Processing Systems』
• ジェバラ、トニー (2002).弁別学習、生成学習、模倣学習(PhD).マサチューセッツ工科大学. hdl :1721.1/8323.、（鏡、鏡）、書籍として出版（上）