動的トピックモデル

統計学において、動的トピックモデルは、文書群における（観測されていない）トピックの経時的な変化を分析するために用いられる生成モデルです。このモデル群はDavid BleiとJohn Laffertyによって提案され、潜在的ディリクレ配分法（LDA）を拡張したもので、連続文書を扱うことができます。[1]

LDAでは、文書内での単語の出現順序とコーパス内での文書の出現順序はモデルにとって考慮されません。単語は依然として交換可能であると仮定されますが、動的トピックモデルでは文書の順序が重要な役割を果たします。より正確には、文書は時間スライス（例：年）ごとにグループ化され、各グループの文書は前のスライスのトピックセットから発展したトピックセットから派生したものと仮定されます。

トピック

LDAやpLSAと同様に、動的トピックモデルでは、各文書は観測されていないトピックの混合として扱われます。さらに、各トピックは用語の集合にわたる多項分布を定義します。したがって、各文書の各単語について、混合からトピックが抽出され、その後、そのトピックに対応する多項分布から用語が抽出されます。

しかし、トピックは時間の経過とともに変化します。例えば、時刻tにおけるトピックの最も可能性の高い2つの用語は「ネットワーク」と「Zipf」（降順）であるのに対し、時刻t+1における最も可能性の高い2つの用語は「Zipf」と「パーコレーション」（降順）である可能性があります。

モデル

定義する

α t {\displaystyle \alpha_{t}} 時刻tにおける文書ごとのトピック分布として。
β t 、 け {\displaystyle \beta _{t,k}} 時刻tにおけるトピックkの単語分布として。
η t 、 d {\displaystyle \eta_{t,d}} 時刻tにおける文書dのトピック分布として、
z t 、 d 、 n {\displaystyle z_{t,d,n}} 文書dの時刻tにおけるn番目の単語のトピックとして、
わ t 、 d 、 n {\displaystyle w_{t,d,n}} 特定の単語として。

このモデルでは、多項分布と はそれぞれと から生成されます。多項分布は通常、平均パラメータを用いて記述されますが、動的トピックモデルの文脈では、自然パラメータを用いて表現する方が適切です。 α t + 1 {\displaystyle \alpha_{t+1}} β t + 1 、 け {\displaystyle \beta _{t+1,k}} α t {\displaystyle \alpha_{t}} β t 、 け {\displaystyle \beta _{t,k}}

前者の表現は、パラメータが非負で和が1になるという制約があるため、いくつかの欠点がある。[2]これらの分布の発展を定義する際には、こうした制約が満たされていることを保証する必要がある。どちらの分布も指数分布族に属するため、この問題の解決策の一つは、任意の実数値を取り、個別に変更可能な自然パラメータでこれらを表現することである。

自然なパラメータ化を用いると、トピックモデルのダイナミクスは次のように表される。

β t 、 け | β t − 1 、 け 〜 北 （ β t − 1 、 け 、 σ 2 私 ） {\displaystyle \beta _{t,k}|\beta _{t-1,k}\sim N(\beta _{t-1,k},\sigma ^{2}I)}

そして

α t | α t − 1 〜 北 （ α t − 1 、 δ 2 私 ） {\displaystyle \alpha _{t}|\alpha _{t-1}\sim N(\alpha _{t-1},\delta ^{2}I)} 。

したがって、タイムスライス 't' での生成プロセスは次のようになります。

  1. トピックを描く β t 、 け | β t − 1 、 け 〜 北 （ β t − 1 、 け 、 σ 2 私 ） た け {\displaystyle \beta _{t,k}|\beta _{t-1,k}\sim N(\beta _{t-1,k},\sigma ^{2}I)\forall k}
  2. 混合モデルを描く α t | α t − 1 〜 北 （ α t − 1 、 δ 2 私 ） {\displaystyle \alpha _{t}|\alpha _{t-1}\sim N(\alpha _{t-1},\delta ^{2}I)}
  3. 各ドキュメントについて:
    1. 描く η t 、 d 〜 北 （ α t 、 1つの 2 私 ） {\displaystyle \eta_{t,d}\simN(\alpha_{t},a^{2}I)}
    2. 各単語について:
      1. トピックを描く Z t 、 d 、 n 〜 マルチ （ π （ η t 、 d ） ） {\displaystyle Z_{t,d,n}\sim {\textrm {Mult}}(\pi (\eta _{t,d}))}
      2. 単語を描く W t 、 d 、 n 〜 マルチ （ π （ β t 、 Z t 、 d 、 n ） ） {\displaystyle W_{t,d,n}\sim {\textrm {Mult}}(\pi (\beta _{t,Z_{t,d,n}}))}

ここで、自然パラメータ化xから平均パラメータ化への 写像、すなわち π （ × ） {\displaystyle \pi (x)}

π （ × 私 ） ＝ 経験 ⁡ （ × 私 ） ∑ 私 経験 ⁡ （ × 私 ） {\displaystyle \pi (x_{i})={\frac {\exp(x_{i})}{\sum _{i}\exp(x_{i})}}} 。

推論

動的トピックモデルでは、 のみが観測可能です。他のパラメータの学習は推論問題となります。BleiとLaffertyは、ガウス分布と多項分布の非共役性のため、このモデルではギブスサンプリングを適用して推論を行うことは静的モデルよりも困難であると主張しています。彼らは変分法、特に変分カルマンフィルタリングと変分ウェーブレット回帰 の使用を提案しています。 W t 、 d 、 n {\displaystyle W_{t,d,n}}

アプリケーション

原著論文では、1881年から1999年の間に出版されたScience論文のコーパスに動的トピックモデルを適用し、この手法を用いてトピック内の単語の使用傾向を分析できることを示しました。[1]また、著者らは、過去の文書で訓練されたモデルが、LDAよりも新年度文書に適合しやすいことを示しています。

連続動的トピックモデルはWangらによって開発され、文書のタイムスタンプを予測するために適用されました。[3]

テキスト文書を超えて、動的トピックモデルは音楽のトピックとそれが最近の歴史の中でどのように進化したかを学習することで、音楽の影響を研究するために使用されました。[4]

参考文献

  1. ^ ab Blei, David M; Lafferty, John D (2006). 「動的トピックモデル」.第23回国際機械学習会議 - ICML '06 議事録. ICML'06. pp.  113– 120. doi :10.1145/1143844.1143859. ISBN 978-1-59593-383-6. S2CID  5405229。
  2. ^ Rennie, Jason DM「Mixtures of Multinomials」（PDF） . 2011年12月5日閲覧。
  3. ^ Wang, Chong; Blei, David; Heckerman, David (2008). 「連続時間動的トピックモデル」ICML 2008年大会論文集. ICML 2008.
  4. ^ Shalit, Uri; Weinshall, Daphna; Chechik, Gal (2013). 「トピックモデルによる音楽的影響のモデリング」(PDF) . Journal of Machine Learning Research .
「https://en.wikipedia.org/w/index.php?title=Dynamic_topic_model&oldid=1169295325」から取得