Word2vec
word2vec
原作者Google AI
初回リリース2013年7月29日。 （2013年7月29日）
リポジトリhttps://code.google.com/archive/p/word2vec/
タイプ
ライセンスApache 2.0

Word2vecは、自然言語処理における単語のベクトル表現を得るための手法です。これらのベクトルは、周囲の単語に基づいて単語の意味に関する情報を捉えます。Word2vecアルゴリズムは、大規模なコーパス内のテキストをモデル化することで、これらの表現を推定します。学習が完了すると、このモデルは同義語を検出したり、部分的な文に対して追加の単語を提案したりできるようになります。Word2vecは、GoogleのTomáš Mikolov、Kai Chen、Greg Corrado、Ilya Sutskever、Jeff Deanによって開発され、2013年に公開されました。[ 1 ] [ 2 ]

Word2vecは、単語を高次元の数値ベクトルとして表現し、単語間の関係性を捉えます。特に、類似した文脈に出現する単語は、コサイン類似度で測定された近傍のベクトルにマッピングされます。これは単語間の意味的類似性のレベルを示しており、例えば「 walk」と「 ran」のベクトルは近傍であり、「but」と「however」、「Berlin」と「Germany」のベクトルも同様です。

アプローチ

Word2vecは、単語埋め込みを生成するために使用される関連モデルのグループです。これらのモデルは、単語の言語的文脈を再構築するように訓練された、浅い2層のニューラルネットワークです。Word2vecは、大規模なテキストコーパスを入力として、単語集合をベクトル空間（通常は数百次元）にマッピングします。コーパス内の各単語には、空間内のベクトルが割り当てられます。

Word2vecは、これらの単語の分散表現を生成するために、連続バッグオブワード（CBOW）または連続スライディングスキップグラムという2つのモデルアーキテクチャのいずれかを使用できます。どちらのアーキテクチャでも、word2vecはコーパスを反復処理する際に、個々の単語とスライディングコンテキストウィンドウの両方を考慮します。

CBOWは「空欄補充」タスクと見なすことができます。単語の埋め込みは、文脈ウィンドウ内の他の単語の相対的な確率に単語がどのように影響を与えるかを表します。意味的に類似した単語は、同様の文脈で使用されるはずなので、これらの確率にも同様の影響を与えるはずです。文脈語の順序は予測に影響を与えません（bag of words仮定）。

連続スキップグラムアーキテクチャでは、モデルは現在の単語を用いて周囲の文脈語のウィンドウを予測します。[ 1 ] [ 2 ]スキップグラムアーキテクチャは、近くの文脈語を遠くの文脈語よりも重視します。著者の注記によると、[ 3 ] CBOWは高速ですが、スキップグラムは頻度の低い単語に対してより優れた性能を発揮します。

モデルが訓練された後、学習された単語の埋め込みはベクトル空間に配置され、コーパス内で共通の文脈を共有する単語、つまり意味的にも構文的にも類似した単語が空間内で互いに近くに位置するようになります。[ 1 ]類似性の低い単語は空間内で互いに遠くに位置します。[ 1 ]

数学的な詳細

このセクションは解説に基づいています。[ 4 ] [ 5 ]

コーパスとは単語の列です。CBOWとskip-gramはどちらも、コーパスに出現する単語ごとに1つのベクトルを学習する手法です。

コーパス に出現するすべての単語の集合を ("vocabulary") とします。目標は、各単語について1つのベクトルを学習することです。 V{\displaystyle V}C{\displaystyle C}vわ∈Rn{\displaystyle v_{w}\in \mathbb {R} ^{n}}わ∈V{\displaystyle w\in V}

スキップグラムの考え方は、単語のベクトルがその近傍ベクトルに近くなるべきだというものです。CBOWの考え方は、単語の近傍ベクトルの合計が単語のベクトルに近くなるべきだというものです。

連続バッグオブワード（CBOW）

連続バッグオブワード（CBOW）モデル
CBOWをニューラルネットワークとして示す図

CBOWの考え方は、各単語をベクトルで表現し、近傍のベクトルの和を用いて単語を予測できるようにすることです。具体的には、コーパス内の各単語について、その単語のワンホットエンコーディングをニューラルネットワークへの入力として用います。ニューラルネットワークの出力は辞書全体の確率分布であり、近傍における個々の単語の予測を表します。学習の目的は、を最大化することです。 わ私{\displaystyle w_{i}}わ私{\displaystyle w_{i}}∑私ln⁡広報（わ私∣わ私+j:j∈北）{\displaystyle \sum _{i}\ln \Pr(w_{i}\mid w_{i+j}\colon j\in N)}

例えば、コーパス内の各単語を、4語という狭い範囲で他のすべての単語によって予測したいとします。近傍単語の相対インデックスの集合は となり、目標は を最大化することです。 北＝{−2、−1、+1、+2}{\displaystyle N=\{-2,-1,+1,+2\}}∑私ln⁡広報（わ私∣わ私−2、わ私−1、わ私+1、わ私+2）{\displaystyle \sum _{i}\ln \Pr(w_{i}\mid w_{i-2},w_{i-1},w_{i+1},w_{i+2})}

標準的なbag-of-wordsでは、単語の文脈は、隣接する単語の単語数（単語ヒストグラムとも呼ばれます）で表されます。例えば、「the cat sat on the mat」の「sat」は{"the": 2, "cat": 1, "on": 1}と表されます。最後の単語「mat」は近傍範囲外にあるため、「sat」を表すのに使用されないことに注意してください。 北＝{−2、−1、+1、+2}{\displaystyle N=\{-2,-1,+1,+2\}}

連続バッグオブワード法では、ヒストグラムに行列を掛け合わせることで、単語の文脈の連続表現が得られます。この行列は辞書とも呼ばれます。その列は単語ベクトルです。辞書には列があり、 は辞書のサイズです。各単語ベクトルの長さを とします。 となります。 V{\displaystyle V}V{\displaystyle V}D{\displaystyle D}D{\displaystyle D}d{\displaystyle d}V∈Rd×D{\displaystyle V\in \mathbb {R} ^{d\times D}}

たとえば、単語 histogram {"the": 2, "cat": 1, "on": 1} を で乗算すると、 が得られます。 V{\displaystyle V}2vその+v猫+vの上{\displaystyle 2v_{\text{the}}+v_{\text{cat}}+v_{\text{on}}}

これを別の形状 の行列と掛け合わせます。行列の各行は単語ベクトル です。これにより、辞書のエントリごとに1つのエントリを持つ長さ のベクトルが生成されます。次に、ソフトマックスを適用して辞書全体の確率分布を取得します。 V′{\displaystyle V'}RD×d{\displaystyle \mathbb {R} ^{D\times d}}v′{\displaystyle v'}D{\displaystyle D}

このシステムは、図に示すように、線形-線形-ソフトマックスアーキテクチャを持つ、オートエンコーダに似たニューラルネットワークとして視覚化できます。このシステムは、交差エントロピー損失を最小化するために、勾配降下法によって学習されます。

完全な式では、クロスエントロピー損失は次のようになります。外側の合計はコーパス内の単語全体にわたっており、量は単語の隣接する単語のベクトルの合計などです。 −∑私ln⁡evわ私′⋅（∑j∈北vわj+私）∑わ′evわ′′⋅（∑j∈北vわj+私）{\displaystyle -\sum _{i}\ln {\frac {e^{v_{w_{i}}'\cdot (\sum _{j\in N}v_{w_{j+i}})}}{\sum _{w'}e^{v_{w'}'\cdot (\sum _{j\in N}v_{w_{j+i}})}}}}∑私{\displaystyle \sum _{i}}∑j∈北vわj+私{\displaystyle \sum _{j\in N}v_{w_{j+i}}}

このようなシステムを学習させると、2つの学習済み行列が得られます。 の列ベクトルまたは の行ベクトルのいずれかを辞書として使用できます。例えば、「sat」という単語は、 の「sat」列目または の「sat」行目として表すことができます。 を単に定義することも可能ですが、その場合、選択の余地はなくなります。 V、V′{\displaystyle V,V'}V{\displaystyle V}V′{\displaystyle V'}V{\displaystyle V}V′{\displaystyle V'}V′＝V⊤{\displaystyle V'=V^{\top}}

スキップグラム

スキップグラム

スキップグラムの考え方は、各単語をベクトルで表現し、単語のベクトルを使用して隣接する単語のベクトルを予測できるようにすることです。

アーキテクチャはCBOWと同じ線形-線形-ソフトマックスですが、入力と出力が逆になっています。具体的には、コーパス内の各単語について、その単語のワンホットエンコーディングがニューラルネットワークへの入力として用いられます。ニューラルネットワークの出力は辞書全体の確率分布であり、近傍における個々の単語の予測値を表します。学習の目的は、を最大化することです。 わ私{\displaystyle w_{i}}わ私{\displaystyle w_{i}}∑私∑j∈北ln⁡広報（わj+私∣わ私）{\displaystyle \sum _{i}\sum _{j\in N}\ln \Pr(w_{j+i}\mid w_{i})}

完全な式では、損失関数はCBOW と同じです。このようなシステムを学習すると、2つの学習済み行列 が得られます。 の列ベクトルまたは の行ベクトルのいずれかを辞書として使用できます。 を単に定義することも可能ですが、その場合は選択の余地がなくなります。 −∑私∑j∈北ln⁡evわj+私′⋅vわ私∑わ′evわ′′⋅vわ私{\displaystyle -\sum _{i}\sum _{j\in N}\ln {\frac {e^{v_{w_{j+i}}'\cdot v_{w_{i}}}}{\sum _{w'}e^{v_{w'}'\cdot v_{w_{i}}}}}}V、V′{\displaystyle V,V'}V{\displaystyle V}V′{\displaystyle V'}V′＝V⊤{\displaystyle V'=V^{\top}}

本質的に、スキップグラムとCBOWはアーキテクチャが全く同じです。異なるのは、トレーニング時の目的関数だけです。

歴史

1980年代には、ニューラルネットワークを使って単語や概念をベクトルとして表現しようとする初期の試みがいくつかありました。[ 6 ] [ 7 ] [ 8 ]

2010年、トマーシュ・ミコロフ（当時ブルノ工科大学）は共著者らとともに、単一の隠れ層を持つ単純なリカレントニューラルネットワークを言語モデルに適用した。 [ 9 ]

Word2vecは、 Googleのミコロフ率いる研究チームによって2つの論文で作成され、特許を取得し、[ 10 ] 、2013年に発表されました。 [ 1 ] [ 2 ]元の論文は、2013年のICLR会議の査読者によって却下されました。また、コードがオープンソースとして承認されるまでに数ヶ月かかりました。[ 11 ]他の研究者がアルゴリズムの分析と説明に協力しました。[ 4 ]

Word2vecアルゴリズムを用いて作成された埋め込みベクトルは、nグラムや潜在的意味解析を用いたものなどの以前のアルゴリズム[ 1 ]と比較していくつかの利点があります。GloVeはスタンフォード大学のチームによって特に競合相手として開発され、元の論文ではGloVeがword2vecよりも多くの点で優れていると指摘されていました。[ 12 ]ミコロフは、GloVeはより多くのデータで訓練されており、fastTextプロジェクトでは同じデータで訓練した場合word2vecの方が優れていることが示されているため、比較は不公平であると主張しました。[ 13 ] [ 11 ]

2022年時点では、Word2vecそのもののアプローチは「時代遅れ」と評されていました。ELMoやBERTといったTransformerベースのモデルは、Word2vecに類似した単語埋め込みモデルの上に複数のニューラルネットワークの注目層を追加しており、自然言語処理における最先端技術とみなされるようになりました。[ 14 ]

パラメータ化

word2vecの学習結果はパラメータ化の影響を受けやすい場合があります。以下はword2vecの学習における重要なパラメータです。

トレーニングアルゴリズム

Word2vecモデルは、階層的ソフトマックス法とネガティブサンプリング法、あるいはその両方を用いて学習できます。モデルが最大化を目指す条件付き対数尤度を近似するために、階層的ソフトマックス法はハフマン木を用いて計算量を削減します。一方、ネガティブサンプリング法は、サンプリングされたネガティブインスタンスの対数尤度を最小化することで最大化問題にアプローチします。著者らによると、階層的ソフトマックス法は低頻度単語に対してより効果的に機能し、ネガティブサンプリング法は高頻度単語や低次元ベクトルに対してより効果的に機能します。[ 3 ]学習エポックが増加するにつれて、階層的ソフトマックス法は有用ではなくなります。[ 15 ]

サブサンプリング

高頻度語と低頻度語は、多くの場合、ほとんど情報を提供しません。特定の閾値を超える頻度の単語、または特定の閾値を下回る頻度の単語は、学習を高速化するためにサブサンプリングまたは削除されることがあります。[ 16 ]

次元性

単語埋め込みの品質は次元数の増加とともに向上します。しかし、ある次元数に達すると、限界ゲインは減少します。[ 1 ]通常、ベクトルの次元数は100から1,000の範囲に設定されます。

コンテキストウィンドウ

コンテキストウィンドウのサイズは、与えられた単語の前後の単語が文脈語として何語含まれるかを決定します。著者の注記によると、推奨値はスキップグラムの場合は10、CBOWの場合は5です。[ 3 ]

拡張機能

word2vec にはさまざまな拡張機能があります。

doc2vec

doc2vecは、文章、段落、文書全体など、可変長のテキスト部分の分散表現を生成します。 [ 17 ] [ 18 ] doc2vecはC、Python、Java / Scalaツールで実装されています（下記参照）。JavaおよびPythonバージョンでは、新しい未知の文書への文書埋め込みの推論もサポートされています。

doc2vecは、word2vecが単語の表現を推定するのとほぼ同様に、文書の分散表現を推定します。doc2vecは、word2vecで使用されているアーキテクチャを模倣した2つのモデルアーキテクチャのいずれかを利用します。1つ目は、段落ベクトルの分散メモリモデル（PV-DM）で、追加のコンテキストの一部として一意の文書識別子も提供する点を除けば、CBOWと同一です。2つ目は、段落ベクトルの分散バッグオブワードバージョン（PV-DBOW）で、スキップグラムモデルと同一ですが、現在の単語ではなく段落識別子から周囲のコンテキスト単語のウィンドウを予測しようとする点を除けば、スキップグラムモデルと同一です。[ 17 ]

doc2vecは、単語の周囲の「文脈」の要素の意味的な「意味」を捉える能力も備えています。つまり、話者、話者属性、グループ、期間といった要素の意味的な埋め込みを推定することができます。例えば、doc2vecは、米国と英国の様々な議会[ 19 ]や政府機関[ 20 ]における政党の政治的立場を推定するために使用されています。

トップ2ベク

word2vecのもう一つの拡張はtop2vecであり、これはドキュメントと単語の埋め込みの両方を利用してトピックの分散表現を推定する。[ 21 ] [ 22 ] top2vecはdoc2vecモデルから学習したドキュメントの埋め込みを受け取り、それをより低い次元に縮小する（通常はUMAPを使用）。次に、ドキュメントの空間はHDBSCANを使用してスキャンされ、[ 23 ]類似したドキュメントのクラスターが見つかる。次に、クラスター内で特定されたドキュメントの重心が、そのクラスターのトピックベクトルであると見なされる。最後に、top2vecはトピックベクトルの近くにある単語の埋め込みを意味空間で検索し、トピックの「意味」を確かめる。[ 21 ]トピックベクトルに最も類似した埋め込みを持つ単語はトピックのタイトルとして割り当てられる可能性があり、遠く離れた単語の埋め込みは無関係と見なされる可能性がある。

LDAなどの他のトピックモデルとは異なり、top2vecは2つのトピック間、またはトピックと別の埋め込み（単語、文書など）間の標準的な「距離」指標を提供します。HDBSCANの結果と組み合わせることで、ユーザーはトピック階層、つまり関連するトピックとサブトピックのグループを生成できます。

さらに、ユーザーはtop2vecの結果を用いて、サンプル外文書のトピックを推定することができます。新しい文書の埋め込みを推定した後は、トピック空間内で最も近いトピックベクトルを検索するだけで済みます。

バイオベクター

生物学的配列（DNA、RNA、タンパク質など）のnグラムに対する単語ベクトルのバイオインフォマティクス応用への拡張が、AsgariとMofradによって提案されている。[ 24 ]生物学的配列全般を指すためにバイオベクトル（BioVec）、タンパク質（アミノ酸配列）にはタンパク質ベクトル（ProtVec）、遺伝子配列には遺伝子ベクトル（GeneVec）と名付けられたこの表現は、プロテオミクスやゲノミクスにおける機械学習の応用で広く利用できる。この結果は、BioVectorsが生物学的配列を、その根底にあるパターンの生化学的および生物物理学的解釈の観点から特徴付けることができることを示唆している。[ 24 ]同様の変種であるdna2vecは、 Needleman–Wunsch類似度スコアとdna2vec単語ベクトルのコサイン類似度の間に相関があることを示している。 [ 25 ]

放射線学とインテリジェント単語埋め込み（IWE）

Banerjeeらは、非構造化放射線レポートの稠密ベクトル表現を作成するための単語ベクトルの拡張を提案した。[ 26 ] Word2vecにおける最大の課題の一つは、未知語や語彙外語（OOV）および形態的に類似した単語をどのように扱うかである。Word2vecモデルが特定の単語に初めて遭遇した場合、ランダムベクトルの使用を余儀なくされるが、これは一般的に理想的な表現からは程遠い。これは特に医療などの分野では問題となる可能性がある。医療分野では、同義語や関連語は放射線科医の好みのスタイルに応じて使用される可能性があり、また、大規模なコーパスでは単語があまり使用されていない可能性がある。

IWEは、Word2vecと意味辞書マッピング技術を組み合わせることで、臨床テキストからの情報抽出における主要な課題に取り組みます。これらの課題には、自由記述文の曖昧さ、語彙の変異、非文法的・電信的なフレーズの使用、単語の恣意的な順序付け、略語や頭字語の頻出などが含まれます。特に興味深いのは、ある機関のデータセットで学習したIWEモデルが、別の機関のデータセットに正常に変換されたことです。これは、このアプローチが機関間で優れた一般化可能性を持つことを実証しています。

分析

word2vecフレームワークにおける単語埋め込み学習の成功理由は十分に解明されていない。GoldbergとLevyは、word2vecの目的関数が、類似した文脈に出現する単語に類似した埋め込み（コサイン類似度で測定）をもたらすことを指摘し、これはJR Firthの分布仮説と一致すると指摘している。しかし、彼らはこの説明は「非常に大雑把」であり、より正式な説明が望ましいと主張している。[ 4 ]

Levy et al. (2015) [ 27 ]は、word2vecや類似の埋め込みが下流タスクで優れたパフォーマンスを発揮するのは、モデル自体によるものではなく、特定のハイパーパラメータの選択によるものだと示しています。これらのハイパーパラメータをより「伝統的な」アプローチに移植することで、下流タスクで同様のパフォーマンスが得られます。Arora et al. (2016) [ 28 ]は、word2vecと関連アルゴリズムを、対数線形トピックモデルに基づくランダムウォーク生成プロセスを含む、テキストの単純な生成モデルの推論を実行するものとして説明しています。彼らはこれを用いて、類推を解くための単語埋め込みの使用など、いくつかの特性を説明しています。

意味的および統語的関係の保存

単語埋め込みの視覚的説明
単語埋め込みの視覚的説明

単語埋め込みアプローチは、単語間の類似度を複数段階に捉えることができます。Mikolovら (2013) [ 29 ]は、ベクトル演算を用いて意味的および統語的パターンを再現できることを発見しました。「男と女の関係は、兄弟と姉妹の関係と同じである」といったパターンは、これらの単語のベクトル表現に対する代数演算によって生成することができ、「兄弟」-「男」+「女」のベクトル表現は、モデルにおける「姉妹」のベクトル表現に最も近い結果を生成します。このような関係は、様々な意味的関係（国と首都など）だけでなく、統語的関係（現在時制と過去時制など）についても生成できます。

word2vecのこの側面は、様々な文脈で活用されてきました。例えば、word2vecは、ある言語の単語のベクトル空間を、別の言語のベクトル空間にマッピングするために用いられています。両空間における翻訳語間の関係性は、新しい単語の機械翻訳を支援するために利用できます。 [ 30 ]

モデルの品質評価

Mikolovら（2013）[ 1 ]は、上述の意味的および統語的パターンを利用してword2vecモデルの品質を評価するアプローチを開発した。彼らは、モデルの精度をテストするためのベンチマークとして、8,869の意味関係と10,675の統語的関係のセットを開発した。ベクトルモデルの品質を評価する際、ユーザーはword2vecに実装されているこの精度テストを利用することも、[ 31 ]、モデルを構成するコーパスにとって意味のある独自のテストセットを開発することもできる。このアプローチは、与えられたテスト語に最も類似した単語が直感的にもっともらしいと単純に主張するよりも、より挑戦的なテストを提供する。[ 1 ]

パラメータとモデルの品質

異なるモデルパラメータと異なるコーパスサイズの使用は、word2vecモデルの品質に大きな影響を与える可能性があります。精度は、モデルアーキテクチャ（CBOWまたはSkip-Gram）の選択、トレーニングデータセットの増加、ベクトル次元数の増加、アルゴリズムで考慮される単語のウィンドウサイズの増加など、様々な方法で向上させることができます。これらの改善はいずれも、計算複雑性の増加、ひいてはモデル生成時間の増加というコストを伴います。[ 1 ]

大規模コーパスと高次元数を用いたモデルでは、スキップグラムモデルが最も高い総合精度を示し、意味関係においても一貫して最高の精度を示し、またほとんどの場合において最高の統語精度も示します。しかし、CBOWモデルは計算コストが低く、同様の精度結果をもたらします。[ 1 ]

全体的に、精度は使用される単語数と次元数に応じて向上します。Mikolovら[ 1 ]は、トレーニングデータの量を2倍にすると、ベクトルの次元数を2倍にするのと同等の計算複雑性が増加すると報告しています。

Altszylerと共著者ら (2017) は、異なるコーパスサイズに対する2つのセマンティックテストでWord2vecのパフォーマンスを調査しました。[ 32 ]彼らは、Word2vecは学習曲線が急峻で、中規模から大規模のコーパスサイズ（1000万語以上）でトレーニングした場合、別の単語埋め込み手法である潜在意味解析（LSA）よりも優れていることを発見しました。しかし、小規模なトレーニングコーパスでは、LSAの方が優れたパフォーマンスを示しました。さらに彼らは、最適なパラメータ設定はタスクとトレーニングコーパスに依存することを示しています。それでも、50次元の中規模コーパスでトレーニングされたスキップグラムモデルの場合、ウィンドウサイズ15とネガティブサンプル10が適切なパラメータ設定と思われます。

参照

参考文献

  1. ^ a b c d e f g h i j k lミコロフ、トーマス;チェン、カイ。グレッグ・コラード。ジェフリー・ディーン（2013年1月16日）。 「ベクトル空間における単語表現の効率的な推定」。arXiv : 1301.3781 [ cs.CL ]。
  2. ^ a b c Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg S.; Dean, Jeff (2013).単語と句の分散表現とその構成性. Advances in Neural Information Processing Systems . arXiv : 1310.4546 . Bibcode : 2013arXiv1310.4546M .
  3. ^ a b c「Google Code アーカイブ - Google Code プロジェクト ホスティング用の長期ストレージ」 . code.google.com . 2016年6月13日閲覧。
  4. ^ a b c Goldberg, Yoav; Levy, Omer (2014). 「word2vecの説明：Mikolovらの負サンプリング単語埋め込み法の導出」arXiv : 1402.3722 [ cs.CL ].
  5. ^ Rong, Xin (2016年6月5日)、「word2vecパラメータ学習の説明」、arXiv : 1411.2738
  6. ^ヒントン、ジェフリー・E.「概念の分散表現の学習」認知科学学会年次大会議事録第8巻、1986年。
  7. ^ Rumelhart, David E.; McClelland, James L. (1985年10月). 『英語動詞の過去形学習について（報告書）』
  8. ^エルマン, ジェフリー・L. (1990年4月1日). 「時間の中に構造を見つける」 .認知科学. 14 (2): 179– 211. doi : 10.1016/0364-0213(90)90002-E . ISSN 0364-0213 . 
  9. ^ミコロフ、トマーシュ;カラフィアト、マーティン。ブルゲット、ルカシュ。チェルノツキー、ヤン。クダンプール、サンジーブ（2010年9月26日）。 「リカレントニューラルネットワークベースの言語モデル」。インタースピーチ 2010。イスカ：イスカ。 pp.  1045–1048 . doi : 10.21437/interspeech.2010-343。
  10. ^ US 9037464、Mikolov, Tomas; Chen, Kai & Corrado, Gregory S. et al.、「高次元空間における単語の数値表現の計算」、2015年5月19日発行、Google Inc.に譲渡。 
  11. ^ a b Mikolov, Tomáš (2023年12月13日). 「昨日、10年前のword2vec論文に対してNeurIPSでTest of Time Awardを受賞しました」 . Facebook .オリジナルより2023年12月24日時点のアーカイブ。
  12. ^ GloVe: 単語表現のためのグローバルベクトル(pdf) Archived 2020-09-03 at the Wayback Machine「私たちは、洞察力を活用して、Global Vectors の略である GloVe と呼ぶ単語表現の新しいモデルを構築しました。これは、グローバルコーパス統計がモデルによって直接キャプチャされるためです。」
  13. ^ Joulin, Armand; Grave, Edouard; Bojanowski, Piotr; Mikolov, Tomas (2016年8月9日). 「効率的なテキスト分類のための秘訣集」. arXiv : 1607.01759 [ cs.CL ].
  14. ^ Von der Mosel, Julian; Trautsch, Alexander; Herbold, Steffen (2022). 「ソフトウェアエンジニアリング分野における自然言語処理のための事前学習済み変換の有効性について」. IEEE Transactions on Software Engineering . 49 (4): 1487– 1507. arXiv : 2109.04738 . doi : 10.1109/TSE.2022.3178469 . ISSN 1939-3520 . S2CID 237485425 .  
  15. ^ 「パラメータ（hs & negative）」 . Googleグループ. 2016年6月13日閲覧。
  16. ^ 「t-SNEを用いたデータの視覚化」（PDF） . Journal of Machine Learning Research, 2008, vol. 9, p. 2595. 2017年3月18日閲覧。
  17. ^ a b Le, Quoc; Mikolov, Tomas (2014年5月). 「文章と文書の分散表現」.第31回国際機械学習会議論文集. arXiv : 1405.4053 .
  18. ^レフリク、ラディム。「ゲンシム」。
  19. ^ Rheault, Ludovic; Cochrane, Christopher (2019年7月3日). 「議会コーパスにおけるイデオロギー配置分析のための単語埋め込み」 .政治分析. 28 (1).
  20. ^ネイ、ジョン（2017年12月21日）「Gov2Vec：機関とその法的文書の分散表現の学習」SSRN arXiv : 1609.06616 SSRN 3087278 
  21. ^ a bアンジェロフ、ディモ (2020 年 8 月). 「Top2Vec: トピックの分散表現」。arXiv : 2008.09470 [ cs.CL ]。
  22. ^アンジェロフ、ディモ (2022 年 11 月 11 日)。「トップ2ベック」。GitHub。
  23. ^ Campello, Ricardo; Moulavi, Davoud; Sander, Joerg (2013). 「階層的密度推定に基づく密度ベースクラスタリング」 .知識発見とデータマイニングの進歩. コンピュータサイエンス講義ノート. 第7819巻. pp.  160– 172. doi : 10.1007/978-3-642-37456-2_14 . ISBN 978-3-642-37455-5。
  24. ^ a b Asgari, Ehsaneddin; Mofrad, Mohammad RK (2015). 「ディーププロテオミクスとゲノミクスのための生物学的配列の連続分散表現」 . PLOS ONE . 10 (11) e0141287. arXiv : 1503.05140 . Bibcode : 2015PLoSO..1041287A . doi : 10.1371 / journal.pone.0141287 . PMC 4640716. PMID 26555596 .  
  25. ^ Ng, Patrick (2017). 「dna2vec: 可変長k-merの一貫性のあるベクトル表現」. arXiv : 1701.06279 [ q-bio.QM ].
  26. ^ Banerjee, Imon; Chen, Matthew C.; Lungren, Matthew P.; Rubin, Daniel L. (2018). 「インテリジェントな単語埋め込みを用いた放射線レポート注釈：多施設胸部CTコホートへの適用」. Journal of Biomedical Informatics . 77 : 11–20 . doi : 10.1016/j.jbi.2017.11.012 . PMC 5771955. PMID 29175548 .  
  27. ^ Levy, Omer; Goldberg, Yoav; Dagan, Ido (2015). 「単語埋め込みから学んだ教訓による分布類似性の改善」 . Transactions of the Association for Computational Linguistics . 3. Transactions of the Association for Computational Linguistics: 211– 225. doi : 10.1162/tacl_a_00134 .
  28. ^ Arora, S; et al. (2016年夏). 「PMIベースの単語埋め込みに対する潜在変数モデルアプローチ」 . Transactions of the Association for Computational Linguistics . 4 : 385– 399. arXiv : 1502.03520 . doi : 10.1162/tacl_a_00106 – ACLWEB経由.
  29. ^ミコロフ、トーマス;イー、ウェンタウ。ジェフリー・ツヴァイク (2013)。 「連続空間の単語表現における言語的規則性」。HLT-Naacl : 746–751。
  30. ^ Jansen, Stefan (2017年5月9日). 「word2vecによる単語とフレーズの翻訳」. arXiv : 1705.03127 [ cs.CL ].
  31. ^ 「Gensim - word2vecによるディープラーニング」 。 2016年6月10日閲覧。
  32. ^ Altszyler, E.; Ribeiro, S.; Sigman, M.; Fernández Slezak, D. (2017). 「夢の意味の解釈：小規模テキストコーパスにおける潜在的意味解析を用いた曖昧性の解消」. Consciousness and Cognition . 56 : 178–187 . arXiv : 1610.01520 . doi : 10.1016/ j.concog.2017.09.004 . PMID 28943127. S2CID 195347873 .  

実装

「 https://en.wikipedia.org/w/index.php?title=Word2vec&oldid=1331906909」より取得