GPT-1
生成的事前学習済みトランスフォーマー1（GPT-1）
原作者オープンAI
初回リリース2018年6月 (June 2018)
リポジトリ
後継GPT-2
タイプ
ライセンスマサチューセッツ工科大学[ 1 ]
Webサイトopenai .com /ブログ/教師なし言語/ ウィキデータで編集する
オリジナルのGPTアーキテクチャ

生成事前学習済みトランスフォーマー1（GPT-1）は、2017年にGoogleがトランスフォーマーアーキテクチャを発明した後、OpenAIが開発した最初の大規模言語モデルでした。 [ 2 ] 2018年6月、OpenAIは「生成事前学習による言語理解の向上」と題する論文を発表しました。[ 3 ]この論文で、生成事前学習済みトランスフォーマーの一般的な概念とともに、最初のモデルが紹介されました。[ 4 ]

それまで、最も優れた性能を発揮したニューラルNLPモデルは、主に大量の手動でラベル付けされたデータからの教師あり学習を採用していました。この教師あり学習への依存は、適切にアノテーションされていないデータセットの使用を制限し、さらに非常に大規模なモデルのトレーニングには法外な費用と時間がかかります。 [ 3 ] [ 5 ]多くの言語（スワヒリ語やハイチ語クレオール語など）は、コーパス構築に利用可能なテキストが不足しているため、このようなモデルを使用して翻訳および解釈することが困難です。[ 5 ]対照的に、GPTの「半教師あり」アプローチは、言語モデリングの目的を使用して初期パラメータを設定する教師なし生成「事前トレーニング」段階と、これらのパラメータをターゲットタスクに合わせて調整する教師あり識別「微調整」段階の2つの段階で構成されます。[ 3 ]

注意増強型RNNを含む従来の技術とは対照的に、トランスフォーマーアーキテクチャの使用は、再帰メカニズムで達成できるよりも構造化されたメモリをGPTモデルに提供しました。これにより、「多様なタスクにわたる堅牢な転送パフォーマンス」が実現しました。[ 3 ]

建築

GPT-1アーキテクチャは、12層のデコーダのみを備えたトランスフォーマーであり、 12個のマスク付き自己注意ヘッド（それぞれ64次元状態、合計768次元状態）を使用しています。単純な確率的勾配降下法ではなく、Adam最適化アルゴリズムが使用されました。学習率は最初の2,000回の更新でゼロから最大2.5×10 −4まで線形に増加し、コサインスケジュールを用いて0に焼きなましされました。 [ 3 ] GPT-1には1億1,700万個のパラメータがあります。[ 4 ]

微調整は特定のタスクに合わせて行われましたが、事前トレーニングはそうではありませんでした。さまざまなタスクを実行するために、基礎となるタスクに依存しないモデルアーキテクチャに最小限の変更が加えられました。[ 3 ]それにもかかわらず、GPT-1はいくつかの言語処理タスクにおいて以前のベンチマークよりも改善され、いくつかの多様なタスクにおいてタスク指向アーキテクチャを備えた識別的に訓練されたモデルよりも優れた性能を発揮しました。[ 3 ]

パフォーマンスと評価

GPT-1は、自然言語推論（テキスト含意とも呼ばれる）タスクにおいて、これまでの最高結果[ 3 ]に対して5.8％と1.5％の改善を達成しました。これは、様々なデータセットからの文のペアを解釈し、それらの関係を「含意」、「矛盾」、「中立」として分類する能力を評価するものです。[ 3 ]このようなデータセットの例には、QNLI（Wikipediaの記事）やMultiNLI（転写された音声、人気小説、政府報告書など）があります。[ 6 ]同様に、質問応答と常識推論に関連する2つのタスクでも、以前のモデルを上回りました。RACEでは5.7％、[ 7 ]中学・高校の試験からの質問と回答のペアのデータセット、Story Cloze Testでは8.9％です。[ 8 ]

GPT-1は、Quora Question Pairs（QQP）データセットを使用して、2つの文が互いの言い換えであるかどうかを予測する能力を評価し、意味的類似性（または言い換え検出）において、以前の最高性能モデルを4.2％改善しました。[ 3 ]

GPT-1は、言語受容性コーパス（CoLA）を用いたテキスト分類タスクにおいて、45.4点という過去最高スコアを記録しました。 [ 3 ]これは、これまでの最高記録である35.0点を大幅に上回ります。また、GPT-1はマルチタスクテストであるGLUEにおいて、総合スコア72.8点（これまでの最高記録は68.9点）を記録しました。[ 9 ]

参照

参考文献

  1. ^ “gpt-2” . GitHub . 2023年3月11日時点のオリジナルよりアーカイブ。2023年3月13日閲覧。
  2. ^ヴァスワニ、アシシュ;シャジーア、ノーム。パルマー、ニキ。ウシュコレイト、ヤコブ。ジョーンズ、リオン。エイダン・N・ゴメス;カイザー、ウカシュ。ポロスキン、イリア (2017)。「必要なのは注意だけです」(PDF)。神経情報処理システムの進歩。３０．カランアソシエイツ株式会社
  3. ^ a b c d e f g h i j k Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (2018年6月11日). 「生成的事前学習による言語理解の向上」(PDF) . OpenAI . p. 12. 2021年1月26日時点のオリジナルよりアーカイブ(PDF) . 2021年1月23日閲覧。
  4. ^ a b「GPT-1からGPT-4まで：OpenAIのGPTモデルの説明と比較」。2023年4月11日。2023年4月15日時点のオリジナルよりアーカイブ。 2023年4月29日閲覧。
  5. ^ a b Tsvetkov, Yulia (2017年6月22日). 「低リソース言語を扱う際の機会と課題」(PDF) . カーネギーメロン大学. 2020年3月31日時点のオリジナルよりアーカイブ(PDF) . 2021年1月23日閲覧。
  6. ^ Williams, Adina; Nangia, Nikita; Bowman, Samuel (2018年6月1日). 「推論による文理解のための広域チャレンジコーパス」(PDF) . 計算言語学協会. 2020年2月11日時点のオリジナルよりアーカイブ(PDF) . 2021年1月23日閲覧. 43万3千例を収録したこのリソースは、自然言語推論（テキスト含意の認識）に利用可能な最大級のコーパスの一つであり、[...] 10種類の異なるジャンルの英語の書き言葉と話し言葉のデータを提供するとともに、[...] ジャンル間のドメイン適応を評価するための明確な設定を提供しています。
  7. ^ Lai, Guokun; Xie, Qizhe; Hanxiao, Liu; Yang, Yiming; Hovy, Eduard (2017年4月15日). 「RACE: 試験からの大規模読解データセット」. arXiv : 1704.04683 [ cs.CL ].
  8. ^ Mostafazadeh, Nasrin; Roth, Michael; Louis, Annie; Chambers, Nathanael; Allen, James F. (2017年4月3日). "LSDSem 2017 Shared Task: The Story Cloze Test" (PDF) . Association for Computational Linguistics. Archived (PDF) from 22 November 2020 . Retrieved 23 January 2021 . LSDSem'17の共通タスクは、ストーリー理解とスクリプト学習のための新しい評価法であるストーリークローズテストです。このテストでは、4つの文からなるストーリーと2つの結末の選択肢がシステムに与えられ、システムは正しい結末を選択しなければなりません。物語理解を成功させる（人間の100%のパフォーマンスに近づく）には、システムが様々なレベルの意味を常識的な知識に結び付ける必要があります。
  9. ^ Wang, Alex; Singh, Amanpreet; Michael, Julian; Hill, Felix; Levy, Omar; Bowman, Samuel R. (2018年4月20日). 「GLUE: 自然言語理解のためのマルチタスクベンチマークおよび分析プラットフォーム」. arXiv : 1804.07461 [ cs.CL ].
「 https://en.wikipedia.org/w/index.php?title=GPT-1&oldid=1330725702」から取得