ディープラーニングにおける複数の抽象化レイヤーで画像を表現する
深層学習における複数の抽象化層による画像の表現[1]

機械学習において、ディープラーニングは多層ニューラルネットワークを用いて分類、回帰、表現学習などのタスクを実行することに重点を置いています。この分野は生物学的神経科学に着想を得ており、人工ニューロンを層状に積み重ね、データ処理のために「訓練」することに重点を置いています。「ディープ」という形容詞は、ネットワークにおいて複数の層（3層から数百、数千層まで）を用いることを意味します。用いられる手法には、教師あり学習、半教師あり学習、教師なし学習があります。[2]

一般的な深層学習ネットワークアーキテクチャには、全結合ネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、生成的敵対ネットワーク、トランスフォーマー、ニューラルラディアンスフィールドなどがある。これらのアーキテクチャは、コンピュータービジョン、音声認識、自然言語処理、機械翻訳、バイオインフォマティクス、医薬品設計、医用画像解析、気候科学、材料検査、ボードゲームプログラムなどの分野に適用されており、人間の専門家のパフォーマンスに匹敵し、場合によってはそれを上回る結果を生み出している。[3] [4] [5]

初期のニューラルネットワークは、生物システム、特に人間の脳における情報処理および分散通信ノードに着想を得ました。しかし、現在のニューラルネットワークは生物の脳機能をモデル化することを意図しておらず、その目的には低品質なモデルであると一般的に考えられています。[6]

概要

現代の深層学習モデルのほとんどは、畳み込みニューラルネットワークやトランスフォーマーなどの多層ニューラルネットワークに基づいていますが、深層信念ネットワークや深層ボルツマンマシンのノードなどの深層生成モデルで層ごとに編成された命題式や潜在変数を含めることもできます。[7]

基本的に、ディープラーニングとは、階層的なレイヤーを用いて入力データを段階的に抽象度と合成度を高めた表現に変換する機械学習 アルゴリズムの一種を指します。例えば、画像認識モデルでは、生の入力は画像（ピクセルテンソルとして表現される）です。最初の表現レイヤーは線や円などの基本的な形状を識別しようとし、2番目のレイヤーはエッジの配置を合成してエンコードし、3番目のレイヤーは鼻や目をエンコードし、4番目のレイヤーは画像に顔が含まれていることを認識します。

重要なのは、ディープラーニングのプロセスが、どの特徴量をどのレベルに最適に配置するかを自ら学習できることです。ディープラーニング以前の機械学習技術では、データを分類アルゴリズムが処理するのに適した表現に変換するために、手作業による特徴量エンジニアリングがしばしば必要でした。ディープラーニングのアプローチでは、特徴量は手作業で作成されるのではなく、モデルがデータから有用な特徴量表現を自動的に発見します。ただし、手作業によるチューニングが不要になるわけではありません。例えば、層の数や層のサイズを変えることで、抽象度を調整できます。[8] [2]

「ディープラーニング」の「ディープ」という言葉は、データが変換される層の数を指します。より正確には、ディープラーニングシステムは、相当なクレジット割り当てパス（CAP）の深さを備えています。CAPとは、入力から出力への変換の連鎖です。CAPは、入力と出力の間に潜在的に因果関係のある接続を記述します。フィードフォワードニューラルネットワークの場合、CAPの深さはネットワークの深さであり、隠れ層の数に1を加えた値です（出力層もパラメータ化されているため）。信号が層を複数回伝播する可能性のあるリカレントニューラルネットワークの場合、CAPの深さは潜在的に無制限です。 [9]浅い学習と深い学習を区別する普遍的に合意された深さの閾値はありませんが、ほとんどの研究者は、ディープラーニングには2を超えるCAP深さが必要であることに同意しています。深さ2のCAPは、あらゆる関数をエミュレートできるという意味で、普遍的な近似器であることが示されています。[10]それ以上の層数では、ネットワークの関数近似器としての能力は向上しません。ディープ モデル (CAP > 2) は、シャロー モデルよりも優れた特徴を抽出できるため、追加のレイヤーは特徴を効果的に学習するのに役立ちます。

深層学習アーキテクチャは、貪欲な層別法で構築できます。 [11]深層学習は、これらの抽象化を解きほぐし、どの機能がパフォーマンスを向上させるかを判断するのに役立ちます。[8]

深層学習アルゴリズムは、教師なし学習タスクに適用できます。ラベルなしデータはラベル付きデータよりも豊富であるため、これは重要な利点です。教師なしで学習できる深層構造の例としては、ディープビリーフネットワークが挙げられます。[8] [12]

ディープラーニングという用語は、1986年にリナ・デヒターによって機械学習コミュニティに導入され、 [13] 、2000年にイゴール・アイゼンバーグとその同僚によってブール閾値ニューロンの文脈で人工ニューラルネットワークに導入されました。[14] [15]ただし、その登場の歴史は明らかにより複雑です。[16]

解釈

ディープニューラルネットワークは、一般的に普遍近似定理[17] [18] [19] [20] [21]または確率的推論[22] [23] [8] [9] [24]の観点から解釈される。

古典的な普遍近似定理は、有限サイズの単一の隠れ層を持つフィードフォワードニューラルネットワークが連続関数を近似する能力に関するものです。[17] [18] [19] [20] 1989年に、シグモイド活性化関数に対する最初の証明がジョージ・サイベンコによって発表され[17]、1991年にカート・ホーニックによってフィードフォワード多層アーキテクチャに一般化されました。[18]最近の研究では、普遍近似は福島邦彦の正規化線形ユニットのような非有界活性化関数にも当てはまることが示されました。[25] [26]

ディープニューラルネットワークの普遍近似定理は、幅は有限だが深さは増加が許されるネットワークの容量に関する定理である。Luら[21]は、 ReLU活性化を用いたディープニューラルネットワークの幅が入力次元よりも厳密に大きい場合、ネットワークは任意のルベーグ積分関数を近似できることを証明した。幅が入力次元以下である場合、ディープニューラルネットワークは普遍近似器ではない。

確率的解釈[24]は機械学習の分野に由来する。それは推論[23] [7] [8] [9] [12] [24]と、それぞれフィッティングと一般化に関連する訓練とテストの最適化概念を特徴とする。より具体的には、確率的解釈は活性化非線形性を累積分布関数として扱う。[24]確率的解釈は、ニューラルネットワークにおける正則化器としてのドロップアウトの導入につながった。確率的解釈はホップフィールド、ウィドロウ、ナレンドラなどの研究者によって導入され、ビショップによる調査などによって普及した。[27]

歴史

1980年以前

人工ニューラルネットワーク（ANN）には、フィードフォワードニューラルネットワーク（FNN）または多層パーセプトロン（MLP）とリカレントニューラルネットワーク（RNN）の2種類があります。RNNは接続構造にサイクルを持ちますが、FNNにはサイクルがありません。1920年代、ヴィルヘルム・レンツとエルンスト・イジングは、ニューロンのような閾値要素で構成される、本質的に学習を行わないRNNアーキテクチャであるイジングモデル[28] [29]を考案しました。1972年、天理俊一はこのアーキテクチャを適応型にしました。[30] [31]彼の学習RNNは1982年にジョン・ホップフィールドによって再出版された。[32]その他の初期のリカレントニューラルネットワークは1971年に中野薫によって出版された。[33] [34]アラン・チューリングは1948年にすでに「知能機械」に関する研究を行っていたが、これは生前には出版されなかった。[35]そこには「人工進化と学習RNNに関するアイデア」が含まれていた。[31]

フランク・ローゼンブラット（1958）[36]は、入力層、学習しないランダムな重みを持つ隠れ層、そして出力層の3層からなる多層パーセプトロンであるパー​​セプトロンを提唱した。彼は後に1962年に出版した著書の中で、パーセプトロンの変種やコンピュータ実験も紹介しており、その中には最後の2層が重みを学習する「適応型前終端ネットワーク」を備えた4層パーセプトロンのバージョンも含まれていた（ここで彼はH・D・ブロックとB・W・ナイトに功績を認めている）。[37] ：第16節 この本は、RD・ジョセフ（1960）[38]による、この4層システムの「変種と機能的に同等な」ネットワークを引用している（この本ではジョセフに30回以上言及している）。したがって、ジョセフは学習型隠れユニットを備えた適切な適応型多層パーセプトロンの創始者とみなされるべきだろうか？残念ながら、その学習アルゴリズムは機能的なものではなく、忘れ去られた。

最初の実用的な深層学習アルゴリズムは、 1965年にアレクセイ・イヴァクネンコとラパによって発表された、任意の深さのニューラルネットワークを訓練する方法であるグループ法のデータ処理法でした。彼らはこれを多項式回帰の一種[39]、あるいはより複雑で非線形かつ階層的な関係を扱うためのローゼンブラットのパーセプトロンの一般化[40]とみなしました。 1971年の論文では、この方法によって訓練された8層の深層ネットワークが報告されています[41]。これは、回帰分析による層ごとの訓練に基づいています。不要な隠れユニットは、別の検証セットを用いて除去されます。ノードの活性化関数はコルモゴロフ・ガボール多項式であるため、これらは乗法ユニット、つまり「ゲート」を備えた最初の深層ネットワークでもありました[31] 。

確率的勾配降下法[42]によって訓練された最初の深層学習多層パーセプトロンは、 1967年に天理俊一によって発表されました。[43]天理の学生である斎藤が行ったコンピュータ実験では、2つの変更可能な層を持つ5層のMLPが、 非線形に分離可能なパターンクラスを分類するための内部表現を学習しました。 [31]その後のハードウェアの進歩とハイパーパラメータのチューニングにより、エンドツーエンドの確率的勾配降下法は現在では主流の訓練手法となっています。

1969年に福島邦彦はReLU（ReLU：Rectified Linear Unit）活性化関数を導入した。[25] [31] ReLUはディープラーニングにおいて最も人気のある活性化関数となった。[44]

畳み込み層とダウンサンプリング層を備えた畳み込みニューラルネットワーク（CNN）の深層学習アーキテクチャは、 1979年に福島邦彦によって導入されたネオコグニトロンから始まったが、バックプロパゲーションによる学習は行われなかった。[45] [46]

バックプロパゲーションは、ゴットフリート・ヴィルヘルム・ライプニッツが1673年に導出した連鎖律[47]を微分可能なノードのネットワークに効率的に適用したものである。「バックプロパゲーション誤差」という用語は、実際には1962年にローゼンブラットによって導入されたが[37]、彼はこれをどのように実装するかを知らなかった。一方、ヘンリー・J・ケリーは1960年に制御理論の文脈でバックプロパゲーションの連続的な先駆者を提示していた[48]。現代的なバックプロパゲーションは、セッポ・リンナインマーの修士論文（1970年）で初めて発表された。 [49] [50] [31] GM・オストロフスキー他1971年に再出版された[51] [52]。ポール・ワーボスは1982年にバックプロパゲーションをニューラルネットワークに適用した[53]（1974年の博士論文は1994年の著書に再録されたが[54] 、アルゴリズムはまだ説明されていなかった[52]）。1986年にデビッド・E・ルメルハートらがバックプロパゲーションを普及させたが、オリジナルの研究を引用しなかった[55] [56]。

1980年代～2000年代

時間遅延ニューラルネットワーク（TDNN）は、1987年にAlex Waibelによって音素認識にCNNを適用するために導入されました。畳み込み、重み共有、バックプロパゲーションが用いられました。[57] [58] 1988年、Wei Zhangはバックプロパゲーションで学習させたCNNをアルファベット認識に適用しました。[59] 1989年、Yann LeCunらは、郵便物に手書きされた郵便番号を認識するためのLeNetと呼ばれるCNNを開発しました。学習には3日間かかりました。[60] 1990年、Wei Zhangは光コンピューティングハードウェア上にCNNを実装しました。[61] 1991年、CNNは医療画像オブジェクトのセグメンテーション[62]とマンモグラムにおける乳がん検出に適用されました。[63] Yann LeCunらによる数字を分類する7レベルCNNであるLeNet -5（1998）は、いくつかの銀行で32×32ピクセルの画像にデジタル化された小切手上の手書きの数字を認識するために適用されました。[64]

リカレントニューラルネットワーク（RNN）[28] [30]は1980年代にさらに発展しました。リカレントはシーケンス処理に用いられ、リカレントネットワークを展開すると、数学的には深いフィードフォワード層に類似します。そのため、RNNとRNNは類似した特性と課題を持ち、それぞれの発展は相互に影響を与えました。RNNにおいて、初期の影響力のある2つの研究は、認知心理学の問題の研究にRNNを適用したJordanネットワーク（1986）[65]とElmanネットワーク（1990）[66]でした。

1980年代、バックプロパゲーションは、長いクレジット割り当てパスを持つ深層学習ではうまく機能しませんでした。この問題を克服するため、1991年にユルゲン・シュミットフーバーは、自己教師学習によって1段階ずつ事前学習されたRNNの階層構造を提案しました。各RNNは、自身の次の入力（つまり、下位のRNNの次の予期しない入力）を予測しようとします。[67] [68]この「ニューラル履歴コンプレッサー」は、予測符号化を用いて、複数の自己組織化時間スケールで内部表現を 学習します。これにより、下流の深層学習が大幅に促進されます。RNN階層は、上位レベルのチャンカーネットワークを下位レベルのオートマタイザーネットワークに統合することで、単一のRNNに 集約できます。 [67] [68] [31] 1993年、ニューラル履歴コンプレッサーは、時間的に展開されたRNNで1000層以上の後続層を必要とする「Very Deep Learning」タスクを解決しました。 [69] ChatGPTの「P」はこのような事前トレーニングを指します。

セップ・ホッホライターの卒業論文（1991年）[70]は、ニューラル履歴コンプレッサー[67]を実装し、勾配消失問題を特定・解析した[70] [71]。ホッホライターは、勾配消失問題を解決するために 再帰残差接続を提案した。これは、1995年に発表された長短期記憶（LSTM）[72]につながった。LSTMは、数千の離散時間ステップ前に発生したイベントの記憶を必要とする長いクレジット割り当てパスを持つ「非常に深い学習」タスク[9]を学習することができる。このLSTMはまだ現代的なアーキテクチャではなかったため、1999年に導入された「忘却ゲート」[73]が必要となり、これが標準的なRNNアーキテクチャとなった。

1991年、ユルゲン・シュミットフーバーは、ゼロサムゲーム（一方のネットワークの利得が他方のネットワークの損失となる）の形で互いに競合する敵対的ニューラルネットワークも発表した。 [74] [75]最初のネットワークは、出力パターンの確率分布をモデル化する生成モデルである。2番目のネットワークは、勾配降下法によって学習し、これらのパターンに対する環境の反応を予測する。これは「人工好奇心」と呼ばれた。2014年、この原理は生成的敵対的ネットワーク（GAN）に利用された。[76]

1985年から1995年にかけて、統計力学にヒントンを得て、テリー・セジュスキー、ピーター・ダヤン、ジェフリー・ヒントンらによって、ボルツマンマシン[77] 、制限付きボルツマンマシン[78] 、 [ヘルムホルツマシン] 、[79] 、ウェイクスリープアルゴリズム[80]など、いくつかのアーキテクチャと手法が開発された。これらは、深層生成モデルの教師なし学習用に設計された。しかし、バックプロパゲーションに比べて計算コストが高かった。1985年に発表されたボルツマン機械学習アルゴリズムは、1986年にバックプロパゲーションアルゴリズムに取って代わられるまで、一時的に人気があった。(p. 112 [81] )。1988年のネットワークは、深層学習のバイオインフォマティクスへの初期の応用であるタンパク質構造予測において最先端技術となった。[82]

音声認識のためのANNの浅い学習と深い学習（例えば、リカレントネット）は長年にわたって研究されてきました。[83] [84] [85]これらの方法は、識別的に訓練された音声の生成モデルに基づく、非均一内部ハンドクラフティングガウス混合モデル/隠れマルコフモデル（GMM-HMM）技術を上回ることはありませんでした。 [86]勾配減少[70]やニューラル予測モデルにおける弱い時間的相関構造など、主要な困難が分析されています。 [87] [88]追加の困難は、トレーニングデータの不足と計算能力の限界でした。

音声認識研究者の多くは、ニューラルネットワークから生成モデリングへと研究の道を歩み始めました。例外は1990年代後半のSRIインターナショナルでした。米国政府のNSAとDARPAの資金提供を受けたSRIは、音声認識と話者認識の研究を行いました。ラリー・ヘック率いる話者認識チームは、 1998年のNIST話者認識ベンチマークにおいて、音声処理におけるディープニューラルネットワークの大きな成功を報告しました。[89] [90]これはNuance Verifierに搭載され、ディープラーニングの最初の主要な産業応用となりました。[91]

手作業による最適化よりも「生の」特徴量を重視するという原理は、1990年代後半に「生の」スペクトログラムまたは線形フィルタバンク特徴量を用いたディープオートエンコーダのアーキテクチャにおいて初めて実証され、 [90]スペクトログラムからの固定的な変換段階を含むメルケプストラム特徴量に対する優位性を示しました。音声の生の特徴量である波形は、後に大規模な実験で優れた結果をもたらしました。[92]

2000年代

ニューラル ネットワークは停滞期に入り、1990 年代と 2000 年代には、人工ニューラル ネットワークの計算コストと脳が生物学的ネットワークをどのように配線するかについての理解不足から、ガボール フィルターやサポート ベクター マシン(SVM) などのタスク固有の手作りの特徴を使用するより単純なモデルが好まれるようになりました。[引用が必要]

2003年には、LSTMは特定のタスクにおいて従来の音声認識装置と競合するようになりました。[93] 2006年には、アレックス・グレイブス、サンティアゴ・フェルナンデス、ファウスティーノ・ゴメス、シュミットフーバーがLSTMのスタックでコネクショニスト時間分類（CTC）[94]と組み合わせました。[95] 2009年には、連結手書き認識においてパターン認識コンテストで優勝した最初のRNNとなりました。[96] [9]

2006年、ジェフ・ヒントン、ルスラン・サラクディノフ、オシンデロ、テフ[97]による論文[98]で、生成モデリングのための ディープビリーフネットワークが開発されました。ディープビリーフネットワークは、1つの制限付きボルツマンマシンを学習し、それを凍結して、その上に別のマシンを学習させるという手順で学習を行い、必要に応じて教師あり逆伝播法を用いて微調整を行います。[99]これらのネットワークは、 MNIST画像の分布のような高次元確率分布をモデル化できましたが、収束が遅かったです。[100] [101] [102]

ヤン・ルカン氏によると、ディープラーニングの産業界への影響は2000年代初頭に始まり、当時すでにCNNは米国で発行される小切手の約10～20％を処理していたと推定されています。[103]大規模な音声認識へのディープラーニングの産業応用は2010年頃に始まりました。

2009年の音声認識のための深層学習に関するNIPSワークショップは、音声の深層生成モデルの限界、そしてより高性能なハードウェアと大規模データセットがあれば深層ニューラルネットワークが実用化される可能性を念頭に開催されました。深層ビリーフネット（DBN）の生成モデルを用いたDNNの事前学習は、ニューラルネットワークの主要な課題を克服できると考えられていました。しかし、大規模なコンテキスト依存出力層を持つDNNにおいて、事前学習を大量の学習データに置き換え、単純なバックプロパゲーションを行うと、当時最先端のガウス混合モデル（GMM）/隠れマルコフモデル（HMM）や、より高度な生成モデルベースのシステムよりも大幅に低いエラー率が得られることが判明しました。[104] 2種類のシステムによって生成される認識エラーの性質はそれぞれ大きく異なり、[105]主要な音声認識システムで既に採用されている高効率なランタイム音声デコードシステムに深層学習を統合する方法に関する技術的な知見が得られました。[23] [106] [107] 2009年から2010年頃に行われたGMM（およびその他の生成音声モデル）とDNNモデルを比較した分析は、音声認識のためのディープラーニングへの産業界の初期の投資を刺激しました。[105] この分析では、識別DNNと生成モデルの間で同等のパフォーマンス（エラー率が1.5％未満）が得られました。[104] [105] [108] 2010年に、研究者は、決定木によって構築されたコンテキスト依存のHMM状態に基づくDNNの大規模な出力層を採用することで、 TIMITから大語彙音声認識へとディープラーニングを拡張しました。[109] [110] [111] [106]

ディープラーニング革命

ディープラーニングが機械学習のサブセットである理由と、機械学習が人工知能 (AI) のサブセットである理由

ディープラーニング革命は、CNN と GPU ベースのコンピューター ビジョンから始まりました。

バックプロパゲーションによるCNNの学習は数十年前から存在し、CNNを含むNNのGPU実装も長年行われてきましたが[112] 、 [113]、コンピュータビジョンの進歩には、GPU上でのCNNのより高速な実装が必要でした。その後、深層学習が普及するにつれて、深層学習専用のハードウェアとアルゴリズムの最適化が開発されました[114] 。

ディープラーニング革命の鍵となる進歩は、ハードウェア、特にGPUの進歩でした。初期の研究は2004年にまで遡ります。[112] [113] 2009年、Raina、Madhavan、Andrew Ngは、30基のNvidia GeForce GTX 280 GPUで学習した1億のディープビリーフネットワークを報告しました。これはGPUベースのディープラーニングの初期のデモンストレーションであり、彼らは最大70倍の学習速度を報告しました。[115]

2011年、ダン・チレサン、ウエリ・マイヤー、ジョナサン・マシ、ルカ・マリア・ガンバルデッラ、ユルゲン・シュミットフーバーによるDanNet [116] [ 117 ]というCNNが、視覚パターン認識コンテストで初めて超人的なパフォーマンスを達成し、従来の方法の3倍の性能を誇りました。[9]その後もさらに多くのコンテストで優勝しました。[118] [119]彼らはまた、GPU上で最大プーリングCNNを実行することでパフォーマンスが大幅に向上することを示しました。[3]

2012年、アンドリュー・ンとジェフ・ディーンは、 YouTube動画から取得したラベルのない画像を見るだけで、猫などの高レベルの概念を認識することを学習するFNNを作成した。[120]

2012年10月、アレックス・クリジェフスキー、イリヤ・スツケヴァー、ジェフリー・ヒントンによるAlexNet [4]は、大規模なImageNetコンペティションにおいて、浅い機械学習手法に大幅な差をつけて優勝しました。その後の漸進的な改良としては、カレン・シモニャンとアンドリュー・ジッサーマンによるVGG-16ネットワーク[121]やGoogleのInceptionv3 [122]などが挙げられます。

画像分類における成功は、その後、CNNとLSTMの組み合わせとして、画像の説明（キャプション）を生成するというより困難なタスクへと拡大されました。 [123] [124] [125]

2014年当時、最先端技術は20層から30層の「非常に深いニューラルネットワーク」を訓練することでした。[126]あまりに多くの層を積み重ねると訓練精度が急激に低下し、[127]「劣化」問題として知られています。[128] 2015年には、非常に深いネットワークを訓練するための2つの技術が開発されました。ハイウェイネットワークは2015年5月に、残差ニューラルネットワーク（ResNet）[129]は2015年12月に公開されました。ResNetはオープンゲートのハイウェイネットのように動作します。

同じ頃、ディープラーニングは芸術分野に影響を与え始めました。初期の例としては、Google DeepDream（2015年）やNeural Style Transfer（2015年）[130]が挙げられます。どちらもVGG-19などの事前学習済みの画像分類ニューラルネットワークをベースにしていました。

イアン・グッドフェローら（2014年）[131]による生成的敵対的ネットワーク（GAN） （ユルゲン・シュミットフーバーの人工好奇心の原理[74] [76]に基づく ）は、2014年から2018年にかけて生成モデリングの最先端技術となった。優れた画像品質は、テロ・カラスら（2018年）[132]によるプログレッシブGAN（2013年）[133]に基づいており、GANジェネレータは小規模から大規模へとピラミッド型に成長していく。GANによる画像生成は広く受け入れられ、ディープフェイクに関する議論を巻き起こした。[134]拡散モデル（2015）[135]はそれ以来、DALL·E 2（2022）や安定拡散（2022）などのシステムにより、生成モデリングにおいてGANを凌駕してきました。

2015年にGoogleの音声認識機能はLSTMベースのモデルによって49%向上し、スマートフォンのGoogle音声検索で利用できるようになった。[136] [137]

ディープラーニングは、様々な分野、特にコンピュータビジョンと自動音声認識（ASR）における最先端システムの一部です。TIMIT（ ASR）やMNIST（画像分類）といった一般的に用いられる評価セット、そして様々な大規模語彙音声認識タスクにおける結果は着実に向上しています。[104] [138]畳み込みニューラルネットワークは、ASRにおいてはLSTMに取って代わられました。[137] [ 139] [140 ] [141]しかし、コンピュータビジョンにおいてはLSTMの方がより成功しています。

ヨシュア・ベンジオ、ジェフリー・ヒントン、ヤン・ルカンは、「ディープニューラルネットワークをコンピューティングの重要な要素にした概念的および工学的なブレークスルー」により2018年のチューリング賞を受賞した。 [142]

ニューラルネットワーク

人工ニューラルネットワーク（ANN）またはコネクショニストシステムは、動物の脳を構成する生物学的ニューラルネットワークに着想を得たコンピューティングシステムです。このようなシステムは、通常、タスク固有のプログラミングなしに、例を検討することでタスクの実行を学習（段階的に能力を向上させる）します。例えば、画像認識では、「猫」または「猫なし」と手動でラベル付けされたサンプル画像を分析し、その分析結果を用いて他の画像に猫が含まれているかを識別することで、猫が含まれている画像を識別することを学習します。ANNは、ルールベースプログラミングを用いた従来のコンピュータアルゴリズムでは表現が難しいアプリケーションで最も多く使用されています。

ANN は、人工ニューロン（生物の脳における生物ニューロンに相当）と呼ばれる接続されたユニットの集合に基づいています。ニューロン間の各接続（シナプス）は、別のニューロンに信号を送信できます。受信側（シナプス後）ニューロンは信号を処理し、それに接続された下流のニューロンに信号を送信します。ニューロンは状態を持つ場合があり、通常は 0 から 1 の間の実数で表されます。ニューロンとシナプスには、学習の進行に伴って変化する重みも設定できます。重みによって、下流に送信する信号の強度が増減します。

通常、ニューロンは層状に構成されます。層ごとに入力に対して異なる種類の変換が行われます。信号は最初の層（入力層）から最後の層（出力層）へと伝わり、場合によっては複数回層を通過します。

ニューラルネットワークアプローチの当初の目標は、人間の脳と同じように問題を解決することでした。時が経つにつれ、特定の精神的能力を一致させることに焦点が当てられるようになり、バックプロパゲーション、つまり情報を逆方向に渡し、その情報を反映するようにネットワークを調整するといった、生物学から逸脱した手法が生まれました。

ニューラル ネットワークは、コンピューター ビジョン、音声認識、機械翻訳、ソーシャル ネットワークフィルタリング、ボード ゲームやビデオ ゲームのプレイ、医療診断 など、さまざまなタスクに使用されてきました。

2017年現在、ニューラルネットワークは通常、数千から数百万のユニットと数百万の接続を有しています。この数は人間の脳のニューロン数よりも数桁少ないにもかかわらず、これらのネットワークは人間をはるかに超えるレベルで多くのタスクを実行できます（例えば、顔認識や囲碁[144]など）。

ディープニューラルネットワーク

ディープニューラルネットワーク（DNN）は、入力層と出力層の間に複数の層を持つ人工ニューラルネットワークです。[7] [9]ニューラルネットワークにはさまざまな種類がありますが、ニューロン、シナプス、重み、バイアス、関数といった同じ構成要素で構成されています。[145]これらの構成要素は全体として人間の脳の機能を模倣するように機能し、他の機械学習アルゴリズムと同様に訓練することができます。[要出典]

例えば、犬の品種を認識するように訓練されたDNNは、与えられた画像を調べ、画像内の犬が特定の品種である確率を計算します。ユーザーは結果を確認し、ネットワークが表示する確率（特定の閾値を超える場合など）を選択し、提案​​されたラベルを返します。このような数学的操作はそれぞれ層とみなされ、[146]複雑なDNNは多くの層を持つため、「ディープ」ネットワークと呼ばれます。

DNNは複雑な非線形関係をモデル化できます。DNNアーキテクチャは、オブジェクトを階層化されたプリミティブの合成として表現する合成モデルを生成します。[147]追加のレイヤーにより、下位レイヤーからの特徴の合成が可能になり、同様のパフォーマンスを発揮する浅いネットワークよりも少ないユニットで複雑なデータをモデル化できる可能性があります。[7]例えば、疎な多変数多項式は、浅いネットワークよりもDNNで指数関数的に近似しやすいことが証明されています。[148]

ディープアーキテクチャには、いくつかの基本的なアプローチの多くのバリエーションが含まれます。それぞれのアーキテクチャは特定の分野で成功を収めています。複数のアーキテクチャのパフォーマンスを比較することは、必ずしも可能ではありません。ただし、同じデータセットで評価されている場合を除きます。[146]

DNNは典型的にはフィードフォワードネットワークであり、データは入力層から出力層へとループバックすることなく流れます。まず、DNNは仮想ニューロンのマップを作成し、それらの間の接続にランダムな数値、つまり「重み」を割り当てます。重みと入力は乗算され、0から1の間の出力を返します。ネットワークが特定のパターンを正確に認識できなかった場合、アルゴリズムによって重みが調整されます。[149]このように、アルゴリズムは特定のパラメータの影響度を高め、データを完全に処理するための正しい数学的操作を決定するまで続きます。

データがどの方向にも流れることができるリカレントニューラルネットワークは、言語モデルなどのアプリケーションに使用されます。[150] [151] [152] [153] [154]長期短期記憶は、この用途に特に効果的です。[155] [156]

畳み込みニューラルネットワーク（CNN）はコンピュータビジョンで使用されています。[157] CNNは自動音声認識（ASR）の音響モデリングにも応用されています。 [158]

課題

ANNと同様に、単純に学習されたDNNでも多くの問題が発生する可能性があります。よくある問題は、過学習と計算時間です。

DNNは、抽象化層が追加されることで、訓練データ内の稀な依存関係をモデル化できるため、過学習になりやすい。過学習を抑えるため、イヴァクネンコのユニット・プルーニング[41]や重み減衰（-正則化）、スパース性（ -正則化）などの正則化手法を訓練中に適用することができる。[159]また、ドロップアウト正則化は、訓練中に隠れ層からユニットをランダムに削除する。これは、稀な依存関係を排除するのに役立つ。[160]最近の興味深い開発の1つは、モデル化対象のタスクの固有の複雑さを推定することで、ちょうど良い複雑さを持つモデルの研究である。このアプローチは、交通予測などの多変量時系列予測タスクに効果的に適用されている。[161]最後に、クロッピングやローテーションなどの手法を用いてデータを拡張することで、より小さな訓練セットのサイズを拡大し、過学習の可能性を低減することができる。[162]

DNNは、サイズ（層の数と層あたりのユニット数）、学習率、初期重みなど、多くの訓練パラメータを考慮する必要があります。パラメータ空間全体を掃引して最適なパラメータを探すことは、時間と計算リソースのコストを考えると現実的ではないかもしれません。バッチ処理（個々の訓練例ではなく、複数の訓練例の勾配を一度に計算する）[163]などのさまざまなトリックによって計算が高速化されます。GPUやIntel Xeon Phiなどのマルチコアアーキテクチャの大規模な処理能力は、このような処理アーキテクチャが行列計算やベクトル計算に適しているため、訓練の速度を大幅に向上させました。[164] [165]

あるいは、エンジニアは、より単純で収束的な学習アルゴリズムを持つ他の種類のニューラルネットワークを探すかもし​​れません。CMAC（小脳モデル関節制御器）はそのようなニューラルネットワークの一つです。CMACは学習率やランダムな初期重みを必要としません。学習プロセスは、新しいデータバッチで1ステップで収束することが保証されており、学習アルゴリズムの計算量は、関与するニューロン数に対して線形です。[166] [167]

ハードウェア

2010年代以降、機械学習アルゴリズムとコンピュータハードウェアの両方の進歩により、多くの層の非線形隠れユニットと非常に大きな出力層を含むディープニューラルネットワークをトレーニングするためのより効率的な方法が生まれました。[168] 2019年までに、多くの場合AI固有の機能強化を備えたグラフィックスプロセッシングユニット（GPU）は、大規模な商用クラウドAIをトレーニングするための主要な方法としてCPUに取って代わりました。[169] OpenAIは、AlexNet（2012年）からAlphaZero（2017年）までの最大のディープラーニングプロジェクトで使用されたハードウェア計算を推定し、必要な計算量が30万倍に増加し、倍増時間のトレンドラインは3.4か月であることを発見しました。[170] [171]

ディープラーニングプロセッサと呼ばれる特殊な電子回路は、ディープラーニングアルゴリズムの高速化を目的として設計されました。ディープラーニングプロセッサには、 Huawei社の携帯電話に搭載されているニューラルプロセッシングユニット（NPU） [172]や、Google Cloud Platformのテンソルプロセッシングユニット（TPU）などのクラウドコンピューティングサーバーが含まれます。[173 ] Cerebras Systems社はまた、業界最大のプロセッサである第2世代のWafer Scale Engine（WSE-2）をベースに、大規模なディープラーニングモデルを処理するための専用システムCS-2を開発しました。[174] [175]

原子レベルの厚さの半導体は、論理演算とデータストレージの両方に同一の基本デバイス構造を用いる、エネルギー効率の高いディープラーニングハードウェアとして有望視されています。2020年、Maregaらは、浮遊ゲート 電界効果トランジスタ（FGFET）に基づくロジックインメモリデバイスおよび回路の開発に向けた、大面積アクティブチャネル材料を用いた実験を発表しました。[176]

2021年、J.フェルドマンらは、並列畳み込み処理のための統合フォトニック ハードウェアアクセラレータを提案した。 [177]著者らは、電子フォトニクスに対する統合フォトニクスの2つの重要な利点を特定している。(1)周波数コムと組み合わせた波長分割多重化による超並列データ転送、(2)非常に高いデータ変調速度である。[177]彼らのシステムは1秒間に数兆回の乗算累積演算を実行でき、データ量の多いAIアプリケーションにおける統合フォトニクスの可能性を示している。[177]

アプリケーション

自動音声認識

大規模自動音声認識は、深層学習の最初かつ最も説得力のある成功例です。LSTM RNNは、数千の離散時間ステップで区切られた音声イベントを含む数秒間隔の「非常に深い学習」タスク[9]を学習できます。1時間ステップは約10ミリ秒に相当します。忘却ゲートを備えたLSTM [156]は、特定のタスクにおいて従来の音声認識装置と競合可能です。[93]

音声認識における初期の成功は、TIMITに基づく小規模な認識タスクに基づいていました。データセットには、アメリカ英語の主要8方言から630人の話者が含まれ、各話者は10文を読み上げます。[178]データサイズが小さいため、多くの設定を試すことができます。さらに重要なのは、TIMITタスクは音素シーケンス認識に関するもので、単語シーケンス認識とは異なり、弱い音素バイグラム言語モデルを使用できることです。これにより、音声認識における音響モデリングの側面の強みをより簡単に分析できます。以下に挙げるエラー率は、これらの初期の結果を含み、パーセント音素エラー率（PER）として測定され、1991年以降まとめられています。

1990年代後半に話者認識用のDNNが登場し、2009～2011年頃には音声認識、2003～2007年頃にはLSTMが登場し、8つの主要分野で進歩が加速した。[23] [108] [106]

  • スケールアップ/アウトと加速された DNN トレーニングとデコード
  • シーケンス識別トレーニング
  • 基礎となるメカニズムをしっかりと理解した深層モデルによる特徴処理
  • DNNおよび関連する深層モデルの適応
  • DNNおよび関連する深層モデルによるマルチタスクと転移学習
  • CNNと、音声に関するドメイン知識を最大限に活用するための設計方法
  • RNNとその豊富なLSTMバリアント
  • テンソルベースのモデルや統合された深層生成/識別モデルなどの他の種類の深層モデル。

最近の音声認識モデルでは、トランスフォーマーや時間畳み込みネットワークが使用され、大きな成功を収め、幅広いアプリケーションに採用されています。[183]​​ [184] [185]主要な商用音声認識システム（Microsoft Cortana、Xbox、Skype Translator、Amazon Alexa、Google Now、Apple Siri、Baidu、iFlyTekの音声検索、 Nuanceの音声製品など）はすべてディープラーニングに基づいています。[23] [186] [187]

画像認識

リチャード・グリーン氏は、ムール貝の養殖において遠隔操作車両でディープラーニングがどのように利用されているかを説明します。

画像分類の一般的な評価セットとして、MNISTデータベースデータセットが挙げられます。MNISTは手書きの数字で構成され、60,000件の学習例と10,000件のテスト例が含まれています。TIMITと同様に、サイズが小さいため、複数の設定をテストできます。このセットに関する包括的な結果リストが公開されています。[188]

ディープラーニングに基づく画像認識は「超人的」となり、人間の参加者よりも正確な結果を生み出しています。これは2011年に交通標識の認識で初めて実現し、2014年には人間の顔の認識で実現しました。[189] [190]

ディープラーニングで訓練された車両は、360°カメラの映像を解釈できるようになりました。[191]もう1つの例としては、大規模な遺伝性症候群のデータベースに接続した人間の奇形症例を分析するために使用される顔面異形学新奇分析（FDNA）があります。

視覚芸術処理

ムンクの「叫び」のスタイルをニューラルスタイルトランスファーで適用したフランスのジミー・ウェールズの視覚芸術処理

画像認識の進歩と密接に関連しているのは、ディープラーニング技術が様々な視覚芸術の課題に応用されつつあることです。DNNは、例えば以下のような能力を発揮することが証明されています。

  • 特定の絵画の様式の時代を特定すること[192] [193]
  • ニューラルスタイルトランスファー – 特定のアートワークのスタイルをキャプチャし、任意の写真やビデオに視覚的に心地よい方法で適用する[192] [193]
  • ランダムな視覚入力フィールドに基づいて印象的な画像を生成する。[192] [193]

自然言語処理

ニューラルネットワークは2000年代初頭から言語モデルの実装に使用されてきました。[150] LSTMは機械翻訳と言語モデルの改善に役立ちました。[151] [152] [153]

この分野の他の重要な技術は、ネガティブサンプリング[194]と単語埋め込みである。word2vecなどの単語埋め込みは、原子単語をデータセット内の他の単語に対するその単語の位置表現に変換するディープラーニングアーキテクチャの表現層と考えることができる。位置はベクトル空間内の点として表現される。単語埋め込みをRNNの入力層として使用すると、ネットワークは効果的な構成ベクトル文法を使用して文や句を解析できる。構成ベクトル文法は、RNNによって実装された確率的文脈自由文法（PCFG）と考えることができる。 [195]単語埋め込み上に構築された再帰オートエンコーダは、文の類似性を評価し、言い換えを検出することができる。[195]ディープニューラルアーキテクチャは、構成構文解析、[196]感情分析、[197]情報検索、[198] [199]音声言語理解、[200]機械翻訳、[151] [201]文脈エンティティリンク、[201]文章スタイル認識、[202]固有表現認識（トークン分類）、[203]テキスト分類などにおいて最良の結果をもたらします。[204]

最近の開発により、単語埋め込みが文埋め込みに一般化されました。

Google翻訳（GT）は、大規模なエンドツーエンドの長短期記憶（LSTM）ネットワークを採用しています。[205] [206] [207] [208] Googleニューラル機械翻訳（GNMT）は、システムが「何百万もの例文から学習する」例文ベースの機械翻訳手法を採用しています。 [206] GNMTは「部分的な翻訳ではなく、一度に文章全体」を翻訳します。Google翻訳は100以上の言語をサポートしています。[206]このネットワークは、「フレーズごとの翻訳を単純に記憶するのではなく、文章の意味をエンコードします。」[206] [209] GTは、ほとんどの言語ペアの仲介として英語を使用します。[209]

創薬と毒物学

候補薬の多くは規制当局の承認を取得できません。これらの失敗は、不十分な有効性（オンターゲット効果）、望ましくない相互作用（オフターゲット効果）、または予期せぬ毒性効果によって引き起こされます。[210] [211]研究では、生体分子の標的、[212] [213] オフターゲット、そして栄養素、家庭用品、医薬品に含まれる環境化学物質の毒性効果を予測するために、ディープラーニングを活用することが検討されています。[214] [215] [216]

AtomNetは、構造に基づく合理的な医薬品設計のための深層学習システムです。[217] AtomNetは、エボラウイルス[218]や多発性硬化症[219]などの疾患標的に対する新しい候補生体分子を予測するために使用されました。[ 218]

2017年には、グラフニューラルネットワークが初めて使用され、大規模な毒物学データセット内の分子のさまざまな特性を予測しました。[220] 2019年には、生成ニューラルネットワークを使用して、マウスに至るまで実験的に検証された分子が生成されました。[221] [222]

推奨システム

推薦システムは、コンテンツベースの音楽や雑誌の推薦のための潜在因子モデルに意味のある特徴を抽出するために深層学習を使用している。[223] [224]マルチビュー深層学習は、複数のドメインからユーザーの好みを学習するために適用されている。[225]このモデルは、ハイブリッドな協調的アプローチとコンテンツベースのアプローチを使用し、複数のタスクにおける推薦を強化している。

バイオインフォマティクス

オートエンコーダANNはバイオインフォマティクスにおいて、遺伝子オントロジーの注釈や遺伝子機能の関係を予測するために使用されました。[226]

医療情報学の分野では、ウェアラブル端末のデータに基づいて睡眠の質を予測したり[227] 、電子健康記録データから健康上の合併症を予測したりするためにディープラーニングが利用されている。[228]

ディープニューラルネットワークは、タンパク質を構成するアミノ酸の配列に基づいてタンパク質の構造を予測する上で比類のない性能を示してきました。2020年には、ディープラーニングをベースとしたシステムであるAlphaFoldが、これまでのあらゆる計算手法をはるかに上回る精度を達成しました。[229] [230]

ディープニューラルネットワーク推定

ディープニューラルネットワークは、ニューラルジョイントエントロピー推定器（NJEE）と呼ばれる手法を用いて、確率過程のエントロピーを推定することができる。 [231]このような推定は、入力ランダム変数が独立ランダム変数に与える影響についての知見を提供する。実際には、DNNは、入力ベクトルまたは行列Xを、入力Xが与えられた場合にランダム変数Yの可能なクラスにわたる出力確率分布にマッピングする分類器として訓練される。例えば、画像分類タスクにおいて、NJEEはピクセルの色値のベクトルを、可能な画像クラスにわたる確率にマッピングする。実際には、Yの確率分布は、Yのアルファベットサイズに等しいノード数を持つソフトマックス層によって得られる。NJEEは、普遍近似定理の条件が満たされるように、連続的に微分可能な活性化関数を使用する。この手法は、強い一貫性を持つ推定値を提供し、アルファベットサイズが大きい場合に他の手法よりも優れた性能を示すことが示されている。[231]

医療画像解析

ディープラーニングは、がん細胞の分類、病変の検出、臓器のセグメンテーション、画像の強調などの医療用途において競争力のある結果を生み出すことが示されています。[232] [233]現代のディープラーニングツールは、さまざまな疾患の検出における高い精度と、専門家が診断効率を向上させるために使用することの有用性を実証しています。[234] [235]

モバイル広告

モバイル広告に適したモバイルオーディエンスを見つけることは常に困難です。なぜなら、ターゲットセグメントを作成し、広告サーバーで広告配信に使用する前に、多くのデータポイントを検討・分析する必要があるからです。[236]ディープラーニングは、大規模で多次元の広告データセットを解釈するために使用されてきました。インターネット広告のリクエスト／配信／クリックサイクルでは、多くのデータポイントが収集されます。この情報は、広告選択を改善するための機械学習の基礎となる可能性があります。

画像復元

ディープラーニングは、ノイズ除去、超解像、インペインティング、フィルムのカラー化などの逆問題にうまく適用されてきました。[237]これらの応用には、画像データセットでトレーニングする「効果的な画像修復のための収縮フィールド」[238]や、修復が必要な画像でトレーニングするディープイメージプライアなどの学習方法が含まれます。

金融詐欺検出

ディープラーニングは金融詐欺検出、脱税検出[239] 、マネーロンダリング対策[240]などに応用され、成功を収めています。

材料科学

2023年11月、Google DeepMindとローレンス・バークレー国立研究所の研究者は、GNoMEと呼ばれるAIシステムを開発したと発表しました。このシステムは、比較的短期間で200万種類以上の新材料を発見し、材料科学に貢献してきました。GNoMEは、深層学習技術を用いて潜在的な材料構造を効率的に探索し、安定した無機結晶構造の特定を大幅に向上させました。システムの予測は自律ロボット実験によって検証され、71%という驚異的な成功率を示しました。新発見材料のデータはMaterials Projectデータベースを通じて公開されており、研究者は様々な用途において望ましい特性を持つ材料を特定することができます。この開発は、科学的発見の未来と材料科学研究へのAIの統合に影響を与え、材料イノベーションの促進と製品開発コストの削減につながる可能性があります。AIと深層学習の活用は、手作業による実験室実験を最小限に抑える、あるいはなくす可能性を示唆しており、科学者は独自の化合物の設計と分析により集中できるようになります。[241] [242] [243]

軍隊

アメリカ国防総省は、観察を通じてロボットに新しいタスクを訓練するためにディープラーニングを適用した。[244]

偏微分方程式

物理学情報に基づくニューラルネットワークは、順問題と逆問題の両方において偏微分方程式をデータ駆動型で解くために利用されてきた。[245]一例として、ナビエ・ストークス方程式に支配される流体の流れの再構築が挙げられる。物理学情報に基づくニューラルネットワークを用いると、従来のCFD法で必要とされる高価なメッシュ生成は不要となる。[246] [247]。幾何学的制約と物理的制約はニューラルPDEサロゲートに相乗効果をもたらし、それによって安定かつ超長時間のロールアウトを予測する有効性を高めることは明らかである。[248]

深層後方確率微分方程式法

深層後方確率微分方程式法は、深層学習と後方確率微分方程式（BSDE）を組み合わせた数値解析手法です。この手法は、金融数学における高次元問題を解くのに特に有用です。深層BSDEは、深層ニューラルネットワークの強力な関数近似機能を活用することで、高次元環境における従来の数値解析手法が直面する計算上の課題に対処します。具体的には、有限差分法やモンテカルロシミュレーションなどの従来の手法では、次元数の増加に伴って計算コストが指数関数的に増加するという「次元の呪い」に悩まされることがよくあります。しかし、深層BSDE法は、深層ニューラルネットワークを用いて高次元偏微分方程式（PDE）の解を近似することで、計算負荷を効果的に軽減します。[249]

さらに、物理学に基づくニューラルネットワーク（PINN）をディープラーニングBSDEフレームワークに統合することで、基礎となる物理法則をニューラルネットワークアーキテクチャに直接組み込むことができ、その機能が向上します。これにより、解がデータに適合するだけでなく、支配的な確率微分方程式にも準拠することが保証されます。PINNは、物理モデルによって課される制約を尊重しながらディープラーニングの力を活用することで、金融数学の問題に対してより正確で信頼性の高い解を導き出します。

画像再構成

画像再構成とは、画像に関連する測定値から基礎画像を再構成することです。いくつかの研究では、スペクトルイメージング[250]や超音波イメージング[251]など、様々なアプリケーションにおいて、深層学習手法が解析手法よりも優れた性能を示すことが示されています。

天気予報

従来の気象予測システムは、非常に複雑な偏微分方程式を解くことで対応しています。GraphCastは、長年にわたる気象データに基づいて学習されたディープラーニングベースのモデルであり、気象パターンが時間とともにどのように変化するかを予測します。GraphCastは、世界全体で最大10日間の気象状況を非常に詳細に、1分以内に予測することができ、その精度は最先端のシステムと同等です。[252] [253]

エピジェネティック時計

エピジェネティック時計は、年齢測定に使用できる生化学的検査です。ガルキンらは、6,000以上の血液サンプルを用いて、ディープニューラルネットワークを用いて、前例のない精度のエピジェネティック老化時計を学習させました。 [254]この時計は1,000のCpG部位の情報を利用し、炎症性腸疾患（IBD）、前頭側頭型認知症、卵巣がん、肥満といった特定の疾患を持つ人が健康な対照群よりも高齢になるかどうかを予測します。この老化時計は、インシリコ・メディシンのスピンオフ企業であるDeep Longevity によって2021年に一般公開される予定でした。

人間の認知と脳の発達との関係

ディープラーニングは、 1990年代初頭に認知神経科学者によって提唱された脳の発達（具体的には大脳新皮質の発達）に関する一連の理論と密接に関連している。 [255] [256] [257] [258]これらの発達理論は計算モデルで具体化され、ディープラーニングシステムの前身となった。これらの発達モデルは、脳内で提案されている様々な学習ダイナミクス（神経成長因子の波など）が、ディープラーニングモデルで利用されるニューラルネットワークにいくぶん類似した自己組織化をサポートするという特性を共有している。大脳新皮質と同様に、ニューラルネットワークは階層型フィルターを採用しており、各層は前の層（または動作環境）からの情報を考慮し、次にその出力（および場合によっては元の入力）を他の層に渡します。このプロセスにより、動作環境によく調整されたトランスデューサーの自己組織化スタックが生成されます。 1995年の記述では、「…乳児の脳は、いわゆる栄養因子の波の影響を受けて自ら組織化しているようだ…脳の異なる領域が順番に接続され、ある組織層が他の組織層よりも先に成熟し、脳全体が成熟するまでそれが続く」と述べられている。[259]

神経生物学的観点から深層学習モデルの妥当性を調査するために、様々なアプローチが用いられてきた。一方では、バックプロパゲーションアルゴリズムのいくつかのバリエーションが、その処理のリアリティを高めるために提案されてきた。[260] [261]他の研究者は、階層的生成モデルやディープビリーフネットワークに基づくような教師なし学習の方が生物学的現実に近い可能性があると主張している。[262] [263]この点で、生成ニューラルネットワークモデルは、大脳皮質におけるサンプリングベースの処理に関する神経生物学的証拠と関連している。[264]

人間の脳組織と深層ネットワークにおけるニューロン符号化との体系的な比較はまだ確立されていないものの、いくつかの類似点が報告されている。例えば、深層学習ユニットによって実行される計算は、実際のニューロン[265]や神経集団[266]の計算と類似している可能性がある。同様に、深層学習モデルによって構築される表現は、霊長類の視覚系[267]において測定されたものと、ユニットレベル[268]と集団レベル[269]の両方で類似している。

商業活動

FacebookのAIラボは、アップロードされた写真に写っている人物の名前を自動的にタグ付けするなどのタスクを実行します。[270]

Google傘下のDeepMind Technologiesは、ピクセルデータのみを用いてAtariビデオゲームのプレイ方法を学習できるシステムを開発しました。2015年には、囲碁をプロ棋士に勝てるほどに学習したAlphaGoシステムを実演しました。 [271] [272] [273] Google翻訳はニューラルネットワークを用いて100以上の言語間の翻訳を行っています。

2017年には、ディープラーニングを工場に統合することに焦点を当てたCovariant.aiが立ち上げられました。[274]

2008年[275] 、テキサス大学オースティン校（UT）の研究者らは、評価強化学習によるエージェントの手動訓練（TAMER）と呼ばれる機械学習フレームワークを開発しました。これは、ロボットやコンピュータプログラムが人間のインストラクターと対話することでタスクの実行方法を学習するための新しい手法を提案しました。[244]当初TAMERとして開発されたDeep TAMERと呼ばれる新しいアルゴリズムは、後に2018年に米国陸軍研究所（ARL）とUTの研究者による共同研究で導入されました。Deep TAMERは、ディープラーニングを用いて、ロボットに観察を通して新しいタスクを学習する能力を提供します。[244] Deep TAMERを用いて、ロボットは人間のトレーナーと共に、ビデオストリームを視聴したり、人間がタスクを実行する様子を直接観察したりすることでタスクを学習しました。その後、ロボットはトレーナーからのコーチングを受けながらタスクを練習し、「よくできました」「よくできました」などのフィードバックを得ました。[276]

批判とコメント

ディープラーニングは、場合によってはコンピューターサイエンスの分野外からも批判とコメントを集めています。

理論

主な批判は、いくつかの手法を取り巻く理論の欠如に関するものである。[277]最も一般的な深層学習アーキテクチャにおける学習は、よく理解されている勾配降下法を用いて実装されている。しかし、対照的発散法などの他のアルゴリズムを取り巻く理論はそれほど明確ではない。[要出典] （例えば、収束するのか？収束するとすれば、どのくらいの速さなのか？何を近似しているのか？）深層学習の手法はしばしばブラックボックスと見なされ、ほとんどの確認は理論ではなく経験的に行われる。[278]

芸術的感受性が認知階層の比較的低いレベルに固有のものであるという考えに関連して、本質的にランダムなデータ内で訓練された画像を識別しようとする深層（20～30層）ニューラルネットワークの内部状態を表す一連のグラフィック表現が公開されており[279] 、視覚的な魅力を示しています。元の研究通知には1,000件を超えるコメントが寄せられ、一時期ガーディアン紙[280]のウェブサイトで最も頻繁にアクセスされる記事の主題となりました。

イノベーション普及理論（IDT）の支援を受けて、 Googleトレンドのデータを使用してBRICS諸国とOECD諸国におけるディープラーニング[281]の普及を分析した研究が行われた。

エラー

一部の深層学習アーキテクチャは、問題のある動作を示す[282]。例えば、認識できない画像を、よく知られた普通の画像カテゴリに属する​​と自信を持って分類する（2014）[283]ことや、正しく分類された画像の微小な変化を誤分類する（2013）[284]ことなどである。Goertzel は、これらの動作は内部表現の限界によるものであり、これらの限界が異種マルチコンポーネント人工汎用知能（AGI）アーキテクチャへの統合を阻害すると仮説を立てた[282] 。これらの問題は、観測された実体や事象の画像文法[285]分解と相同な状態を内部的に形成する深層学習アーキテクチャによって解決できる可能性がある。 [282]訓練データから 文法（視覚的または言語的）を学習することは、システムを文法生成規則に基づく概念に基づいて動作する常識的推論に制限することと同等であり、人間の言語獲得[286]と人工知能（AI） [287]の両方の基本的な目標である。

サイバー脅威

ディープラーニングが研究室から世界へと移行するにつれ、研究と経験から、人工ニューラルネットワークはハッキングや欺瞞に対して脆弱であることが明らかになっています。[288]これらのシステムが動作するために使用するパターンを特定することで、攻撃者はANNへの入力を改変し、人間の観察者には認識できないような一致をANNが見つけられるようにすることができます。例えば、攻撃者は画像に微妙な変更を加えることで、人間には検索対象と全く似ていない画像であっても、ANNが一致を見つけるようにすることができます。このような操作は「敵対的攻撃」と呼ばれます。[289]

2016年、研究者たちはあるANNを用いて試行錯誤的に画像を改ざんし、別のANNの焦点を特定することで、そのANNを欺く画像を生成した。改ざんされた画像は人間の目には違いがなかった。別のグループは、改ざんされた画像を印刷して撮影することで、画像分類システムを欺くことに成功したことを示しました。[290]一つの防御策は逆画像検索です。これは、偽造の可能性がある画像をTinEyeなどのサイトに送信すると、そのサイトが他の類似画像を見つけるというものです。さらに改良された方法として、画像の一部のみを使用して検索し、その部分がどこから取得された可能性があるかを特定するという方法があります。[291]

別の研究グループは、特定のサイケデリックな眼鏡が顔認識システムを欺き、一般人を有名人と誤認させ、ある人物が別の人物になりすます可能性があることを示した。2017年には、研究者らが一時停止標識にステッカーを貼り付け、ANNによる誤認識を引き起こした。[290]

しかし、ANNはさらに訓練して欺瞞の試みを検知できるようにすることができ、攻撃者と防御者をマルウェア防御業界を特徴づけるのと同様の軍拡競争に導く可能性がある。ANNは、遺伝的アルゴリズムによって継続的に変更されたマルウェアで防御を繰り返し攻撃することで、ANNベースのマルウェア対策ソフトウェアを打ち破るように訓練されてきた。このマルウェアは、標的に損害を与える能力を維持しながら、マルウェア対策ソフトウェアを欺くまで続く。[290]

2016年には、別のグループが、特定の音によってGoogle Nowの音声コマンドシステムが特定のウェブアドレスを開くことができることを実証し、これが「さらなる攻撃（例えば、ドライブバイマルウェアをホストするウェブページを開くなど）の足がかりとなる可能性がある」という仮説を立てた。[290]

「データポイズニング」では、機械学習システムが習熟するのを妨げるために、偽のデータが継続的に機械学習システムのトレーニングセットに混入されます。[290]

データ収集倫理

教師あり学習を用いて訓練されるディープラーニングシステムは、多くの場合、人間によって作成または注釈が付けられたデータ、あるいはその両方に依存します。[292]この目的で、低賃金のクリックワーク（ Amazon Mechanical Turkなど）が定期的に利用されているだけでなく、人間によるマイクロワークの暗黙的な形態も、そのように認識されることがほとんどないと主張されています。[293]哲学者ライナー・ミュールホフは、訓練データを生成するための人間のマイクロワークの「機械による捕捉」を5つのタイプに分類しています。(1)ゲーミフィケーション（ゲームの流れに注釈や計算タスクを埋め込むこと）、(2)「トラッピングとトラッキング」（例：画像認識のためのCAPTCHAやGoogle検索結果ページでのクリックトラッキング）、(3)社会的動機の活用（例：Facebookで顔にタグを付けてラベル付きの顔画像を取得すること）、(4)情報マイニング（例：活動量計などの定量化自己デバイスを活用すること）、(5)クリックワークです。[293]

参照

参考文献

  1. ^ シュルツ、ハンネス;スヴェン・ベンケ（2012年11月1日）。 「ディープラーニング」。KI-Künstliche Intelligenz。26 (4): 357–363。土井:10.1007/s13218-012-0198-z。ISSN  1610-1987。S2CID  220523562。
  2. ^ ab LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). 「ディープラーニング」（PDF） . Nature . 521 (7553): 436– 444. Bibcode :2015Natur.521..436L. doi :10.1038/nature14539. PMID  26017442. S2CID  3074096.
  3. ^ ab Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). 「画像分類のためのマルチカラムディープニューラルネットワーク」. 2012 IEEE Con​​ference on Computer Vision and Pattern Recognition . pp.  3642– 3649. arXiv : 1202.2745 . doi :10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. S2CID  2161592。
  4. ^ ab Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). 「ImageNet Classification with Deep Convolutional Neural Networks」(PDF) . NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada . 2017年1月10日時点のオリジナルよりアーカイブ(PDF) . 2017年5月24日閲覧.
  5. ^ 「GoogleのAlphaGo AI、世界最強の囲碁プレイヤーとの3連戦に勝利」TechCrunch、2017年5月25日。2018年6月17日時点のオリジナルよりアーカイブ。 2018年6月17日閲覧。
  6. ^ 「研究はニューラルネットワークと脳を比較する際に注意を促す」MITニュース | マサチューセッツ工科大学2022年11月2日. 2023年12月6日閲覧。
  7. ^ abcd Bengio, Yoshua (2009). 「AIのためのディープラーニングアーキテクチャ」(PDF) .機械学習の基礎とトレンド. 2 (1): 1– 127. CiteSeerX 10.1.1.701.9550 . doi :10.1561/2200000006. S2CID 207178999. 2016年3月4日時点の オリジナル(PDF)からのアーカイブ。 2015年9月3日閲覧。 
  8. ^ abcde Bengio, Y.; Courville, A.; Vincent, P. (2013). 「表現学習：レビューと新たな展望」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 35 (8): 1798– 1828. arXiv : 1206.5538 . Bibcode :2013ITPAM..35.1798B. doi :10.1109/tpami.2013.50. PMID  23787338. S2CID  393948.
  9. ^ abcdefgh Schmidhuber, J. (2015). 「ニューラルネットワークにおけるディープラーニング：概要」.ニューラルネットワーク. 61 : 85–117 . arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
  10. ^ 杉山茂樹（2019年4月12日）『人間の行動と意識におけるもう一つの種類：新たな研究と機会』IGIグローバル、ISBN 978-1-5225-8218-2。
  11. ^ Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). 貪欲法による深層ネットワークの層別学習(PDF) . Advances in neural information processing systems. pp.  153– 160. 2019年10月20日時点のオリジナルよりアーカイブ(PDF) . 2019年10月6日閲覧。
  12. ^ ab Hinton, GE (2009). 「ディープビリーフネットワーク」Scholarpedia . 4 (5): 5947. Bibcode :2009SchpJ...4.5947H. doi : 10.4249/scholarpedia.5947 .
  13. ^ Rina Dechter (1986). 制約充足問題における探索学習. カリフォルニア大学コンピュータサイエンス学部認知システム研究所. オンラインアーカイブ 2016年4月19日Wayback Machine
  14. ^ Aizenberg, IN; Aizenberg, NN; Vandewalle, J. (2000). 多値およびユニバーサルバイナリニューロン. Science & Business Media. doi :10.1007/978-1-4757-3115-6. ISBN 978-0-7923-7824-2. 2023年12月27日閲覧。
  15. ^ 共進化型リカレントニューロンが深層記憶POMDPを学習する。Proc. GECCO, Washington, DC, pp. 1795–1802, ACM Press, New York, NY, USA, 2005.
  16. ^ Fradkov, Alexander L. (2020-01-01). 「機械学習の初期の歴史」. IFAC-PapersOnLine . 第21回IFAC世界会議. 53 (2): 1385– 1390. doi : 10.1016/j.ifacol.2020.12.1888 . ISSN  2405-8963. S2CID  235081987.
  17. ^ abc Cybenko (1989). 「シグモイド関数の重ね合わせによる近似」(PDF) .制御・信号・システム数学. 2 (4): 303– 314. Bibcode :1989MCSS....2..303C. doi :10.1007/bf02551274. S2CID 3958369. 2015年10月10日時点の オリジナル(PDF)からのアーカイブ。
  18. ^ abc Hornik, Kurt (1991). 「多層フィードフォワードネットワークの近似能力」.ニューラルネットワーク. 4 (2): 251– 257. doi :10.1016/0893-6080(91)90009-t. S2CID  7343126.
  19. ^ ab Haykin, Simon S. (1999). ニューラルネットワーク：包括的な基礎. Prentice Hall. ISBN 978-0-13-273350-2。
  20. ^ ab ハッソン、モハマド H. (1995)。人工ニューラル ネットワークの基礎。 MITプレス。 p. 48.ISBN​ 978-0-262-08239-6。
  21. ^ ab Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). ニューラルネットワークの表現力：幅から見た視点 Archived 2019-02-13 at the Wayback Machine . Neural Information Processing Systems, 6231-6239.
  22. ^ Orhan, AE; Ma, WJ (2017). 「非確率的フィードバックを用いて訓練された汎用ニューラルネットワークにおける効率的な確率的推論」. Nature Communications . 8 (1): 138. Bibcode :2017NatCo...8..138O. doi : 10.1038/s41467-017-00181-8 . PMC 5527101. PMID 28743932  . 
  23. ^ abcde Deng, L.; Yu, D. (2014). 「ディープラーニング：手法と応用」（PDF） .信号処理の基礎と動向. 7 ( 3–4 ): 1– 199. doi :10.1561/2000000039. 2016年3月14日時点のオリジナルよりアーカイブ（PDF） . 2014年10月18日閲覧。
  24. ^ abcd Murphy, Kevin P. (2012年8月24日). 機械学習：確率論的視点. MIT Press. ISBN 978-0-262-01802-9。
  25. ^ ab 福島, K. (1969). 「アナログ閾値要素の多層ネットワークによる視覚特徴抽出」. IEEE Transactions on Systems Science and Cyber​​netics . 5 (4): 322– 333. doi :10.1109/TSSC.1969.300225.
  26. ^ 園田 翔; 村田 昇 (2017). 「非有界活性化関数を持つニューラルネットワークは普遍近似器である」.応用・計算調和解析. 43 (2): 233– 268. arXiv : 1505.03654 . doi :10.1016/j.acha.2015.12.005. S2CID  12149203.
  27. ^ ビショップ、クリストファー・M. (2006). パターン認識と機械学習(PDF) . シュプリンガー. ISBN 978-0-387-31073-2. 2017年1月11日にオリジナルからアーカイブ（PDF）されました。2017年8月6日閲覧。
  28. ^ ab "bibliotheca Augustana". www.hs-augsburg.de .
  29. ^ Brush, Stephen G. (1967). 「レンツ-イジング模型の歴史」. Reviews of Modern Physics . 39 (4): 883– 893. Bibcode :1967RvMP...39..883B. doi :10.1103/RevModPhys.39.883.
  30. ^ ab 天理俊一 (1972). 「閾値要素の自己組織化ネットによるパターンとパターンシーケンスの学習」. IEEE Transactions . C (21): 1197–1206 .
  31. ^ abcdefg シュミットフーバー、ユルゲン(2022). 「現代AIとディープラーニングの歴史の注釈付き」。arXiv : 2212.11279 [cs.NE]。
  32. ^ Hopfield, JJ (1982). 「ニューラルネットワークと創発的な集合的計算能力を備えた物理システム」. Proceedings of the National Academy of Sciences . 79 (8): 2554– 2558. Bibcode :1982PNAS...79.2554H. doi : 10.1073/pnas.79.8.2554 . PMC 346238. PMID  6953413 . 
  33. ^ 中野薫 (1971). 「連想記憶モデルにおける学習過程」.パターン認識と機械学習. pp.  172– 186. doi :10.1007/978-1-4615-7566-5_15. ISBN 978-1-4615-7568-9。
  34. ^ 中野薫 (1972). 「アソシアトロン - 連想記憶モデル」. IEEE Transactions on Systems, Man, and Cyber​​netics . SMC-2 (3): 380– 388. doi :10.1109/TSMC.1972.4309133.
  35. ^ チューリング、アラン (1992) [1948]. 「知能機械」. インス, DC (編). AMチューリング著作集: 機械知能. 第1巻. エルゼビア・サイエンス・パブリッシャーズ. p. 107. ISBN 0-444-88058-5。
  36. ^ Rosenblatt, F. (1958). 「パーセプトロン：脳における情報の蓄積と組織化のための確率モデル」.心理学評論. 65 (6): 386– 408. doi :10.1037/h0042519. ISSN  1939-1471. PMID  13602029.
  37. ^ ab ローゼンブラット、フランク(1962).神経力学の原理. スパルタン、ニューヨーク.
  38. ^ Joseph, RD (1960).パーセプトロン理論への貢献, コーネル航空研究所報告書 No. VG-11 96--G-7, バッファロー.
  39. ^ Ivakhnenko, AG; Lapa, VG (1967). サイバネティクスと予測技術. American Elsevier Publishing Co. ISBN 978-0-444-00020-0。
  40. ^ Ivakhnenko, AG (1970年3月). 「工学サイバネティクスの問題におけるヒューリスティックな自己組織化」. Automatica . 6 (2): 207– 219. doi :10.1016/0005-1098(70)90092-0.
  41. ^ ab Ivakhnenko, Alexey (1971). 「複雑系の多項式理論」(PDF) . IEEE Transactions on Systems, Man, and Cyber​​netics . SMC-1 (4): 364– 378. doi :10.1109/TSMC.1971.4308320. 2017年8月29日時点のオリジナルよりアーカイブ(PDF) . 2019年11月5日閲覧.
  42. ^ Robbins, H. ; Monro, S. (1951). 「確率的近似法」.数理統計年報. 22 (3): 400. doi : 10.1214/aoms/1177729586 .
  43. ^ 天理俊一(1967). 「適応型パターン分類器の理論」. IEEE Transactions . EC (16): 279–307 .
  44. ^ ラマチャンドラン, プラジット; バレット, ゾフ; クオック, V. ル (2017年10月16日). 「活性化関数の探索」. arXiv : 1710.05941 [cs.NE].
  45. ^ 福島 功 (1979). 「位置ずれに影響されないパターン認識機構の神経回路モデル ― ネオコグニトロン」. 電子情報通信学会論文集. J62-A (10): 658– 665. doi :10.1007/bf00344251. PMID  7370364. S2CID  206775608.
  46. ^ 福島 功 (1980). 「ネオコグニトロン：位置ずれに影響されないパターン認識機構のための自己組織化ニューラルネットワークモデル」Biol. Cyber​​n . 36 (4): 193– 202. doi :10.1007/bf00344251. PMID  7370364. S2CID  206775608.
  47. ^ ライプニッツ、ゴットフリート・ヴィルヘルム・フライヘル・フォン（1920年）『ライプニッツ初期数学原稿集：カール・イマヌエル・ゲルハルト出版のラテン語テキストからの翻訳、批評的・歴史的注釈付き』（ライプニッツは1676年の回想録で連鎖律を発表した）。オープン・コート出版会社。ISBN 978-0-598-81846-1。 {{cite book}}: ISBN / Date incompatibility (help)
  48. ^ ケリー、ヘンリー・J. (1960). 「最適飛行経路の勾配理論」. ARSジャーナル. 30 (10): 947– 954. doi :10.2514/8.5282.
  49. ^ Linnainmaa, Seppo (1970).アルゴリズムの累積丸め誤差の局所丸め誤差のテイラー展開による表現（修士論文）（フィンランド語）. ヘルシンキ大学. p. 6–7.
  50. ^ Linnainmaa, Seppo (1976). 「累積丸め誤差のテイラー展開」BIT Numerical Mathematics . 16 (2): 146– 160. doi :10.1007/bf01931367. S2CID  122357351.
  51. ^ Ostrovski, GM, Volin, YM, Boris, WW (1971). 導関数の計算について. Wiss. Z. Tech. Hochschule for Chemistry, 13:382–384.
  52. ^ ab Schmidhuber, Juergen (2014年10月25日). 「Who Invented Backpropagation?」 IDSIA、スイス. 2024年7月30日時点のオリジナルよりアーカイブ。2024年9月14日閲覧。
  53. ^ Werbos, Paul (1982). 「非線形感度解析における進歩の応用」(PDF) .システムモデリングと最適化. Springer. pp.  762– 770. 2016年4月14日時点のオリジナルよりアーカイブ(PDF) . 2017年7月2日閲覧。
  54. ^ ワーボス、ポール・J. (1994). 『バックプロパゲーションのルーツ：順序付き微分からニューラルネットワーク、そして政治予測まで』 ニューヨーク：ジョン・ワイリー・アンド・サンズ. ISBN 0-471-59897-6。
  55. ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986年10月). 「誤差逆伝播による表現の学習」. Nature . 323 (6088): 533– 536. Bibcode :1986Natur.323..533R. doi :10.1038/323533a0. ISSN  1476-4687.
  56. ^ ルメルハート、デイビッド・E.、ジェフリー・E. ヒントン、RJ・ウィリアムズ。「エラー伝播による内部表現の学習」（ Wayback Machineに2022年10月13日アーカイブ） デイビッド・E. ルメルハート、ジェームズ・L. マクレランド、PDP研究グループ（編）『並列分散処理：認知の微細構造の探究』第1巻：基礎編。MITプレス、1986年。
  57. ^ Waibel, Alex (1987年12月). 時間遅延ニューラルネットワークを用いた音素認識(PDF) . 電気情報通信学会論文集. 東京.
  58. ^ Alexander Waibel他「時間遅延ニューラルネットワークを使用した音素認識」 IEEE Transactions on Acoustics, Speech, and Signal Processing、第 37 巻、第 3 号、pp. 328 – 339、1989 年 3 月。
  59. ^ Zhang, Wei (1988). 「シフト不変パターン認識ニューラルネットワークとその光学アーキテクチャ」応用物理学会年次大会講演論文集.
  60. ^ LeCunら、「手書き郵便番号認識へのバックプロパゲーションの適用」、 Neural Computation、1、pp.541–551、1989年。
  61. ^ Zhang, Wei (1990). 「局所空間不変相互接続を備えた並列分散処理モデルとその光学アーキテクチャ」.応用光学. 29 (32): 4790–7 . Bibcode :1990ApOpt..29.4790Z. doi :10.1364/AO.29.004790. PMID  20577468.
  62. ^ Zhang, Wei (1991). 「学習ネットワークに基づくヒト角膜内皮細胞の画像処理」.応用光学. 30 (29): 4211–7 . Bibcode :1991ApOpt..30.4211Z. doi :10.1364/AO.30.004211. PMID  20706526.
  63. ^ Zhang, Wei (1994). 「シフト不変人工ニューラルネットワークを用いたデジタルマンモグラムにおけるクラスター状微小石灰化のコンピュータ検出」. Medical Physics . 21 (4): 517–24 . Bibcode :1994MedPh..21..517Z. doi :10.1118/1.597177. PMID  8058017.
  64. ^ ヤン・ルカン;レオン・ボットー。ヨシュア・ベンジオ。パトリック・ハフナー (1998)。 「文書認識に適用された勾配ベースの学習」(PDF)。IEEE の議事録。86 ( 11 ) : 2278–2324。CiteSeerX 10.1.1.32.9552 。土井：10.1109/5.726791。S2CID  14542261 。2016 年10 月 7 日に取得。 
  65. ^ ジョーダン、マイケル・I. (1986). 「コネクショニスト逐次機械におけるアトラクターダイナミクスと並列性」認知科学学会年次大会論文集. 8 .
  66. ^ エルマン, ジェフリー・L. (1990年3月). 「時間の中に構造を見つける」.認知科学. 14 (2): 179– 211. doi :10.1207/s15516709cog1402_1. ISSN  0364-0213.
  67. ^ abc Schmidhuber, Jürgen (1991年4月). 「Neural Sequence Chunkers」(PDF) . TR FKI-148, TU Munich .
  68. ^ ab Schmidhuber, Jürgen (1992). 「履歴圧縮の原理を用いた複雑で拡張されたシーケンスの学習（TR FKI-148, 1991に基づく）」(PDF) . Neural Computation . 4 (2): 234– 242. doi :10.1162/neco.1992.4.2.234. S2CID  18271205.
  69. ^ Schmidhuber, Jürgen (1993). Habilitation thesis: System modeling and optimization (PDF) . 2022年5月16日時点のオリジナル(PDF)からのアーカイブ。150 ページ以降では、展開された RNN の 1,200 層に相当する部分にわたるクレジットの割り当てを示します。
  70. ^ abc S. Hochreiter.、「Untersuhungen zu dynamischen neuronalen Netzen」。 2015 年 3 月 6 日にWayback Machineにアーカイブされました。卒業論文。インスティチュート f.工科大学インフォマティックミュンヘン。アドバイザー: J. シュミットフーバー、1991 年。
  71. ^ Hochreiter, S.; et al. (2001年1月15日). 「リカレントネットにおける勾配フロー：長期依存関係の学習の難しさ」Kolen, John F.; Kremer, Stefan C. (編). 『動的リカレントネットワークのフィールドガイド』 John Wiley & Sons. ISBN 978-0-7803-5369-5。
  72. ^ ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1995 年 8 月 21 日)、長短期記憶、ウィキデータ Q98967430
  73. ^ Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). 「忘却の学習：LSTMによる継続的予測」第9回国際人工ニューラルネットワーク会議：ICANN '99 . 第1999巻. pp.  850– 855. doi :10.1049/cp:19991218. ISBN 0-85296-721-7。
  74. ^ ab Schmidhuber, Jürgen (1991). 「モデル構築ニューラルコントローラにおける好奇心と退屈の実装可能性」Proc. SAB'1991 . MIT Press/Bradford Books. pp.  222– 227.
  75. ^ Schmidhuber, Jürgen (2010). 「創造性、楽しさ、そして内発的動機づけの形式理論（1990-2010）」. IEEE Transactions on Autonomous Mental Development . 2 (3): 230– 247. Bibcode :2010ITAMD...2..230S. doi :10.1109/TAMD.2010.2056368. S2CID  234198.
  76. ^ Schmidhuber, Jürgen (2020). 「Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)」. Neural Networks . 127 : 58–66 . arXiv : 1906.04493 . doi :10.1016/j.neunet.2020.04.008. PMID:  32334341. S2CID  : 216056336.
  77. ^ Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. (1985-01-01). 「ボルツマンマシンのための学習アルゴリズム」.認知科学. 9 (1): 147– 169. doi :10.1016/S0364-0213(85)80012-4. ISSN  0364-0213.
  78. ^ スモレンスキー, ポール (1986). 「第6章 動的システムにおける情報処理：調和理論の基礎」(PDF) . デビッド・E. ルメルハート; ジェームズ・L. マクレランド (編). 『並列分散処理：認知の微細構造の探究 第1巻：基礎』 ​​MITプレス. pp. 194–281. ISBN 0-262-68053-X。
  79. ^ Peter, Dayan ; Hinton, Geoffrey E. ; Neal, Radford M. ; Zemel, Richard S. (1995). 「ヘルムホルツマシン」. Neural Computation . 7 (5): 889– 904. doi :10.1162/neco.1995.7.5.889. hdl : 21.11116/0000-0002-D6D3-E . PMID  7584891. S2CID  1890561. アクセスが閉じられたアイコン
  80. ^ Hinton, Geoffrey E. ; Dayan, Peter ; Frey, Brendan J. ; Neal, Radford (1995-05-26). 「教師なしニューラルネットワークのためのウェイク・スリープアルゴリズム」. Science . 268 (5214): 1158– 1161. Bibcode :1995Sci...268.1158H. doi :10.1126/science.7761831. PMID  7761831. S2CID  871473.
  81. ^ セジュノウスキー、テレンス・J. (2018). 『ディープラーニング革命』 マサチューセッツ州ケンブリッジ: MITプレス. ISBN 978-0-262-03803-4。
  82. ^ Qian, Ning; Sejnowski, Terrence J. (1988-08-20). 「ニューラルネットワークモデルを用いた球状タンパク質の二次構造予測」. Journal of Molecular Biology . 202 (4): 865– 884. doi :10.1016/0022-2836(88)90564-5. ISSN  0022-2836. PMID  3172241.
  83. ^ モーガン, ネルソン; ブルラール, エルヴェ; レナルズ, スティーブ; コーエン, マイケル; フランコ, オラシオ (1993年8月1日). 「連続音声認識のためのハイブリッドニューラルネットワーク/隠れマルコフモデルシステム」.国際パターン認識・人工知能ジャーナル. 07 (4): 899– 916. doi :10.1142/s0218001493000455. ISSN  0218-0014.
  84. ^ Robinson, T. (1992). 「リアルタイム再帰エラー伝播ネットワーク単語認識システム」. ICASSP . Icassp'92: 617– 620. ISBN 978-0-7803-0532-8. 2021年5月9日時点のオリジナルよりアーカイブ。2017年6月12日閲覧。
  85. ^ Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, KJ (1989年3月). 「時間遅延ニューラルネットワークを用いた音素認識」(PDF) . IEEE Transactions on Acoustics, Speech, and Signal Processing . 37 (3): 328– 339. doi :10.1109/29.21701. hdl :10338.dmlcz/135496. ISSN  0096-3518. S2CID 9563026. 2021年4月27日時点のオリジナルより アーカイブ(PDF) . 2019年9月24日閲覧.
  86. ^ Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). 「音声認識・理解における研究開発と方向性、パート1」. IEEE Signal Processing Magazine . 26 (3): 75– 80. Bibcode :2009ISPM...26...75B. doi :10.1109/msp.2009.932166. hdl :1721.1/51891. S2CID  357467.
  87. ^ Bengio, Y. (1991). 「人工ニューラルネットワークと音声/シーケンス認識への応用」. マギル大学博士論文. 2021年5月9日時点のオリジナルよりアーカイブ。 2017年6月12日閲覧。
  88. ^ Deng, L.; Hassanein, K.; Elmasry, M. (1994). 「ニューラル予測モデルの相関構造解析と音声認識への応用」.ニューラルネットワーク. 7 (2): 331– 339. doi :10.1016/0893-6080(94)90027-2.
  89. ^ Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). 「NISTによる話者認識評価 ± 概要、方法論、システム、結果、展望」.音声通信. 31 (2): 225– 254. doi :10.1016/S0167-6393(99)00080-1.
  90. ^ ab Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). 「識別的特徴設計による話者認識における電話受話器の歪みに対する堅牢性」音声通信. 31 (2): 181– 192. doi :10.1016/s0167-6393(99)00077-1.
  91. ^ LP HeckとR. Teunen、「Nuance Verifierによる安全で便利なトランザクション」。Nuanceユーザーズカンファレンス、1998年4月。
  92. ^ 「生の時間信号を用いたディープニューラルネットワークによる音響モデリング（LVCSR用）（PDFダウンロード可能）」ResearchGate . 2021年5月9日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  93. ^ ab Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). 「LSTMニューラルネットによる生物学的に妥当な音声認識」(PDF) .第1回国際ワークショップ「生物学的にインスパイアされた先端情報技術へのアプローチ」Bio-ADIT 2004, ローザンヌ, スイス. pp.  175– 184. 2017年7月6日時点のオリジナル(PDF)からアーカイブ。 2016年4月9日閲覧。
  94. ^ Graves, Alex ; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). 「コネクショニスト時間分類：リカレントニューラルネットワークによる非セグメント化シーケンスデータのラベル付け」Proceedings of the International Conference on Machine Learning, ICML 2006 : 369– 376. CiteSeerX 10.1.1.75.6306 . 
  95. ^ Santiago Fernandez, Alex Graves, Jürgen Schmidhuber (2007). 再帰型ニューラルネットワークの識別的キーワードスポッティングへの応用 Archived 2018-11-18 at the Wayback Machine . Proceedings of ICANN (2), pp. 220–229.
  96. ^ Graves, Alex; Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks、Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris KI; Culotta, Aron (eds.)、 Advances in Neural Information Processing Systems 22 (NIPS'22)、2009 年 12 月 7 日～10 日、バンクーバー、BC、Neural Information Processing Systems (NIPS) Foundation、2009 年、pp. 545～552
  97. ^ Hinton, Geoffrey E. (2007年10月1日). 「多層表現の学習」. Trends in Cognitive Sciences . 11 (10): 428– 434. doi :10.1016/j.tics.2007.09.004. ISSN  1364-6613. PMID  17921042. S2CID  15066318. 2013年10月11日時点のオリジナルよりアーカイブ。 2017年6月12日閲覧。
  98. ^ Hinton, GE ; Osindero, S.; Teh, YW (2006). 「ディープビリーフネットのための高速学習アルゴリズム」(PDF) . Neural Computation . 18 (7): 1527– 1554. doi :10.1162/neco.2006.18.7.1527. PMID  16764513. S2CID 2309950. 2015年12月23日時点のオリジナルより アーカイブ(PDF) . 2011年7月20日閲覧.
  99. ^ GE Hinton., 「多層表現の学習」. 2018年5月22日アーカイブ. Trends in Cognitive Sciences , 11, pp. 428–434, 2007.
  100. ^ Hinton, Geoffrey E. (2007年10月). 「多層表現の学習」. Trends in Cognitive Sciences . 11 (10): 428– 434. doi :10.1016/j.tics.2007.09.004. PMID  17921042.
  101. ^ Hinton, Geoffrey E.; Osindero, Simon; Teh, Yee-Whye (2006年7月). 「ディープビリーフネットのための高速学習アルゴリズム」. Neural Computation . 18 (7): 1527– 1554. doi :10.1162/neco.2006.18.7.1527. ISSN  0899-7667. PMID  16764513.
  102. ^ Hinton, Geoffrey E. (2009-05-31). 「ディープビリーフネットワーク」. Scholarpedia . 4 (5): 5947. Bibcode :2009SchpJ...4.5947H. doi : 10.4249/scholarpedia.5947 . ISSN  1941-6016.
  103. ^ Yann LeCun (2016). ディープラーニングに関するスライド オンライン アーカイブ 2016-04-23 at the Wayback Machine
  104. ^ abc Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; Sainath, T .; Kingsbury, B. (2012). 「音声認識における音響モデリングのためのディープニューラルネットワーク：4つの研究グループの共通見解」IEEE Signal Processing Magazine . 29 (6): 82– 97. Bibcode :2012ISPM...29...82H. doi :10.1109/msp.2012.2205597. S2CID  206485943.
  105. ^ abc Deng, L.; Hinton, G.; Kingsbury, B. (2013年5月). 「音声認識および関連アプリケーションのための新しいタイプのディープニューラルネットワーク学習：概要（ICASSP）」(PDF) . Microsoft. 2017年9月26日時点のオリジナルよりアーカイブ(PDF) . 2023年12月27日閲覧。
  106. ^ abc Yu, D.; Deng, L. (2014). 自動音声認識：ディープラーニングによるアプローチ (出版社：Springer). Springer. ISBN 978-1-4471-5779-3。
  107. ^ 「Dengが名誉あるIEEE技術功績賞を受賞 - Microsoft Research」Microsoft Research 2015年12月3日。2018年3月16日時点のオリジナルよりアーカイブ。 2018年3月16日閲覧。
  108. ^ ab Li, Deng (2014年9月). 「基調講演: 『ディープラーニングの成果と課題 - 音声分析・認識から言語・マルチモーダル処理まで』」. Interspeech . 2017年9月26日時点のオリジナルよりアーカイブ。 2017年6月12日閲覧。
  109. ^ Yu, D.; Deng, L. (2010). 「実世界音声認識におけるコンテキスト依存型DBN-HMMにおける事前学習と微調整の役割」NIPSワークショップ「ディープラーニングと教師なし特徴学習」 2017年10月12日時点のオリジナルよりアーカイブ。2017年6月14日閲覧。
  110. ^ Seide, F.; Li, G.; Yu, D. (2011). 「文脈依存型ディープニューラルネットワークを用いた会話音声転写」. Interspeech 2011. pp.  437– 440. doi :10.21437/Interspeech.2011-169. S2CID  398770. 2017年10月12日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  111. ^ Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (2013年5月1日). 「Microsoftにおける音声研究のためのディープラーニングの最近の進歩」. Microsoft Research . 2017年10月12日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  112. ^ ab Oh, K.-S.; Jung, K. (2004). 「GPUによるニューラルネットワークの実装」.パターン認識. 37 (6): 1311– 1314. Bibcode :2004PatRe..37.1311O. doi :10.1016/j.patcog.2004.01.013.
  113. ^ ab Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), 文書処理のための高性能畳み込みニューラルネットワーク、2020年5月18日にオリジナルからアーカイブ、 2021年2月14日取得
  114. ^ Sze, Vivienne ; Chen, Yu-Hsin ; Yang, Tien-Ju ; Emer, Joel (2017). 「ディープニューラルネットワークの効率的な処理：チュートリアルと概要」arXiv : 1703.09039 [cs.CV].
  115. ^ Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009-06-14). 「グラフィックスプロセッサを用いた大規模ディープラーニング（教師なし学習）」. Proceedings of the 26th Annual International Conference on Machine Learning . ICML '09. ニューヨーク、ニューヨーク州、米国: Association for Computing Machinery. pp.  873– 880. doi :10.1145/1553374.1553486. ISBN 978-1-60558-516-1。
  116. ^ シレシャン、ダン・クラウディウ;マイヤー、ウエリ;ガンバルデッラ、ルカ・マリア。シュミットフーバー、ユルゲン（2010年9月21日）。 「手書き数字認識のための、深く、大きく、シンプルなニューラル ネットワーク」。ニューラル計算。22 (12 ) : 3207–3220.arXiv : 1003.0358 。土井：10.1162/neco_a_00052。ISSN  0899-7667。PMID  20858131。S2CID 1918673  。
  117. ^ Ciresan, DC; Meier, U.; Masci, J.; Gambardella, LM; Schmidhuber, J. (2011). 「画像分類のための柔軟で高性能な畳み込みニューラルネットワーク」(PDF) .国際人工知能合同会議. doi :10.5591/978-1-57735-516-8/ijcai11-210. 2014年9月29日時点のオリジナルよりアーカイブ(PDF) . 2017年6月13日閲覧.
  118. ^ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, CJC; Bottou, L.; Weinberger, KQ (eds.). Advances in Neural Information Processing Systems 25 (PDF) . Curran Associates, Inc. pp.  2843– 2851. 2017年8月9日時点のオリジナルよりアーカイブ(PDF) 。 2017年6月13日閲覧。
  119. ^ Ciresan, D.; Giusti, A.; Gambardella, LM; Schmidhuber, J. (2013). 「ディープニューラルネットワークを用いた乳がん組織学画像における有糸分裂検出」.医用画像コンピューティングとコンピュータ支援介入 – MICCAI 2013.コンピュータサイエンス講義ノート. 第7908巻. pp.  411– 418. doi :10.1007/978-3-642-40763-5_51. ISBN 978-3-642-38708-1. PMID  24579167。
  120. ^ Ng, Andrew; Dean, Jeff (2012). 「大規模な教師なし学習を用いた高レベル特徴量の構築」arXiv : 1112.6209 [cs.LG].
  121. ^ Simonyan, Karen; Andrew, Zisserman (2014). 「大規模画像認識のための超深層畳み込みネットワーク」arXiv : 1409.1556 [cs.CV].
  122. ^ Szegedy, Christian (2015). 「畳み込みの深化」(PDF) . Cvpr2015 . arXiv : 1409.4842 .
  123. ^ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). 「Show and Tell: ニューラル画像キャプションジェネレータ」. arXiv : 1411.4555 [cs.CV].。
  124. ^ Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). 「キャプションからビジュアルコンセプトへ、そしてその逆へ」. arXiv : 1411.4952 [cs.CV].。
  125. ^ Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). 「視覚的・意味的埋め込みとマルチモーダルニューラル言語モデルとの統合」arXiv : 1411.2539 [cs.LG].。
  126. ^ Simonyan, Karen; Zisserman, Andrew (2015-04-10)、大規模画像認識のための非常に深い畳み込みネットワーク、arXiv : 1409.1556
  127. ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). 「整流器の深掘り：ImageNet分類における人間レベルの性能を超える」arXiv : 1502.01852 [cs.CV].
  128. ^ 彼、カイミン。張項宇。仁、少慶。サン、ジアン（2015 年 12 月 10 日）。画像認識のための深層残差学習。arXiv : 1512.03385。
  129. ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). 「画像認識のための深層残差学習」. 2016 IEEE コンピュータビジョンおよびパターン認識会議 (CVPR) . ラスベガス, ネバダ州, 米国: IEEE. pp.  770– 778. arXiv : 1512.03385 . doi :10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1。
  130. ^ Gatys, Leon A.; Ecker, Alexander S.; Bethge, Matthias (2015年8月26日). 「芸術的スタイルのニューラルアルゴリズム」. arXiv : 1508.06576 [cs.CV].
  131. ^ Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF) . Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). pp.  2672– 2680. 2019年11月22日時点のオリジナルよりアーカイブ(PDF) 。 2019年8月20日閲覧。
  132. ^ 「GAN 2.0: NVIDIAのハイパーリアリスティック顔ジェネレーター」SyncedReview.com 2018年12月14日. 2019年10月3日閲覧。
  133. ^ Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (2018年2月26日). 「品質、安定性、および変動性の向上のためのGANの漸進的成長」arXiv : 1710.10196 [cs.NE].
  134. ^ “Prepare, Don't Panic: Synthetic Media and Deepfakes”. witness.org. 2020年12月2日時点のオリジナルよりアーカイブ。 2020年11月25日閲覧。
  135. ^ Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (2015-06-01). 「非平衡熱力学を用いた教師なし深層学習」(PDF) .第32回国際機械学習会議論文集. 37. PMLR: 2256– 2265. arXiv : 1503.03585 .
  136. ^ Google Research Blog. Google Voiceの文字起こしを支えるニューラルネットワーク。2015年8月11日。フランソワーズ・ボーフェイズ著 http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html
  137. ^ ab Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (2015年9月). 「Google voice search: faster and more accurate」. 2016年3月9日時点のオリジナルよりアーカイブ。 2016年4月9日閲覧。
  138. ^ Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). 「音声感情認識のための定数Q変換を用いた非線形周波数ワーピング」. 2021 International Conference on Computer Communication and Informatics (ICCCI) . pp.  1– 4. arXiv : 2102.04029 . doi :10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID  231846518。
  139. ^ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). 「大規模音響モデリングのためのLong Short-Term Memoryリカレントニューラルネットワークアーキテクチャ」(PDF) . 2018年4月24日時点のオリジナル(PDF)からのアーカイブ。
  140. ^ Li, Xiangang; Wu, Xihong (2014). 「大語彙音声認識のためのLong Short-Term MemoryベースのDeep Recurrent Neural Networksの構築」arXiv : 1410.4281 [cs.CL].
  141. ^ Zen, Heiga; Sak, Hasim (2015). 「低遅延音声合成のためのリカレント出力層を備えた単方向長短期記憶リカレントニューラルネットワーク」(PDF) . Google.com . ICASSP. pp.  4470– 4474. 2021年5月9日時点のオリジナルからアーカイブ(PDF) . 2017年6月13日閲覧。
  142. ^ 「2018 ACM AM チューリング賞受賞者」awards.acm.org . 2024年8月7日閲覧。
  143. ^ Ferrie, C., Kaiser, S. (2019).赤ちゃんのためのニューラルネットワーク. Sourcebooks. ISBN 978-1-4926-7120-6。{{cite book}}: CS1 maint: multiple names: authors list (link)
  144. ^ シルバー、デヴィッド;ファン、アジャ。マディソン、クリス・J。グエズ、アーサー。シフレ、ローラン。ドリーシェ、ジョージ・ヴァン・デン。シュリットヴィーザー、ジュリアン。アントノグルー、イオアニス。パニールシェルヴァム、ヴェーダ（2016 年 1 月）。 「ディープ ニューラル ネットワークとツリー検索で囲碁をマスターする」。自然。529 (7587): 484–489。書誌コード:2016Natur.529..484S。土井：10.1038/nature16961. ISSN  1476-4687。PMID  26819042。S2CID 515925  。
  145. ^ ディープラーニングとニューラルネットワークのガイド、2020年11月2日にオリジナルからアーカイブ、 2020年11月16日取得
  146. ^ ab Kumar, Nishant; Raubal, Martin (2021). 「渋滞検知、予測、緩和におけるディープラーニングの応用：概観」. Transportation Research Part C: Emerging Technologies . 133 103432. arXiv : 2102.09759 . Bibcode :2021TRPC..13303432K. doi : 10.1016/j.trc.2021.103432 . hdl : 10230/42143 . S2CID  240420107.
  147. ^ Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). 「物体検出のためのディープニューラルネットワーク」. Advances in Neural Information Processing Systems : 2553– 2561. 2017年6月29日時点のオリジナルよりアーカイブ。 2017年6月13日閲覧。
  148. ^ Rolnick, David; Tegmark, Max (2018). 「自然な機能を表現するためのより深いネットワークの力」.国際学習表現会議. ICLR 2018. 2021年1月7日時点のオリジナルよりアーカイブ。 2021年1月5日閲覧。
  149. ^ Hof, Robert D. 「人工知能はついに独自の地位を確立しつつあるのか？」MIT Technology Review . 2019年3月31日時点のオリジナルよりアーカイブ。 2018年7月10日閲覧。
  150. ^ ab Gers, Felix A.; Schmidhuber, Jürgen (2001). 「LSTMリカレントネットワークは単純な文脈自由言語と文脈依存言語を学習する」. IEEE Transactions on Neural Networks . 12 (6): 1333– 1340. Bibcode :2001ITNN...12.1333G. doi :10.1109/72.963769. PMID  18249962. S2CID  10192330. 2020年1月26日時点のオリジナルよりアーカイブ。 2020年2月25日閲覧。
  151. ^ abc Sutskever, L.; Vinyals, O.; Le, Q. (2014). 「ニューラルネットワークによるシーケンスツーシーケンス学習」(PDF) . Proc. NIPS . arXiv : 1409.3215 . Bibcode :2014arXiv1409.3215S. 2021年5月9日時点のオリジナルよりアーカイブ(PDF) . 2017年6月13日閲覧.
  152. ^ ab Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). 「言語モデルの限界を探る」. arXiv : 1602.02410 [cs.CL].
  153. ^ ab Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). 「バイト列からの多言語処理」. arXiv : 1512.00103 [cs.CL].
  154. ^ Mikolov, T.; et al. (2010). 「リカレントニューラルネットワークに基づく言語モデル」(PDF) . Interspeech : 1045–1048 . doi :10.21437/Interspeech.2010-343. S2CID 17048224. 2017年5月16日時点のオリジナルより アーカイブ(PDF) . 2017年6月13日閲覧.
  155. ^ ホッホライター、ゼップ;シュミットフーバー、ユルゲン（1997年11月1日）。 「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井:10.1162/neco.1997.9.8.1735。ISSN  0899-7667。PMID  9377276。S2CID 1915014  。
  156. ^ ab 「LSTMリカレントネットワークによる正確なタイミングの学習（PDFダウンロード可能）」ResearchGate . 2021年5月9日時点のオリジナルよりアーカイブ。 2017年6月13日閲覧。
  157. ^ LeCun, Y.; et al. (1998). 「文書認識への勾配ベース学習の適用」Proceedings of the IEEE . 86 (11): 2278– 2324. doi :10.1109/5.726791. S2CID  14542261.
  158. ^ Sainath, Tara N. ; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). 「LVCSRのための深層畳み込みニューラルネットワーク」. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp.  8614– 8618. doi :10.1109/icassp.2013.6639347. ISBN 978-1-4799-0356-6. S2CID  13816461。
  159. ^ Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). 「リカレントネットワークの最適化における進歩」. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp.  8624– 8628. arXiv : 1212.0901 . CiteSeerX 10.1.1.752.9151 . doi :10.1109/icassp.2013.6639349. ISBN  978-1-4799-0356-6. S2CID  12485056。
  160. ^ Dahl, G.; et al. (2013). 「Restricted Linear UnitsとDropoutを用いたLVCSR向けDNNの改善」(PDF) . ICASSP . 2017年8月12日時点のオリジナルよりアーカイブ(PDF) . 2017年6月13日閲覧.
  161. ^ Kumar, Nishant; Martin, Henry; Raubal, Martin (2024). 「複雑性分析によるディープラーニングベースの都市全体交通予測パイプラインの強化」.交通のためのデータサイエンス. 6 (3) 24. doi : 10.1007/s42421-024-00109-x . hdl : 20.500.11850/695425 .
  162. ^ “Data Augmentation - deeplearning.ai | Coursera”. Coursera . 2017年12月1日時点のオリジナルよりアーカイブ。 2017年11月30日閲覧。
  163. ^ Hinton, GE (2010). 「制限付きボルツマンマシンの訓練に関する実践ガイド」. Tech. Rep. UTML TR 2010-003 . 2021年5月9日時点のオリジナルよりアーカイブ。 2017年6月13日閲覧。
  164. ^ You, Yang; Buluç, Aydın; Demmel, James (2017年11月). 「GPUとKnights Landing Clustersによるディープラーニングのスケーリング」. Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17. SC '17, ACM. pp.  1– 12. arXiv : 1708.02983 . doi :10.1145/3126908.3126912. ISBN 978-1-4503-5114-0. S2CID  8869270. 2020年7月29日時点のオリジナルよりアーカイブ。2018年3月5日閲覧。
  165. ^ Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). 「CHAOS: Intel Xeon Phi 上で畳み込みニューラルネットワークをトレーニングするための並列化スキーム」. The Journal of Supercomputing . 75 : 197–227 . arXiv : 1702.07908 . Bibcode :2017arXiv170207908V. doi :10.1007/s11227-017-1994-x. S2CID  14135321.
  166. ^ Ting Qin他「RLSに基づくCMACの学習アルゴリズム」Neural Processing Letters 19.1 (2004): 49-61.
  167. ^ Ting Qin, et al. 「Continuous CMAC-QRLS and its systolic array」. 2018年11月18日アーカイブ、Wayback Machine . Neural Processing Letters 22.1 (2005): 1-16.
  168. ^ Research, AI (2015年10月23日). 「音声認識における音響モデリングのためのディープニューラルネットワーク」airesearch.com . 2016年2月1日時点のオリジナルよりアーカイブ。2015年10月23日閲覧。
  169. ^ 「GPUは今のところAIアクセラレータ市場を引き続き支配している」InformationWeek、2019年12月。2020年6月10日時点のオリジナルよりアーカイブ。 2020年6月11日閲覧。
  170. ^ Ray, Tiernan (2019). 「AIは計算の本質そのものを変えつつある」ZDNet . 2020年5月25日時点のオリジナルよりアーカイブ。 2020年6月11日閲覧。
  171. ^ “AI and Compute”. OpenAI . 2018年5月16日. 2020年6月17日時点のオリジナルよりアーカイブ。 2020年6月11日閲覧。
  172. ^ 「HUAWEI、IFA 2017でモバイルAIの未来を明らかに | HUAWEI最新ニュース | HUAWEI Global」. consumer.huawei.com。
  173. ^ P, JouppiNorman; YoungCliff; PatilNishant; PattersonDavid; AgrawalGaurav; BajwaRaminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (2017-06-24). 「データセンター内におけるTensor Processing Unitのパフォーマンス分析」. ACM SIGARCH Computer Architecture News . 45 (2): 1– 12. arXiv : 1704.04760 . doi : 10.1145/3140659.3080246 .
  174. ^ Woodie, Alex (2021年11月1日). 「Cerebras、ディープラーニングワークロード向けアクセラレータを発表」. Datanami . 2022年8月3日閲覧。
  175. ^ 「Cerebras、2.6兆個のトランジスタを搭載した新型AIスーパーコンピューティングプロセッサを発表」VentureBeat . 2021年4月20日. 2022年8月3日閲覧。
  176. ^ マレガ、ギリェルメ・ミリアート;趙、延飛。アフサール、アフメット。王振宇。トリパティ、ムケシュ。ラデノビッチ、アレクサンドラ。キス、アンラス（2020）。 「原子レベルの薄い半導体に基づくロジック・イン・メモリ」。自然。587 (2): 72– 77。Bibcode :2020Natur.587...72M。土井：10.1038/s41586-020-2861-0。PMC 7116757。PMID  33149289。 
  177. ^ abc Feldmann, J.; Youngblood, N.; Karpov, M.; et al. (2021). 「統合光子テンソルを用いた並列畳み込み処理」. Nature . 589 (2): 52– 58. arXiv : 2002.00281 . doi :10.1038/s41586-020-03070-1. PMID :  33408373. S2CID  : 211010976.
  178. ^ Garofolo, JS; Lamel, LF; Fisher, WM; Fiscus, JG; Pallett, DS; Dahlgren, NL; Zue, V. (1993). TIMIT 音響・音声連続音声コーパス. 言語データコンソーシアム. doi :10.35111/17gk-bn40. ISBN 1-58563-019-5. 2023年12月27日閲覧。
  179. ^ ロビンソン、トニー（1991年9月30日）「反復性エラー伝播ネットワーク電話認識システムへのいくつかの改良」ケンブリッジ大学工学部技術報告書CUED/F-INFENG/TR82. doi :10.13140/RG.2.2.15418.90567.
  180. ^ Abdel-Hamid, O.; et al. (2014). 「音声認識のための畳み込みニューラルネットワーク」. IEEE/ACM Transactions on Audio, Speech, and Language Processing . 22 (10): 1533– 1545. Bibcode :2014ITASL..22.1533A. doi :10.1109/taslp.2014.2339736. S2CID  206602362. 2020年9月22日時点のオリジナルよりアーカイブ。 2018年4月20日閲覧。
  181. ^ Deng, L.; Platt, J. (2014). 「音声認識のためのアンサンブルディープラーニング」. Proc. Interspeech : 1915– 1919. doi :10.21437/Interspeech.2014-433. S2CID  15641618.
  182. ^ Tóth, Laszló (2015). 「階層的畳み込みディープMaxoutネットワークによる電話認識」(PDF) . EURASIP Journal on Audio, Speech, and Music Processing . 2015 25. doi : 10.1186/s13636-015-0068-3 . S2CID 217950236. 2020年9月24日時点のオリジナルより アーカイブ(PDF) . 2019年4月1日閲覧.
  183. ^ アーロン・ファン・デン・オールド;ディーレマン、サンダー。禅、ヘイガ。シモニャン、カレン。ビニャール、オリオール。グレイブス、アレックス。カルクブレンナー、ナル。先輩、アンドリュー。コライ州カブククオール (2016)。 「WaveNet: 生オーディオの生成モデル」。arXiv : 1609.03499 [cs.SD]。
  184. ^ 「WaveNet: 生の音声のための生成モデル」Google DeepMind . 2016年9月8日. 2025年7月31日閲覧。
  185. ^ ラティフ、シディク;ザイディ、アウン。クアヤウィトル、ヘリベルト。シャムシャド、ファハド。ショーカット、モアザム。ウサマ、ムハンマド。カディール、ジュナイド（2023）。 「音声処理におけるトランスフォーマー: 調査」。arXiv : 2303.11607 [cs.CL]。
  186. ^ マクミラン、ロバート (2014年12月17日). 「SkypeがAIを活用して驚くべき新言語翻訳機を開発 | WIRED」. Wired . 2017年6月8日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  187. ^ ハヌン、アウニ;ケース、カール。キャスパー、ジャレッド。カタンザーロ、ブライアン。ディアモス、グレッグ。エルセン、エーリッヒ。プレンジャー、ライアン。サシーシュ、サンジーブ。セングプタ、シュボー。コーツ、アダム。ン、アンドリュー Y (2014)。 「ディープスピーチ: エンドツーエンドの音声認識のスケールアップ」。arXiv : 1412.5567 [cs.CL]。
  188. ^ 「MNIST手書き数字データベース、Yann LeCun、Corinna Cortes、Chris Burges」yann.lecun.com。2014年1月13日時点のオリジナルよりアーカイブ。 2014年1月28日閲覧。
  189. ^ Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (2012年8月). 「交通標識分類のためのマルチカラムディープニューラルネットワーク」.ニューラルネットワーク. IJCNN 2011からの選抜論文. 32 : 333– 338. CiteSeerX 10.1.1.226.8219 . doi :10.1016/j.neunet.2012.02.023. PMID  22386783. 
  190. ^ チャオチャオ・ルー;シャオウ・タン（2014）。 「人間レベルを超えた顔認識」。arXiv : 1404.3840 [cs.CV]。
  191. ^ Nvidiaが「ディープラーニング」で訓練された車載コンピュータをデモ（2015年1月6日）、David Talbot、MIT Technology Review
  192. ^ abc GW Smith; Frederic Fol Leymarie (2017年4月10日). 「アーティストとしての機械：序論」Arts . 6 (4): 5. doi : 10.3390/arts6020005 .
  193. ^ abc Blaise Agüera y Arcas (2017年9月29日). 「機械知能時代の芸術」. Arts . 6 (4): 18. doi : 10.3390/arts6040018 .
  194. ^ Goldberg, Yoav; Levy, Omar (2014). 「word2vec 解説：Mikolov らによる負サンプリング単語埋め込み法の導出」arXiv : 1402.3722 [cs.CL].
  195. ^ ab Socher, Richard; Manning, Christopher. 「NLPのためのディープラーニング」(PDF) 。 2014年7月6日時点のオリジナルよりアーカイブ(PDF) 。 2014年10月26日閲覧。
  196. ^ Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). 「Parsing With Compositional Vector Grammars」(PDF) . Proceedings of the ACL 2013 Conference . 2014年11月27日時点のオリジナルよりアーカイブ(PDF) . 2014年9月3日閲覧.
  197. ^ Socher, R.; Perelygin, A.; Wu, J.; Chuang, J.; Manning, CD; Ng, A.; Potts, C. (2013年10月). 「感情ツリーバンク上の意味的構成性のための再帰的深層モデル」(PDF) . 2013年自然言語処理における経験的手法に関する会議議事録. 計算言語学協会. pp.  1631– 1642. doi :10.18653/v1/D13-1170. 2016年12月28日時点のオリジナルよりアーカイブ(PDF) . 2023年12月21日閲覧.
  198. ^ Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (2014年11月1日). 「情報検索のための畳み込みプーリング構造を備えた潜在的意味モデル」. Microsoft Research . 2017年10月27日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  199. ^ Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (2013年10月1日). 「クリックスルーデータを用いたWeb検索のための深層構造化セマンティックモデルの学習」. Microsoft Research . 2017年10月27日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  200. ^ Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D.; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). 「音声言語理解におけるスロットフィリングのためのリカレントニューラルネットワークの利用」IEEE Transactions on Audio, Speech, and Language Processing . 23 (3): 530– 539. Bibcode :2015ITASL..23..530M. doi :10.1109/taslp.2014.2383614. S2CID  1317136.
  201. ^ ab Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (2014年6月1日). 「翻訳モデリングのための連続フレーズ表現の学習」. Microsoft Research . 2017年10月27日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  202. ^ Brocardo, Marcelo Luiz; Traore, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). 「ディープビリーフネットワークシステムを用いた著者検証」. International Journal of Communication Systems . 30 (12) e3259. doi :10.1002/dac.3259. S2CID  40745740.
  203. ^ Karianpuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). 「大規模希少疾患疫学のための高精度情報抽出」. Journal of Translational Medicine . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634. PMID  36855134 . 
  204. ^ 「自然言語処理のためのディープラーニング：理論と実践（CIKM2014チュートリアル） - Microsoft Research」。Microsoft Research。2017年3月13日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  205. ^ Turovsky, Barak (2016年11月15日). 「翻訳で発見：Google翻訳でより正確で流暢な文章」. The Keyword Google Blog . 2017年4月7日時点のオリジナルよりアーカイブ。 2017年3月23日閲覧。
  206. ^ abcd Schuster, Mike; Johnson, Melvin; Thorat, Nikhil (2016年11月22日). 「Googleの多言語ニューラル機械翻訳システムによるゼロショット翻訳」. Google Research Blog . 2017年7月10日時点のオリジナルよりアーカイブ。 2017年3月23日閲覧。
  207. ^ Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin; Macherey, Klaus; Klingner, Jeff; Shah, Apurva; Johnson, Melvin; Liu, Xiaobing; Kaiser, Łukasz; Gouws, Stephan; Kato, Yoshikiyo; Kudo, Taku; Kazawa, Hideto; Stevens, Keith; Kurian, George; Patil, Nishant; Wang, Wei; Young, Cliff; Smith, Jason; Riesa, Jason; Rudnick, Alex; Vinyals, Oriol; Corrado, Greg; et al. (2016). 「Google のニューラル機械翻訳システム：人間翻訳と機械翻訳のギャップを埋める」arXiv : 1609.08144 [cs.CL].
  208. ^ Metz, Cade (2016年9月27日). 「AIの導入によりGoogle翻訳はこれまで以上に強力に」Wired . 2020年11月8日時点のオリジナルよりアーカイブ。 2017年10月12日閲覧。
  209. ^ ab Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). 「Web上およびWebのためのMT」(PDF) . 2017年3月29日時点のオリジナル(PDF)からアーカイブ。 2016年12月1日閲覧。
  210. ^ Arrowsmith, J; Miller, P (2013). 「治験監視：フェーズIIおよびフェーズIIIの脱落率 2011-2012」. Nature Reviews Drug Discovery . 12 (8): 569. doi : 10.1038/nrd4090 . PMID  23903212. S2CID  20246434.
  211. ^ Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; Qstarコンソーシアム; Shkedy, Z; Thas, O; Bender, A; Göhlmann, HW; Hochreiter, S (2015). 「創薬プロジェクトにおけるリード化合物最適化のためのトランスクリプトミクスの活用：QSTARプロジェクトから学んだ教訓」Drug Discovery Today . 20 (5): 505– 513. doi : 10.1016/j.drudis.2014.12.014 . hdl : 1942/18723 . PMID  25582842.
  212. ^ 「Merck Molecular Activity Challenge」. kaggle.com . 2020年7月16日時点のオリジナルよりアーカイブ。2020年7月16日閲覧。
  213. ^ 「QSAR予測のためのマルチタスクニューラルネットワーク | Data Science Association」www.datascienceassn.org。2017年4月30日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  214. ^ 「21世紀の毒物学：データチャレンジ」
  215. ^ “NCATSがTox21データチャレンジの受賞者を発表”. 2015年9月8日時点のオリジナルよりアーカイブ。2015年3月5日閲覧。
  216. ^ “NCATSがTox21データチャレンジの受賞者を発表”. 2015年2月28日時点のオリジナルよりアーカイブ。2015年3月5日閲覧。
  217. ^ Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (2015年10月9日). 「AtomNet：構造ベース創薬における生物活性予測のための深層畳み込みニューラルネットワーク」. arXiv : 1510.02855 [cs.LG].
  218. ^ ab 「トロントのスタートアップ企業が効果的な医薬品をより早く発見」『グローブ・アンド・メール』 2015年10月20日時点のオリジナルよりアーカイブ。 2015年11月9日閲覧。
  219. ^ 「スタートアップ企業がスーパーコンピューターを活用して治療法を模索」KQED Future of You 2015年5月27日。2015年12月24日時点のオリジナルよりアーカイブ。2015年11月9日閲覧。
  220. ^ ギルマー, ジャスティン; シェーンホルツ, サミュエル S.; ライリー, パトリック F.; ヴィニアルズ, オリオール; ダール, ジョージ E. (2017-06-12). 「量子化学のためのニューラルメッセージパッシング」. arXiv : 1704.01212 [cs.LG].
  221. ^ Zhavoronkov, Alex (2019). 「ディープラーニングによる強力なDDR1キナーゼ阻害剤の迅速な同定」Nature Biotechnology 37 ( 9): 1038– 1040. doi :10.1038/s41587-019-0224-x. PMID  31477924. S2CID  201716327.
  222. ^ グレゴリー・バーバー「AIが設計した分子が『薬のような』性質を示す」Wired。2020年4月30日時点のオリジナルよりアーカイブ。 2019年9月5日閲覧。
  223. ^ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013). Burges, CJC; Bottou, L.; Welling, M.; Ghahramani, Z.; Weinberger, KQ (eds.). Advances in Neural Information Processing Systems 26 (PDF) . Curran Associates, Inc. pp.  2643– 2651. 2017年5月16日時点のオリジナルよりアーカイブ(PDF) 。 2017年6月14日閲覧。
  224. ^ Feng, XY; Zhang, H.; Ren, YJ; Shang, PH; Zhu, Y.; Liang, YC; Guan, RC; Xu, D. (2019). 「バイオメディカル出版場所の選択のためのディープラーニングベースのレコメンダーシステム「Pubmender」：開発と検証研究」. Journal of Medical Internet Research . 21 (5) e12957. doi : 10.2196/12957 . PMC 6555124. PMID  31127715 . 
  225. ^ Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (2015年5月1日). 「推薦システムにおけるクロスドメインユーザーモデリングのためのマルチビューディープラーニングアプローチ」. Microsoft Research . 2018年1月25日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
  226. ^ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (2014年1月1日). 「遺伝子オントロジーアノテーション予測のためのディープオートエンコーダニューラルネットワーク」. 第5回ACMバイオインフォマティクス、計算生物学、健康情報科学会議議事録. ACM. pp.  533– 540. doi :10.1145/2649387.2649442. hdl :11311/964622. ISBN 978-1-4503-2894-4. S2CID  207217210. 2021年5月9日時点のオリジナルよりアーカイブ。2015年11月23日閲覧。
  227. ^ Sathyanarayana, Aarti (2016年1月1日). 「ウェアラブルデータを用いたディープラーニングによる睡眠の質の予測」. JMIR mHealth and uHealth . 4 (4): e125. doi : 10.2196/mhealth.6562 . PMC 5116102. PMID  27815231. S2CID  3821594. 
  228. ^ Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (2016年8月13日). 「心不全発症の早期検出のためのリカレントニューラルネットワークモデルの使用」. Journal of the American Medical Informatics Association . 24 (2): 361– 370. doi :10.1093/jamia/ocw112. ISSN  1067-5027. PMC 5391725. PMID 27521897  . 
  229. ^ 「DeepMindのタンパク質折り畳みAIが生物学における50年来の大きな課題を解決」MITテクノロジーレビュー。2024年5月10日閲覧。
  230. ^ Shead, Sam (2020年11月30日). 「DeepMind、タンパク質フォールディングAIで50年来の『壮大な課題』を解決」CNBC . 2024年5月10日閲覧。
  231. ^ ab Shalev, Y.; Painsky, A.; Ben-Gal, I. (2022). 「ニューラルジョイントエントロピー推定」(PDF) . IEEE Transactions on Neural Networks and Learning Systems . PP (4): 5488– 5500. arXiv : 2012.11197 . doi :10.1109/TNNLS.2022.3204919. PMID  36155469. S2CID  229339809.
  232. ^ リッチェンス、ギアルト;コーイ、ティスス。ベジノルディ、ババク・エテシャミ。セティオ、アルノー・アリンドラ・アディヨソ。チオンピ、フランチェスコ。ガフーリアン、モーセン。ファン・デル・ラーク、ジェロン・AWM。ファン・ギネケン、ブラム。サンチェス、クララ I. (2017 年 12 月)。 「医用画像解析におけるディープラーニングに関する調査」。医用画像解析。42 : 60–88.arXiv : 1702.05747 。​​ビブコード:2017arXiv170205747L。土井：10.1016/j.media.2017.07.005。PMID  28778026。S2CID 2088679  。
  233. ^ Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (2017). 「悪性腫瘍による細胞変化の検出のための深層畳み込みニューラルネットワーク」2017 IEEE International Conference on Computer Vision Workshops (ICCVW) . pp.  82– 89. doi :10.1109/ICCVW.2017.18. ISBN 978-1-5386-1034-3. S2CID  4728736. 2021年5月9日にオリジナルからアーカイブ。2019年11月12日閲覧。
  234. ^ Dong, Xin; Zhou, Yizhao; Wang, Lantian; Peng, Jingfeng; Lou, Yanbo; Fan, Yiqun (2020). 「ディープラーニングフレームワークに基づくハイブリッド型完全畳み込みニューラルネットワークを用いた肝臓がん検出」. IEEE Access . 8 : 129889–129898 . Bibcode :2020IEEEA...8l9889D. doi : 10.1109/ACCESS.2020.3006362 . ISSN  2169-3536. S2CID  220733699.
  235. ^ Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (2022-04-03). 「マルチモーダルニューラルネットワークに基づく異種データの融合と分析による色素性皮膚病変の認識システム」. Cancers . 14 (7): 1819. doi : 10.3390/cancers14071819 . ISSN  2072-6694. PMC 8997449. PMID 35406591  . 
  236. ^ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). 「ディープラーニングを用いたライフスタイル雑誌のInstagram投稿人気予測」2017年 第2回 国際通信システム・コンピューティング・ITアプリケーション会議 (CSCITA) . pp.  174– 177. doi :10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID  35350962。
  237. ^ 「ディープラーニングによる古い画像のカラー化と復元」FloydHubブログ、2018年11月13日。2019年10月11日時点のオリジナルよりアーカイブ。 2019年10月11日閲覧。
  238. ^ Schmidt, Uwe; Roth, Stefan. Shrinkage Fields for Effective Image Restoration (PDF) . Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Con​​ference on. 2018年1月2日時点のオリジナルよりアーカイブ(PDF) . 2018年1月1日閲覧。
  239. ^ Kleanthous, Christos; Chatzis, Sotirios (2020). 「付加価値税監査案件選択のためのゲート付き混合変分オートエンコーダ」. Knowledge-Based Systems . 188 105048. doi :10.1016/j.knosys.2019.105048. S2CID  204092079.
  240. ^ Czech, Tomasz (2018年6月28日). 「ディープラーニング：マネーロンダリング検知の新たなフロンティア」Global Banking and Finance Review . 2018年11月16日時点のオリジナルよりアーカイブ。 2018年7月15日閲覧。
  241. ^ Nuñez, Michael (2023年11月29日). 「Google DeepMindの材料AIはすでに220万個の新しい結晶を発見している」. VentureBeat . 2023年12月19日閲覧。
  242. ^ Merchant, Amil; Batzner, Simon; Schoenholz, Samuel S.; Aykol, Muratahan; Cheon, Gowoon; Cubuk, Ekin Dogus (2023年12月). 「材料発見のためのディープラーニングのスケーリング」. Nature . 624 (7990): 80– 85. Bibcode :2023Natur.624...80M. doi : 10.1038/s41586-023-06735-9 . ISSN  1476-4687. PMC 10700131. PMID 38030720  . 
  243. ^ Peplow, Mark (2023年11月29日). 「Google AIとロボットが協力して新素材を開発」Nature . doi :10.1038/d41586-023-03745-5. PMID  38030771. S2CID  265503872.
  244. ^ abc 「陸軍研究者、ロボット訓練用の新アルゴリズムを開発」EurekAlert! 2018年8月28日時点のオリジナルよりアーカイブ。 2018年8月29日閲覧。
  245. ^ Raissi, M.; Perdikaris, P.; Karniadakis, GE (2019-02-01). 「物理学に基づくニューラルネットワーク：非線形偏微分方程式を含む順問題および逆問題を解くためのディープラーニングフレームワーク」. Journal of Computational Physics . 378 : 686– 707. Bibcode :2019JCoPh.378..686R. doi : 10.1016/j.jcp.2018.10.045 . ISSN  0021-9991. OSTI  1595805. S2CID  57379996.
  246. ^ Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (2020-03-01). 「高速流れのための物理学に基づくニューラルネットワーク」.応用力学・工学におけるコンピュータ手法. 360 112789. Bibcode :2020CMAME.360k2789M. doi : 10.1016/j.cma.2019.112789 . ISSN  0045-7825. S2CID  212755458.
  247. ^ Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em (2020-02-28). 「隠れた流体力学：流れの可視化から速度場と圧力場を学ぶ」. Science . 367 (6481): 1026– 1030. Bibcode :2020Sci...367.1026R. doi :10.1126/science.aaw4741. PMC 7219083. PMID 32001523  . 
  248. ^ Huang, Yunfei、Greenberg, David S. 「[https://arxiv.org/pdf/2506.05513 幾何学的制約と物理的制約が相乗的にニューラルPDEサロゲートを強化する]」第42回国際機械学習会議議事録。ACM、2025年。
  249. ^ Han, J.; Jentzen, A.; E, W. (2018). 「ディープラーニングを用いた高次元偏微分方程式の解法」. Proceedings of the National Academy of Sciences . 115 (34): 8505– 8510. arXiv : 1707.02568 . Bibcode :2018PNAS..115.8505H. doi : 10.1073/pnas.1718942115 . PMC 6112690. PMID  30082389 . 
  250. ^ Oktem, Figen S.; Kar, Oğuzhan Fatih; Bezek, Can Deniz; Kamalabadi, Farzad (2021). 「回折レンズと学習再構成による高解像度マルチスペクトルイメージング」. IEEE Transactions on Computational Imaging . 7 : 489– 504. arXiv : 2008.11625 . Bibcode :2021ITCI....7..489O. doi :10.1109/TCI.2021.3075349. ISSN  2333-9403. S2CID  235340737.
  251. ^ Bernhardt, Melanie; Vishnevskiy, Valery; Rau, Richard; Goksel, Orcun (2020年12月). 「マルチドメインシミュレーションによる変分ネットワークのトレーニング：音速画像再構成」. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control . 67 (12): 2584– 2594. arXiv : 2006.14395 . Bibcode :2020ITUFF..67.2584B. doi :10.1109/TUFFC.2020.3010186. ISSN  1525-8955. PMID  32746211. S2CID  220055785.
  252. ^ ラム、レミ;サンチェス・ゴンザレス、アルバロ。ウィルソン、マシュー。ウィルンズバーガー、ピーター。フォルトゥナート、メイレ。アレ、フェラン。ラヴリ、スーマン。エワルズ、ティモ。ザック・イートン・ローゼン。胡、威華。メローズ、アレクサンダー。ホイヤー、ステファン。ホランド、ジョージ。ビニャール、オリオール。ストット、ジャックリン (2023-12-22)。 「上手に学ぶ世界の中期天気予報」。科学。382 (6677): 1416 – 1421。arXiv : 2212.12794。Bibcode :2023Sci...382.1416L。土井：10.1126/science.adi2336。ISSN  0036-8075。PMID  37962497。
  253. ^ Sivakumar, Ramakrishnan (2023年11月27日). 「GraphCast：天気予報のブレークスルー」. Medium . 2024年5月19日閲覧。
  254. ^ Galkin, F.; Mamoshina, P.; Kochetov, K.; Sidorenko, D.; Zhavoronkov, A. (2020). 「DeepMAge：ディープラーニングで開発されたメチル化老化時計」. Aging and Disease . doi : 10.14336/AD .
  255. ^ Utgoff, PE; Stracuzzi, DJ (2002). 「多層学習」.ニューラル・コンピュテーション. 14 (10): 2497– 2529. doi :10.1162/08997660260293319. PMID  12396572. S2CID  1119517.
  256. ^ エルマン、ジェフリー・L. (1998). 『生得性の再考：発達におけるコネクショニスト的視点』MIT出版. ISBN 978-0-262-55030-7。
  257. ^ Shrager, J.; Johnson, MH (1996). 「動的可塑性は単純な皮質配列における機能発現に影響を与える」. Neural Networks . 9 (7): 1119– 1129. doi :10.1016/0893-6080(96)00033-0. PMID  12662587.
  258. ^ Quartz, SR; Sejnowski, TJ (1997). 「認知発達の神経基盤：構成主義的マニフェスト」.行動・脳科学. 20 (4): 537– 556. CiteSeerX 10.1.1.41.7854 . doi :10.1017/s0140525x97001581. PMID  10097006. S2CID  5818342. 
  259. ^ S. Blakeslee、「脳の初期成長において、タイムテーブルが重要かもしれない」、ニューヨークタイムズ、科学面、pp. B5-B6、1995年。
  260. ^ Mazzoni, P.; Andersen, RA; Jordan, MI (1991年5月15日). 「ニューラルネットワークのための生物学的にもっともらしい学習則」. Proceedings of the National Academy of Sciences . 88 (10): 4433– 4437. Bibcode :1991PNAS...88.4433M. doi : 10.1073/pnas.88.10.4433 . ISSN  0027-8424. PMC 51674. PMID 1903542  . 
  261. ^ O'Reilly, Randall C. (1996年7月1日). 「局所活性化差を用いた生物学的に妥当なエラー駆動型学習：一般化再循環アルゴリズム」. Neural Computation . 8 (5): 895–938 . doi :10.1162/neco.1996.8.5.895. ISSN  0899-7667. S2CID  2376781.
  262. ^ Testolin, Alberto; Zorzi, Marco (2016). 「確率モデルと生成ニューラルネットワーク：正常および障害のある神経認知機能をモデル化する統一的な枠組みに向けて」. Frontiers in Computational Neuroscience . 10 : 73. doi : 10.3389/fncom.2016.00073 . ISSN  1662-5188. PMC 4943066. PMID 27468262.  S2CID 9868901  . 
  263. ^ Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (2017年9月). 「文字認識は教師なしディープラーニングと自然画像特徴の再利用から生まれる」. Nature Human Behaviour . 1 (9): 657– 664. doi :10.1038/s41562-017-0186-2. ISSN  2397-3374. PMID  31024135. S2CID  24504018.
  264. ^ Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (2011年11月3日). 「サンプリングとしての神経ダイナミクス：スパイキングニューロンの再帰ネットワークにおける確率的計算モデル」. PLOS Computational Biology . 7 (11) e1002211. Bibcode :2011PLSCB...7E2211B. doi : 10.1371/journal.pcbi.1002211 . ISSN  1553-7358. PMC 3207943. PMID 22096452.  S2CID 7504633  . 
  265. ^ Cash, S.; Yuste, R. (1999年2月). 「CA1錐体ニューロンによる興奮性入力の線形和」. Neuron . 22 (2): 383– 394. doi : 10.1016/s0896-6273(00)81098-3 . ISSN  0896-6273. PMID  10069343. S2CID  14663106.
  266. ^ Olshausen, B; Field, D (2004年8月1日). 「感覚入力のスパースコーディング」Current Opinion in Neurobiology . 14 (4): 481– 487. doi :10.1016/j.conb.2004.07.007. ISSN  0959-4388. PMID  15321069. S2CID  16560320.
  267. ^ Yamins, Daniel LK; DiCarlo, James J (2016年3月). 「目標駆動型ディープラーニングモデルを用いた感覚皮質の理解」Nature Neuroscience . 19 (3​​): 356– 365. doi :10.1038/nn.4244. ISSN  1546-1726. PMID  26906502. S2CID  16970545.
  268. ^ ゾルジ、マルコ、テストリン、アルベルト（2018年2月19日）「数感覚の起源に関する創発的視点」Phil. Trans. R. Soc. B. 373 ( 1740) 20170043. doi :10.1098/rstb.2017.0043. ISSN  0962-8436. PMC 5784047. PMID 29292348.  S2CID 39281431  . 
  269. ^ Güçlü, Umut; van Gerven, Marcel AJ (2015年7月8日). 「ディープニューラルネットワークは腹側脊髄路を横切る神経表現の複雑性における勾配を明らかにする」Journal of Neuroscience . 35 (27): 10005– 10014. arXiv : 1411.6422 . doi :10.1523/jneurosci.5023-14.2015. PMC 6605414. PMID  26157000 . 
  270. ^ Metz, C. (2013年12月12日). 「Facebookの『ディープラーニング』の達人が明かすAIの未来」Wired . 2014年3月28日時点のオリジナルよりアーカイブ。 2017年8月26日閲覧。
  271. ^ ギブニー、エリザベス (2016). 「Google AIアルゴリズム、古代囲碁を制覇」. Nature . 529 (7587): 445– 446.書誌コード:2016Natur.529..445G. doi : 10.1038/529445a . PMID  26819021. S2CID  4460235.
  272. ^ シルバー、デヴィッド; Huang, アジャ;マディソン、クリス・J。グエズ、アーサー。シフレ、ローラン。ドリーシェ、ジョージ・ヴァン・デン。シュリットヴィーザー、ジュリアン。アントノグルー、イオアニス。パニールシェルヴァム、ヴェーダ。マーク・ランクトット。ディーレマン、サンダー。グルー、ドミニク。ナム、ジョン。カルクブレンナー、ナル。Sutskever, イリヤ;リリックラップ、ティモシー。リーチ、マドレーヌ。カヴククオール、コライ州。グライペル、トール。ハサビス、デミス（2016年1月28日）。 「ディープ ニューラル ネットワークとツリー検索で囲碁をマスターする」。自然。529 (7587): 484–489。書誌コード:2016Natur.529..484S。doi :10.1038/nature16961. ISSN  0028-0836. PMID  26819042. S2CID  515925.アクセスが閉じられたアイコン
  273. ^ 「Google DeepMindアルゴリズム、ディープラーニングなどを活用して囲碁を制覇 | MIT Technology Review」。MIT Technology Review。2016年2月1日時点のオリジナルよりアーカイブ。 2016年1月30日閲覧。
  274. ^ Metz, Cade (2017年11月6日). 「AI研究者がイーロン・マスク研究所を離れ、ロボット工学のスタートアップを立ち上げる」ニューヨーク・タイムズ. 2019年7月7日時点のオリジナルよりアーカイブ。 2019年7月5日閲覧。
  275. ^ Bradley Knox, W.; Stone, Peter (2008). 「TAMER: 評価的強化学習によるエージェントの手動トレーニング」2008年第7回IEEE国際開発学習会議. pp.  292– 297. doi :10.1109/devlrn.2008.4640845. ISBN 978-1-4244-2661-4. S2CID  5613334。
  276. ^ 「アルゴリズムと対話する：AIはより速く学習するようになる」governmentciomedia.com 2018年5月16日。2018年8月28日時点のオリジナルよりアーカイブ。 2018年8月29日閲覧。
  277. ^ Marcus, Gary (2018年1月14日). 「ディープラーニングに対する懐疑論の擁護」ゲイリー・マーカス. 2018年10月12日時点のオリジナルよりアーカイブ。2018年10月11日閲覧。
  278. ^ ウィル・ナイト（2017年3月14日）「DARPAはAIのブラックボックスを解明しようとするプロジェクトに資金提供」MITテクノロジーレビュー。2019年11月4日時点のオリジナルよりアーカイブ。 2017年11月2日閲覧。
  279. ^ Alexander Mordvintsev、Christopher Olah、Mike Tyka (2015年6月17日). 「インセプション主義：ニューラルネットワークの深掘り」. Google Research Blog. 2015年7月3日時点のオリジナルよりアーカイブ。 2015年6月20日閲覧。
  280. ^ Alex Hern (2015年6月18日). 「そう、アンドロイドは電気羊の夢を見る」. The Guardian . 2015年6月19日時点のオリジナルよりアーカイブ。2015年6月20日閲覧。
  281. ^ 高橋、カルロス一成;フィゲイレード、フリオ・セザール・バストス・デ;ファヴァレット、ホセ・エドゥアルド・リッチャルディ（2023-03-24）。 「検索傾向によるディープラーニングの普及: 国レベルの分析」。未来研究研究ジャーナル: 傾向と戦略。15 (1): e0695 – e0695。土井：10.24023/FutureJournal/2175-5825/2023.v15i1.695。ISSN  2175-5825。
  282. ^ abc Goertzel, Ben (2015). 「今日のディープラーニングアルゴリズムの病理の根底には深い理由があるのか​​？」(PDF) . 2015年5月13日時点のオリジナルよりアーカイブ(PDF) . 2015年5月10日閲覧。
  283. ^ Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). 「ディープニューラルネットワークは簡単に騙される：認識できない画像に対する高信頼予測」arXiv : 1412.1897 [cs.CV].
  284. ^ セゲディ、クリスチャン;ザレンバ、ヴォイチェフ。スツケヴァー、イリヤ。ブルーナ、ジョアン。エルハン、ドゥミトル。グッドフェロー、イアン。ファーガス、ロブ (2013)。 「ニューラルネットワークの興味深い特性」。arXiv : 1312.6199 [cs.CV]。
  285. ^ Zhu, SC; Mumford, D. (2006). 「画像の確率的文法」. Found. Trends Comput. Graph. Vis . 2 (4): 259– 362. CiteSeerX 10.1.1.681.2190 . doi :10.1561/0600000018. 
  286. ^ ミラー、GA、N. チョムスキー、「パターン概念」。ミシガン大学パターン検出会議論文。1957年。
  287. ^ Eisner, Jason. 「再帰構造の深層学習：文法誘導」。2017年12月30日時点のオリジナルよりアーカイブ。 2015年5月10日閲覧。
  288. ^ 「ハッカーはすでに人工知能を武器化し始めている」Gizmodo 2017年9月11日。2019年10月11日時点のオリジナルよりアーカイブ。 2019年10月11日閲覧。
  289. ^ 「ハッカーはAIに愚かなミスを強いる方法」The Daily Dot、2018年6月18日。2019年10月11日時点のオリジナルよりアーカイブ。 2019年10月11日閲覧。
  290. ^ abcde 「AIは騙されやすい――なぜ変化が必要なのか」Singularity Hub 2017年10月10日。2017年10月11日時点のオリジナルよりアーカイブ。 2017年10月11日閲覧。
  291. ^ Gibney, Elizabeth (2017). 「フェイク動画を見抜く科学者」Nature . doi :10.1038/nature.2017.22784. 2017年10月10日時点のオリジナルよりアーカイブ。 2017年10月11日閲覧。
  292. ^ トゥバロ、パオラ（2020年）「人工知能は誰の知能なのか？」グローバル・ダイアログ：38-39ページ。
  293. ^ ab Mühlhoff, Rainer (2019年11月6日). 「人間支援型人工知能：あるいは、人間の脳内で大規模計算をいかに実行させるか？機械学習のメディア社会学に向けて」. New Media & Society . 22 (10): 1868– 1884. doi : 10.1177/1461444819885334 . ISSN  1461-4448. S2CID  209363848.

さらに読む