畳み込みニューラルネットワーク

畳み込みニューラルネットワーク（CNN ）は、フィルタ（またはカーネル）最適化によって特徴を学習するフィードフォワードニューラルネットワークの一種です。このタイプの深層学習ネットワークは、テキスト、画像、音声など、さまざまな種類のデータの処理と予測に応用されてきました。 [ 1 ] CNNは、コンピュータービジョン[ 2 ]と画像処理における深層学習ベースのアプローチにおける事実上の標準であり、最近ではトランスフォーマーなどの新しい深層学習アーキテクチャに置き換えられました。

初期のニューラルネットワークにおけるバックプロパゲーションで見られる勾配消失や勾配爆発は、より少ない接続で重みを共有することによる正則化によって防止されます。 [ 3 ] [ 4 ]例えば、全結合層の各ニューロンでは、100×100ピクセルの画像を処理するのに10,000個の重みが必要になります。しかし、カスケード畳み込み（または相互相関）カーネルを適用すると、[ 5 ] [ 6 ] 5×5サイズのタイルを処理するのに必要な畳み込み層ごとに25個の重みのみになります。[ 7 ] [ 8 ]上位層の特徴は、下位層の特徴と比較して、より広いコンテキストウィンドウから抽出されます。

CNN の用途には次のようなものがあります。

CNNはシフト不変または空間不変の人工ニューラルネットワークとも呼ばれ、入力特徴に沿ってスライドし、特徴マップと呼ばれる並進等変応答を提供する畳み込みカーネルまたはフィルタの共有重みアーキテクチャに基づいています。 [ 14 ] [ 15 ]直感に反して、ほとんどの畳み込みニューラルネットワークは、入力に適用するダウンサンプリング操作のため、並進に対して不変ではありません。 [ 16 ]

フィードフォワードニューラルネットワークは通常、完全接続ネットワークです。つまり、ある層の各ニューロンは次の層のすべてのニューロンに接続されています。これらのネットワークの「完全接続」は、データの過適合を引き起こしやすい傾向があります。正規化、つまり過適合を防ぐための一般的な方法としては、トレーニング中にパラメータにペナルティを課す（重み減衰など）か、接続性を調整する（接続のスキップ、ドロップアウトなど）ことが挙げられます。堅牢なデータセットは、CNNが、データの少ないデータセットのバイアスではなく、特定のデータセットを特徴付ける一般化された原理を学習する可能性を高めます。[ 17 ]

畳み込みネットワークは、ニューロン間の接続パターンが動物の視覚皮質の構造に似ているという点で、生物学的プロセスにヒントを得たものです[ 18 ] [ 19 ] [ 20 ] [ 21 ]。個々の皮質ニューロンは、受容野と呼ばれる視野の限られた領域内の刺激にのみ反応します。異なるニューロンの受容野は部分的に重なり合い、視野全体を覆うように配置されています。

CNNは、他の画像分類アルゴリズムと比較して、比較的少ない前処理を必要とします。これは、ネットワークが自動学習によってフィルター（またはカーネル）を最適化することを学習することを意味します。一方、従来のアルゴリズムでは、これらのフィルターは手動で設計されます。これにより、プロセスが簡素化および自動化され、効率性とスケーラビリティが向上し、人的介入によるボトルネックを克服できます。

建築

LeNet (1995) とAlexNet (2012) の畳み込み、プーリング、密層の比較

畳み込みニューラルネットワークは、入力層、隠れ層、出力層から構成される。畳み込みニューラルネットワークにおいて、隠れ層には畳み込みを実行する1つ以上の層が含まれる。典型的には、畳み込みカーネルとその層の入力行列とのドット積を計算する層が含まれる。この積は通常フロベニウスの内積であり、その活性化関数はReLUであるのが一般的である。畳み込みカーネルが層の入力行列に沿って移動すると、畳み込み演算によって特徴マップが生成され、それが次の層の入力となる。この後、プーリング層、全結合層、正規化層などの層が続く。ここで注目すべきは、畳み込みニューラルネットワークが整合フィルタにどれほど近いかということである。[ 22 ]

畳み込み層

CNN では、入力は次の形状のテンソルです。

(入力数) × (入力高さ) × (入力幅) × (入力チャンネル数)

畳み込み層を通過すると、画像は次のような形状の特徴マップ（活性化マップとも呼ばれる）に抽象化されます。

(入力数) × (特徴マップの高さ) × (特徴マップの幅) × (特徴マップのチャンネル数)。

畳み込み層は入力を畳み込み、その結果を次の層に渡します。これは、視覚野のニューロンが特定の刺激に反応するのと似ています。[ 23 ]各畳み込みニューロンは、自身の受容野のデータのみを処理します。

1次元畳み込みニューラルネットワークのフィードフォワードの例

全結合フィードフォワードニューラルネットワークは特徴の学習やデータの分類に使用できますが、このアーキテクチャは一般に、各ピクセルが関連する入力特徴であるため、膨大な数のニューロンを必要とする大きな入力（例：高解像度画像）には実用的ではありません。100 × 100 サイズの画像の全結合層では、第 2 層の各ニューロンに 10,000 個の重みが設定されます。畳み込みによって自由パラメータの数が削減され、ネットワークをより深くすることができます。[ 7 ]たとえば、5 × 5 のタイリング領域を使用し、それぞれに同じ共有重みを設定すると、必要なニューロンは 25 個だけです。共有重みを使用するとパラメータの数が大幅に少なくなるため、初期のニューラルネットワークでバックプロパゲーション中に見られた勾配消失や勾配爆発の問題を回避するのに役立ちます。[ 3 ] [ 4 ]

処理速度を向上させるために、標準的な畳み込み層を、深さ方向に分離可能な畳み込み層に置き換えることができます。 [ 24 ]これは、深さ方向の畳み込みとそれに続く点方向の畳み込みに基づいています。深さ方向の畳み込みは、入力テンソルの各チャネルに独立して適用される空間畳み込みであり、点方向の畳み込みはカーネル の使用に限定された標準的な畳み込みです。1×1{\displaystyle 1\times 1}

プーリング層

畳み込みネットワークには、従来の畳み込み層に加えて、ローカル プーリング層やグローバル プーリング層が含まれる場合があります。プーリング層は、ある層のニューロン クラスターの出力を次の層の 1 つのニューロンに結合することで、データの次元を削減します。ローカル プーリングは小さなクラスターを結合し、2 × 2 などのタイリング サイズが一般的に使用されます。グローバル プーリングは、特徴マップのすべてのニューロンに作用します。[ 25 ] [ 26 ]よく使用されるプーリングの種類には、最大プーリングと平均プーリングの 2 つがあります。最大プーリングでは、特徴マップ内のニューロンの各ローカル クラスターの最大値が使用されます。[ 27 ] [ 28 ]平均プーリングでは、平均値が使用されます。

完全接続層

全結合層は、ある層のすべてのニューロンを別の層のすべてのニューロンに接続します。これは従来の多層パーセプトロンニューラルネットワーク（MLP）と同じです。平坦化された行列は全結合層を通過して画像を分類します。

受容野

ニューラル ネットワークでは、各ニューロンは前の層のいくつかの場所から入力を受け取ります。畳み込み層では、各ニューロンは、ニューロンの受容野と呼ばれる前の層の限られた領域からのみ入力を受け取ります。通常、この領域は正方形です (たとえば、5 x 5 ニューロン)。一方、完全結合層では、受容野は前の層全体です。したがって、各畳み込み層では、各ニューロンは前の層よりも広い領域から入力を受け取ります。これは、ピクセルの値だけでなくその周囲のピクセルも考慮に入れて畳み込みを何度も適用するためです。膨張層を使用する場合、受容野内のピクセル数は一定のままですが、複数の層の効果を組み合わせることでその次元が大きくなるにつれて、フィールドはよりまばらになります。

受容野サイズを所望の大きさに操作するために、標準的な畳み込み層以外の手法もいくつか存在します。例えば、アトラス畳み込み層や膨張畳み込み層[ 29 ] [ 30 ]は、可視領域と不感領域を交互に配置することで、パラメータ数を増やすことなく受容野サイズを拡大します。さらに、単一の膨張畳み込み層は複数の膨張率を持つフィルターで構成することができ[ 31 ] 、これにより受容野サイズを可変にすることができます。

重量

ニューラルネットワーク内の各ニューロンは、前層の受容野から受け取った入力値に特定の関数を適用することで出力値を計算します。入力値に適用される関数は、重みとバイアス（通常は実数）のベクトルによって決定されます。学習は、これらのバイアスと重みを反復的に調整することで行われます。

重みとバイアスのベクトルはフィルターと呼ばれ、入力の特定の特徴（例えば、特定の形状）を表します。CNNの特徴は、多くのニューロンが同じフィルターを共有できることです。これにより、各受容野が独自のバイアスとベクトルの重みを持つのとは異なり、フィルターを共有するすべての受容野で単一のバイアスと単一の重みベクトルが使用されるため、メモリ使用量が削減されます。 [ 32 ]

デコンボリューション

逆畳み込みニューラルネットワークは本質的にCNNの逆であり、逆畳み込み層と逆プーリング層で構成されています。[ 33 ]

逆畳み込み層は畳み込み層の転置です。具体的には、畳み込み層は行列との乗算として表すことができ、逆畳み込み層はその行列の転置との乗算として表すことができます。[ 34 ]

アンプーリング層は層を拡張します。最大アンプーリング層は最も単純で、各エントリを複数回コピーするだけです。例えば、2行2列の最大アンプーリング層は です。 [×]↦[××××]{\displaystyle [x]\mapsto {\begin{bmatrix}x&x\\x&x\end{bmatrix}}}

デコンボリューション層は画像生成に使用されます。デフォルトでは周期的なチェッカーボード状のアーティファクトが生成されますが、これはアップスケールしてから畳み込むことで修正できます。[ 35 ]

歴史

CNNは、生物の脳が視覚処理を行う方法とよく比較されます。[ 36 ]

視覚皮質の受容野

1950年代と1960年代のヒューベルとヴィーゼルの研究は、ネコの視覚皮質には視野の小さな領域に個別に反応するニューロンが含まれていることを示しました。眼球が動いていない場合、視覚刺激が単一のニューロンの発火に影響を与える視覚空間の領域は、そのニューロンの受容野として知られています。[ 37 ]隣接する細胞は、類似した、あるいは重なり合う受容野を持っています。受容野の大きさと位置は皮質全体で系統的に変化し、視覚空間の完全な地図を形成します。各半球の皮質は、対側の視野を表しています。

1968年の論文では、脳内に2つの基本的な視覚細胞の種類が特定されました。[ 19 ]

フーベルとヴィーゼルはまた、パターン認識タスクに使用するために、これら2種類の細胞のカスケードモデルを提案した。[ 38 ] [ 37 ]

福島の視覚モデルにおけるアナログ閾値要素

1969年、福島邦彦は、前述のヒューベルとヴィーゼルの研究に着想を得た多層視覚特徴検出ネットワークを発表しました。このネットワークでは、「ある層内のすべての要素は同じ相互接続係数セットを持ち、要素の配置と相互接続は、ある層全体にわたって均一である」という特徴が見られます。これは畳み込みネットワークの本質的な核心ですが、重みは学習されていません。同論文で、福島はReLU（Rectified Linear Unit）活性化関数も発表しました。[ 39 ] [ 40 ]

学習可能なCNNアーキテクチャの起源であるネオコグニトロン

「ネオコグニトロン」[ 18 ]は1980年に福島によって導入されました。[ 20 ] [ 28 ] [ 41 ] ネオコグニトロンは2つの基本的なタイプの層を導入しました。

  • 「S層」：共有重み受容野層（後に畳み込み層と呼ばれる）で、前層のパッチを覆う受容野を持つユニットを含む。共有重み受容野グループ（ネオコグニトロン用語では「平面」）はしばしばフィルターと呼ばれ、通常、1つの層には複数のフィルターが含まれる。
  • 「C層」：ダウンサンプリング層であり、受容野が前の畳み込み層のパッチを覆うユニットを含む。このようなユニットは通常、パッチ内のユニットの活性化の加重平均を計算し、やや大きなパッチと層内の異なるフィルターからプールされた抑制（除算正規化）を適用し、飽和活性化関数を適用する。パッチの重みは非負であり、元のネオコグニトロンでは学習できない。ダウンサンプリングと競合抑制は、視覚シーン内の物体がずれている場合でも、特徴や物体を分類するのに役立つ。

ネオコグニトロンの重みを訓練するために、数十年にわたっていくつかの教師あり学習と教師なし学習のアルゴリズムが提案されてきました。 [ 18 ]しかし、今日ではCNNアーキテクチャは通常、バックプロパゲーションを通じて訓練されます。

福島のReLU活性化関数は、重みがすべて非負であったため、彼のネオコグニトロンでは使用されず、代わりに側方抑制が使用された。整流子は、CNNやディープニューラルネットワーク全般において非常に人気のある活性化関数となっている。[ 42 ]

時間における畳み込み

ニューラルネットワークにおいて「畳み込み」という用語が初めて登場するのは、1987年の第1回神経情報処理システム会議における本間俊輝、レス・アトラス、ロバート・マークス2世の論文である。彼らの論文では、時間的に乗算を畳み込みに置き換えることでシフト不変性を実現し、信号処理概念であるフィルタに着想を得て、より直接的にフィルタと結びついた形で、音声認識タスクでその有効性を実証した。[ 8 ]また、データ学習可能なシステムとして、畳み込みは重みの反転が最終的な学習関数に影響を与えないため、本質的に相関と等価であると指摘した（「便宜上、*を畳み込みではなく相関と表記する。a(t)とb(t)の畳み込みは、a(-t)とb(t)の相関と等価である点に注意されたい。」）。[ 8 ]現代のCNN実装では通常、相関が行われ、便宜上、ここでも畳み込みと呼ばれている。

時間遅延ニューラルネットワーク

時間遅延ニューラルネットワーク（TDNN）は、1987年にアレックス・ワイベルらによって音素認識のために導入され、シフト不変性を示す初期の畳み込みネットワークであった。 [ 43 ] TDNNは1次元畳み込みニューラルネットワークであり、畳み込みはデータの時間軸に沿って行われる。これは、バックプロパゲーションを用いた勾配降下法による学習と重み共有を組み合わせた最初のCNNである。[ 44 ]したがって、ネオコグニトロンと同様にピラミッド構造を採用しながらも、重みの局所的最適化ではなく、全体的最適化を実行した。[ 43 ]

TDNNは、時間次元に沿って重みを共有する畳み込みネットワークである。[ 45 ] TDNNは音声信号を時間不変に処理することを可能にする。1990年にハンプシャーとワイベルは、2次元畳み込みを実行する変種を発表した。[ 46 ]これらのTDNNはスペクトログラム上で動作するため、結果として得られる音素認識システムは、ネオコグニトロンで処理された画像と同様に、時間と周波数の両方の変化に対して不変であった。

TDNNは遠距離音声認識の性能を向上させた。[ 47 ]

勾配降下法で訓練されたCNNによる画像認識

デンカーら（1989）は、手書きの郵便番号を認識するための2次元CNNシステムを設計した。[ 48 ]しかし、畳み込みのカーネル係数を決定するための効率的なトレーニング方法がなかったため、すべての係数を手間をかけて手作業で設計する必要があった。[ 49 ]

Waibel ら (1987) による 1-D CNN のトレーニングの進歩を受けて、Yann LeCunら (1989) [ 49 ]はバックプロパゲーションを使用して手書きの数字の画像から直接畳み込みカーネル係数を学習しました。学習は完全に自動化され、手動での係数設計よりも優れたパフォーマンスを発揮し、より広範囲の画像認識問題と画像タイプに適していました。Wei Zhang ら (1988) [ 14 ] [ 15 ]は、バックプロパゲーションを使用してアルファベット認識用の CNN の畳み込みカーネルを学習しました。このモデルは、1990 年代前半に CNN という名前が作られる前は、シフト不変パターン認識ニューラル ネットワークと呼ばれていました。Wei Zhang らはまた、最後の完全結合層のない同じ CNN を医療用画像オブジェクトのセグメンテーション (1991) [ 50 ]とマンモグラムでの乳がん検出 (1994) に適用しました。[ 51 ]

このアプローチは現代のコンピューター ビジョンの基礎となりました。

最大プーリング

1990年、山口らは、与えられた領域の最大値を計算し伝播させる固定フィルタリング操作である最大プーリングの概念を導入した。彼らは、TDNNと最大プーリングを組み合わせることで、話者非依存の孤立単語認識システムを実現した。[ 27 ]彼らのシステムでは、単語ごとに複数のTDNN（各音節に1つずつ）が使用されていた。入力信号に対する各TDNNの結果は最大プーリングを用いて結合され、プーリング層の出力は実際の単語分類を実行するネットワークに渡された。

ネオコグニトロンの変種であるクレセプトロンでは、福島の抑制と飽和を伴う空間平均化を使用する代わりに、J. Wengらは1993年に最大プーリングを使用し、ダウンサンプリングユニットがそのパッチ内のユニットの活性化の最大値を計算し、[ 52 ]この方法を視覚野に導入しました。

マックスプーリングは現代のCNNでよく使われています。[ 53 ]

LeNet-5

LeCunらが1995年に発表した7層畳み込みネットワークの先駆者であるLeNet-5 [ 54 ]は、32×32ピクセルの画像にデジタル化された小切手上の手書き数字を分類します。高解像度の画像を処理するには、より大規模でより多くの層の畳み込みニューラルネットワークが必要となるため、この手法は利用可能な計算資源によって制約を受けます。

このシステムは、他の市販の優遇額読み取りシステム（1995年時点）よりも優れていました。このシステムはNCRの小切手読み取りシステムに統合され、1996年6月からアメリカの複数の銀行に導入され、1日に数百万枚の小切手を読み取りました。[ 55 ]

シフト不変ニューラルネットワーク

1988年、Wei Zhangらは画像文字認識用にシフト不変ニューラルネットワークを提案した。[ 14 ] [ 15 ]これは、画像特徴層と最後の完全結合層との間の畳み込み接続のみを維持した改良型ネオコグニトロンである。このモデルはバックプロパゲーションを用いて学習された。学習アルゴリズムは1991年にさらに改良され[ 56 ]、一般化能力が向上した。このモデルアーキテクチャは最後の完全結合層を削除することで改良され、医療画像セグメンテーション（1991年）[ 50 ]やマンモグラムにおける乳がんの自動検出（1994年）に応用された。[ 51 ]

1988年には、畳み込みに基づく異なる設計が提案され[ 57 ]、 1次元筋電図畳み込み信号の逆畳み込みによる分解に適用されました。この設計は1989年に、別の逆畳み込みに基づく設計に改良されました[ 58 ] [ 59 ] 。

GPU実装

CNN は 1980 年代に発明されましたが、2000 年代のブレークスルーには、グラフィックス プロセッシング ユニット(GPU) での高速実装が必要でした。

2004年、KS OhとK. Jungは、標準的なニューラルネットワークがGPU上で大幅に高速化できることを示しました。その実装は、CPU上で同等の実装と比較して20倍高速でした。[ 60 ] 2005年には、別の論文でも機械学習におけるGPGPUの価値が強調されました。[ 61 ]

CNNの最初のGPU実装は、2006年にK. Chellapillaらによって発表されました。彼らの実装はCPUでの同等の実装よりも4倍高速でした。[ 62 ]同時期に、GPUはディープビリーフネットワークの教師なし学習にも使用されました。[ 63 ] [ 64 ] [ 65 ] [ 66 ]

2010年、 IDSIAのDan Ciresanらは、GPU上でディープフィードフォワードネットワークを訓練した。[ 67 ] 2011年には、これをCNNに拡張し、CPUの訓練と比較して60倍の高速化を実現した。[ 25 ] 2011年、このネットワークは画像認識コンテストで優勝し、初めて超人的なパフォーマンスを達成した。[ 68 ]その後、さらに多くのコンテストで優勝し、いくつかのベンチマークで最先端技術を達成した。[ 69 ] [ 53 ] [ 28 ]

その後、アレックス・クリジェフスキーらによる同様のGPUベースのCNNであるAlexNetが、 ImageNet Large Scale Visual Recognition Challenge 2012で優勝した。 [ 70 ]これはAIブームの初期の触媒的な出来事であった。

GPUを使ったCNNの訓練に比べ、CPUにはあまり注目が集まっていない。(Viebke et al 2019)は、Intel Xeon Phiで利用可能なスレッドレベルおよびSIMDレベルの並列処理によってCNNを並列化する。[ 71 ] [ 72 ]

特徴的な特徴

かつては、画像認識には従来の多層パーセプトロン（MLP）モデルが使用されていました。しかし、ノード間の完全な接続性は次元の呪いを引き起こし、高解像度の画像では計算的に扱いにくくなっていました。RGBカラーチャンネルを持つ1000×1000ピクセルの画像では、完全接続ニューロンあたり300万個の重みがあり、これは大規模に効率的に処理するには多すぎます。

3次元に配置されたCNNレイヤー

例えば、CIFAR-10では、画像のサイズは32×32×3（幅32、高さ32、色チャンネル3）に限られているため、通常のニューラルネットワークの最初の隠れ層にある1つの全結合ニューロンは、32×32×3 = 3,072個の重みを持つことになります。しかし、200×200の画像では、ニューロンは200×200×3 = 120,000個の重みを持つことになります。

また、このようなネットワークアーキテクチャはデータの空間構造を考慮せず、離れた入力ピクセルを近接したピクセルと同様に扱います。これは、グリッドトポロジーを持つデータ（画像など）における参照の局所性を、計算的にも意味的にも無視します。したがって、ニューロンの完全な接続は、空間的に局所的な入力パターンが支配的な画像認識などの用途では無駄です。

畳み込みニューラルネットワークは、視覚野の行動を模倣するように設計された多層パーセプトロンの一種です。これらのモデルは、自然画像に存在する強い空間的局所相関を利用することで、MLPアーキテクチャがもたらす課題を軽減します。MLPとは対照的に、CNNには以下の際立った特徴があります。

  • ニューロンの3次元ボリューム。CNNの層は、幅、高さ、奥行きの3次元に配置されたニューロンで構成されています。 [ 73 ]畳み込み層内の各ニューロンは、受容野と呼ばれる前の層の小さな領域にのみ接続されています。局所的に接続された層と完全に接続された層の両方を含む、異なる種類の層が積み重ねられ、CNNアーキテクチャを形成します。
  • 局所的接続性：受容野の概念に従い、CNNは隣接する層のニューロン間に局所的な接続パターンを強制することで空間的局所性を活用します。このアーキテクチャにより、学習された「フィルタ」が空間的に局所的な入力パターンに対して最も強い応答を生成することが保証されます。このような層を多数積み重ねることで、非線形フィルタは次第にグローバル（つまり、より広いピクセル空間領域に応答する）になり、ネットワークはまず入力の小さな部分の表現を作成し、それらからより広い領域の表現を組み立てます。
  • 共有重み：CNNでは、各フィルターは視野全体に複製されます。これらの複製されたユニットは同じパラメータ（重みベクトルとバイアス）を共有し、特徴マップを形成します。これは、特定の畳み込み層内のすべてのニューロンが、それぞれの応答フィールド内で同じ特徴に反応することを意味します。このようにユニットを複製することで、結果として得られる活性化マップは、視野内の入力特徴の位置がシフトしても等変になり、つまり並進等変となります（層のストライドが1である場合）。[ 74 ]
  • プーリング：CNNのプーリング層では、特徴マップが長方形のサブ領域に分割され、各長方形内の特徴は独立して単一の値にダウンサンプリングされます。ダウンサンプリングは通常、平均値または最大値を用いて行われます。プーリング処理は、特徴マップのサイズを縮小するだけでなく、そこに含まれる特徴にある程度局所的な並進不変性を与え、CNNが特徴の位置の変化に対してより堅牢であることを可能にします。[ 16 ]

これらの特性を組み合わせることで、CNNは視覚問題におけるより優れた一般化を実現します。重み共有により学習する自由パラメータの数が大幅に削減されるため、ネットワーク実行に必要なメモリが削減され、より大規模で強力なネットワークのトレーニングが可能になります。

ビルディングブロック

CNNアーキテクチャは、微分可能な関数を用いて入力データを出力データ（例えば、クラススコアの保持）に変換する、複数の異なる層のスタックによって構成されます。一般的に用いられる層の種類はいくつかあります。これらについては、以下で詳しく説明します。

畳み込み層のニューロン（青）は受容野（赤）に接続されている

畳み込み層

畳み込みを実行する実例。畳み込みのストライドは1、ゼロパディング、カーネルサイズは3行3列です。畳み込みカーネルは離散ラプラシアン演算子です。

畳み込み層はCNNの中核となる構成要素です。この層のパラメータは、学習可能なフィルター（またはカーネル）のセットで構成されます。これらのフィルターは受容野が小さいものの、入力ボリュームの深度全体にわたって拡張されます。順方向パスでは、各フィルターは入力ボリュームの幅と高さにわたって畳み込まれ、フィルターのエントリと入力の間のドット積が計算され、そのフィルターの2次元活性化マップが生成されます。その結果、ネットワークは入力内の特定の空間位置で特定の種類の特徴を検出したときに活性化するフィルターを学習します。[ 75 ] [注1 ]

すべてのフィルタの活性化マップを深度方向に沿って積み重ねることで、畳み込み層の出力ボリューム全体が形成されます。したがって、出力ボリュームの各エントリは、入力の小さな領域に注目するニューロンの出力としても解釈できます。活性化マップの各エントリは、フィルタを定義するのと同じパラメータセットを使用します。

自己教師学習は、高マスク比のスパースパッチとグローバル応答正規化層を使用することで、畳み込み層で使用できるように適応されています。

ローカル接続

典型的なCNNアーキテクチャ

画像などの高次元入力を扱う場合、ニューロンを前のボリューム内のすべてのニューロンに接続することは現実的ではありません。なぜなら、そのようなネットワークアーキテクチャはデータの空間構造を考慮していないからです。畳み込みネットワークは、隣接する層のニューロン間に疎な局所接続パターンを適用することで、空間的に局所的な相関関係を活用します。つまり、各ニューロンは入力ボリュームのごく一部の領域にのみ接続されます。

この接続の範囲は、ニューロンの受容野と呼ばれるハイパーパラメータで表されます。接続は空間的に局所的（幅と高さ方向）ですが、入力ボリュームの奥行き全体にわたって常に拡張されます。このような構造により、学習されたフィルタは空間的に局所的な入力パターンに対して最も強い応答を生成することが保証されます。[ 76 ]

空間配置

畳み込み層の出力ボリュームのサイズは、深さ、ストライド、パディング サイズという 3 つのハイパーパラメータによって制御されます。

  • 出力ボリュームの深度は、入力ボリュームの同じ領域に接続する層内のニューロンの数を制御します。これらのニューロンは、入力内の異なる特徴に対して活性化するように学習します。例えば、最初の畳み込み層が生の画像を入力として受け取る場合、深度方向に沿って異なるニューロンが、様々な方向のエッジや色の塊の存在に応じて活性化する可能性があります。
  • ストライドは、幅と高さの周囲の深度列の割り当てを制御します。ストライドが1の場合、フィルターは1ピクセルずつ移動します。これにより、列間の受容野が大きく重なり、出力ボリュームが大きくなります。任意の整数に対して、ストライドSは、フィルターが出力ごとにS単位ずつ移動することを意味します。実際には、このようなことは稀です。ストライドが大きいほど、受容野の重なりが小さくなり、出力ボリュームの空間寸法が小さくなります。 [ 77 ]S>0、{\textstyle S>0,}S≥3{\textstyle S\geq 3}
  • 場合によっては、入力ボリュームの境界にゼロ（または領域の平均などの他の値）をパディングすると便利です。このパディングのサイズは3つ目のハイパーパラメータです。パディングは出力ボリュームの空間サイズを制御します。特に、入力ボリュームの空間サイズを正確に維持することが望ましい場合があり、これは一般に「同一」パディングと呼ばれます。
パディング条件の例を3つ示します。複製条件とは、外側のピクセルが最も近い内側のピクセルでパディングされることを意味します。反射パディングとは、外側のピクセルが画像の境界を越えて内側のピクセルでパディングされることを意味します。円形パディングとは、外側のピクセルが画像の反対側に回り込むことを意味します。

出力ボリュームの空間サイズは、入力ボリュームサイズ、畳み込み層ニューロンのカーネルフィールドサイズ、ストライド、および境界のゼロパディング量の関数です。与えられたボリュームに「収まる」ニューロンの数は、以下の式で表されます。 W{\displaystyle W}K{\displaystyle K}S{\displaystyle S}P{\displaystyle P}

W−K+2PS+1.{\displaystyle {\frac {W-K+2P}{S}}+1.}

この数値が整数でない場合、ストライドが正しくなく、ニューロンを入力ボリューム全体に対称的にタイリングすることができません。一般的に、ストライドが のときにパディングをゼロに設定すると、入力ボリュームと出力ボリュームが空間的に同じサイズになります。ただし、前の層のニューロンをすべて使用することが常に必要というわけではありません。例えば、ニューラルネットワーク設計者はパディングの一部だけを使用することを決定する場合があります。 P＝（K−1）/2{\textstyle P=(K-1)/2}S＝1{\displaystyle S=1}

パラメータの共有

畳み込み層では、自由パラメータの数を制御するためにパラメータ共有方式が用いられます。これは、パッチの特徴量がある空間位置で計算に有用であれば、他の位置でも計算に有用であるはずであるという仮定に基づいています。深度スライスを1つ、2次元スライスと表記すると、各深度スライス内のニューロンは同じ重みとバイアスを使用するように制約されます。

単一の深度スライス内のすべてのニューロンは同じパラメータを共有するため、畳み込み層の各深度スライスにおける順方向パスは、ニューロンの重みと入力ボリュームの畳み込みとして計算できます。 [注 2 ]そのため、重みのセットをフィルタ（またはカーネル）と呼び、入力と畳み込むのが一般的です。この畳み込みの結果は活性化マップであり、各異なるフィルタの活性化マップのセットは深度次元に沿って積み重ねられ、出力ボリュームを生成します。パラメータの共有は、CNNアーキテクチャの並進不変性に貢献します。 [ 16 ]

パラメータ共有の仮定が意味をなさない場合もあります。特に、CNNへの入力画像が特定の中心構造を持つ場合、空間的な位置によって全く異なる特徴が学習されると期待されます。具体的な例としては、入力画像が画像の中央に配置された顔である場合が挙げられます。この場合、画像上の異なる部分では、目や髪に特有の異なる特徴が学習されると期待されます。このような場合、パラメータ共有の枠組みを緩和し、その層を単に「局所的接続層」と呼ぶのが一般的です。

プーリング層

ストライド2の2x2 maxpoolingの実例
2x2フィルタとストライド=2の最大プーリング

CNN のもう 1 つの重要な概念はプーリングで、これは非線形ダウンサンプリングの一種として使用されます。プーリングでは、入力特徴マップの空間次元 (高さと幅) を縮小しながらも最も重要な情報を保持するため、ダウンサンプリングが実現されます。プーリングを実装するための非線形関数はいくつかありますが、最大プーリングと平均プーリングが最も一般的です。プーリングは、入力の小さな領域から情報を集約し、入力特徴マップのパーティションを作成します。その際、通常は固定サイズのウィンドウ (2x2 など) を使用し、ストライド (多くの場合 2) を適用してウィンドウを入力上で移動します。[ 78 ] 1 より大きいストライドを使用しない場合、プーリングはダウンサンプリングを実行しません。これは、プーリング ウィンドウを入力上で 1 ステップずつ移動するだけであり、特徴マップのサイズは縮小されないためです。言い換えると、ストライドはプーリング ウィンドウが入力上でどれだけ移動するかを決定することで、実際にダウンサンプリングを引き起こすものです。

直感的には、特徴の正確な位置よりも、他の特徴に対する大まかな位置が重要です。これが、畳み込みニューラルネットワークでプーリングを使用する考え方です。プーリング層は、表現の空間サイズを徐々に縮小し、ネットワークのパラメーター数、メモリフットプリント、計算量を削減し、したがって、過適合も制御します。これはダウンサンプリングとして知られています。CNNアーキテクチャでは、連続する畳み込み層（各層の後にはReLU層などの活性化関数が続く）の間にプーリング層を定期的に挿入するのが一般的です。[ 75 ] : 460–461 プーリング層は局所的な並進不変性に貢献しますが、グローバルプーリングの形式が使用されない限り、CNNでグローバルな並進不変性は提供しません。[ 16 ] [ 74 ]プーリング層は通常、入力のすべての深度またはスライスに対して独立して動作し、空間的にサイズを変更します。非常に一般的な形式の最大プーリングは、2×2サイズのフィルターを2のストライドで適用する層です。この層は入力のすべての深度スライスを幅と高さの両方で2ずつサブサンプリングし、アクティベーションの75%を破棄します。 この場合、すべての最大演算は4つの数値に対して行われます。深度次元は変化しません（これは他の形式のプーリングでも同様です）。 fX、はい（S）＝最大1つの、b＝01S2X+1つの、2はい+b。{\displaystyle f_{X,Y}(S)=\max_{a,b=0}^{1}S_{2X+a,2Y+b}.}

プーリングユニットは、最大プーリングに加えて、平均プーリングやℓ2ノルムプーリングなどの他の関数も使用できます。平均プーリングは歴史的によく使用されていましたが、最近では最大プーリングに比べてあまり使用されなくなりました。最大プーリングは実用上、一般的に優れたパフォーマンスを発揮します。[ 79 ]

表現サイズの急速な空間縮小の影響により、最近ではより小さなフィルタを使用するか[ 80 ]、プーリング層を完全に廃止する傾向がある。[ 81 ]

RoIプーリングを2x2のサイズに調整します。この例では、領域提案（入力パラメータ）のサイズは7x5です。

チャネル最大プーリング

チャネル最大プーリング（CMP）演算層は、冗長情報を除去するために、連続する特徴マップの対応する位置間でチャネル側に沿ってMP演算を実行します。CMPは、重要な特徴をより少ないチャネルに集めるため、より多くの識別特徴を必要とする細粒度画像分類にとって重要です。一方、CMP演算のもう1つの利点は、最初の全結合（FC）層に接続する前に、特徴マップのチャネル数を少なくできることです。MP演算と同様に、CMP層の入力特徴マップと出力特徴マップをそれぞれF ∈ R(C×M×N)とC ∈ R(c×M×N)と表記します。ここで、Cとcは入力特徴マップと出力特徴マップのチャネル番号、MとNはそれぞれ特徴マップの幅と高さです。CMP演算は特徴マップのチャネル番号のみを変更することに注意してください。特徴マップの幅と高さは変更されません。これはMP演算とは異なります。[ 82 ]

プーリング法のレビューについては[ 83 ] [ 84 ]を参照。

ReLU層

ReLUはReLUの略称で、1941年にアルストン・ハウスホルダーによって提案され、[ 85 ] 、 1969年に福島邦彦によってCNNで使用されました。[ 39 ] ReLUは非飽和活性化関数 を適用します。[ 70 ] ReLUは、活性化マップから負の値をゼロに設定することで効果的に削除します。[ 86 ] ReLUは、畳み込み層の受容野に影響を与えずに、決定関数とネットワーク全体に非線形性を導入します。2011年に、Xavier Glorot、Antoine Bordes、 Yoshua Bengioは、ReLUにより、 2011年以前に広く使用されていた活性化関数と比較して 、より深いネットワークのトレーニングが改善されることを発見しました。 [ 87 ]f（×）＝最大（0、×）{\textstyle f(x)=\max(0,x)}

非線形性を高めるために、飽和双曲正接関数 、シグモイド関数などの他の関数も使用できます。ReLUは、一般化精度に大きなペナルティを与えることなく、ニューラルネットワークのトレーニングを数倍高速化できるため、他の関数よりも好まれることがよくあります。[ 88 ]f（×）＝タン⁡（×）{\displaystyle f(x)=\tanh(x)}f（×）＝|タン⁡（×）|{\displaystyle f(x)=|\tanh(x)|}σ（×）＝（1+e−×）−1{\textstyle \sigma (x)=(1+e^{-x})^{-1}}

完全接続層

複数の畳み込み層と最大プーリング層を経て、最終的な分類は全結合層によって行われます。全結合層のニューロンは、通常の（非畳み込み）人工ニューラルネットワークと同様に、前層のすべての活性化と結合しています。したがって、これらの活性化は、行列乗算とバイアスオフセット（学習済みまたは固定バイアス項の ベクトル加算）によるアフィン変換として計算できます。

損失層

「損失層」または「損失関数」は、学習においてネットワークの予測出力と真のデータラベル（教師あり学習時）との偏差にペナルティを課す方法を例示しています。特定のタスクに応じて、様々な損失関数を使用できます。

ソフトマックス損失関数は、 K個の相互に排他的なクラスのうちの1つのクラスを予測するために使用されます。[注 3 ]シグモイドクロスエントロピー損失は、 K個の独立した確率値を予測するために使用されます。ユークリッド損失は、実数値ラベルへの回帰に使用されます。 [0、1]{\displaystyle [0,1]}（−∞、∞）{\displaystyle (-\infty ,\infty )}

ハイパーパラメータ

ハイパーパラメータとは、学習プロセスを制御するために使用される様々な設定です。CNNは、標準的な多層パーセプトロン（MLP）よりも 多くのハイパーパラメータを使用します。

パディング

パディングとは、画像の境界に（通常は）0値のピクセルを追加することです。これは、境界のピクセルが通常1つの受容野インスタンスにのみ含まれるため、出力から過小評価（失われ）されることを防ぐためです。適用されるパディングは通常、対応するカーネル次元より1小さい値です。例えば、3x3カーネルを使用する畳み込み層では、画像の両側に1ピクセルずつ、つまり2ピクセルのパディングが適用されます。

ストライド

ストライドとは、分析ウィンドウが各反復処理で移動するピクセル数です。ストライドが2の場合、各カーネルは前のカーネルから2ピクセルずつオフセットされます。

フィルターの数

特徴マップのサイズは深度とともに減少するため、入力層に近い層ではフィルターの数が少なくなる傾向があり、高層ではフィルターの数が多くなる傾向があります。各層での計算を均一化するため、特徴値v aとピクセル位置の積は、各層でほぼ一定に保たれます。入力に関するより多くの情報を保持するには、活性化の総数（特徴マップの数とピクセル位置の数の積）が層間で減少しないようにする必要があります。

特徴マップの数は容量を直接制御し、利用可能な例の数とタスクの複雑さによって異なります。

フィルタ（またはカーネル）サイズ

文献で見られる一般的なフィルタサイズは多岐にわたり、通常はデータセットに基づいて選択されます。典型的なフィルタサイズは1x1から7x7までの範囲です。有名な例として、AlexNetでは3x3、5x5、11x11が使用されていました。Inceptionv3では1x1、3x3、5x5が使用されていました。

課題は、特定のデータ セットを与えられた場合に、過剰適合せずに適切なスケールで抽象化を作成するために、適切な粒度レベルを見つけることです。

プーリングの種類とサイズ

最大プーリングは一般的に2x2次元で使用されます。これは入力データが大幅にダウンサンプリングされ、処理コストが削減されることを意味します。

プーリングを大きくすると信号の次元が減少し、許容できない情報損失が発生する可能性があります。多くの場合、重複しないプーリングウィンドウが最も優れたパフォーマンスを発揮します。[ 79 ]

膨張

膨張はカーネル内のピクセルを無視することを意味します。これにより、信号損失を大幅に抑えつつ、処理メモリを削減できる可能性があります。3x3カーネルで膨張率2を設定すると、カーネルは5x5に拡張されますが、処理対象は9個の（等間隔の）ピクセルです。具体的には、膨張後の処理対象ピクセルはセル(1,1)、(1,3)、(1,5)、(3,1)、(3,3)、(3,5)、(5,1)、(5,3)、(5,5)です。ここで、(i,j)は拡張された5x5カーネルのi行j列目のセルを表します。したがって、膨張率4を設定すると、カーネルは7x7に拡張されます。

翻訳の等価性とエイリアシング

CNNは入力のシフトに対して不変であると一般的に想定されている。CNN内の畳み込み層やプーリング層は、ストライドが1より大きくない場合、入力の並進に対して確かに等変である。 [ 74 ]しかし、ストライドが1より大きい層はナイキスト・シャノンのサンプリング定理を無視し、入力信号のエイリアシングを引き起こす可能性がある。 [ 74 ]原理的には、CNNはアンチエイリアシングフィルタを実装することができるが、実際にはこれが起こらないことが観察されており[ 89 ]、そのため並進に対して等変ではないモデルが生成される。

さらに、CNNが完全結合層を使用する場合、完全結合層は入力のシフトに対して不変ではないため、並進同値性は並進不変性を意味しない。[ 90 ] [ 16 ]完全な並進不変性を実現するための1つの解決策は、ネットワーク全体でダウンサンプリングを回避し、最後の層でグローバル平均プーリングを適用することである。[ 74 ]さらに、ダウンサンプリング操作の前のアンチエイリアシング、[ 91 ]空間トランスフォーマーネットワーク、[ 92 ]データ拡張、プーリングと組み合わせたサブサンプリング、[ 16 ]カプセルニューラルネットワークなど、他のいくつかの部分的な解決策も提案されている。[ 93 ]

評価

最終モデルの精度は、通常、データセットの最初に設定されたサブセット（テストセットと呼ばれることが多い）に基づいて推定されます。あるいは、k分割交差検証などの手法が適用されます。その他の戦略としては、等角予測を用いることがあります。[ 94 ] [ 95 ]

正規化手法

正則化とは、不適切問題を解決するため、または過剰適合を防ぐために追加情報を導入するプロセスです。CNN はさまざまな種類の正則化を使用します。

経験的

ドロップアウト

ネットワークはパラメータが非常に多いため、過学習になりやすい。過学習を軽減する手法の一つとして、2014年に導入されたドロップアウトがある。 [ 96 ]各学習段階において、個々のノードは確率でネットから「ドロップアウト」（無視）されるか、確率で保持される。これにより、縮小されたネットワークが残る。ドロップアウトされたノードへの入力エッジと出力エッジも削除される。その段階では、縮小されたネットワークのみがデータを用いて学習される。削除されたノードは、元の重みでネットワークに再挿入される。 1−p{\displaystyle 1-p}p{\displaystyle p}

トレーニング段階では通常 0.5 ですが、入力ノードの場合は、入力ノードが無視されると情報が直接失われるため、通常ははるかに高くなります。 p{\displaystyle p}

トレーニング終了後のテスト時には、理想的にはドロップアウト可能な全てのネットワークの標本平均を求めたいところですが、残念ながら が大きい場合には実現不可能です。しかし、各ノードの出力を で重み付けしたネットワーク全体を用いることで近似値を求めることができます。これにより、各ノードの出力の期待値はトレーニング段階と同じになります。これがドロップアウト法の最大のメリットです。ドロップアウト法はニューラルネットワークを効率的に生成し、モデルの組み合わせを可能にしますが、テスト時には単一のネットワークのみをテストすればよいのです。 2n{\displaystyle 2^{n}}n{\displaystyle n}p{\displaystyle p}2n{\displaystyle 2^{n}}

ドロップアウトは、すべてのノードをすべてのトレーニングデータでトレーニングすることを避けるため、過学習を軽減します。また、この手法はトレーニング速度を大幅に向上させます。これにより、ディープニューラルネットワークにおいても、このモデルの組み合わせは実用的になります。この手法はノード間の相互作用を減らし、より堅牢な特徴を学習させ、新しいデータへの汎用性を高めると考えられます。

ドロップコネクト

DropConnectはドロップアウトの一般化であり、各出力ユニットではなく各接続が確率でドロップされる。これにより、各ユニットは前層のユニットのランダムなサブセットから入力を受け取る。[ 97 ]1−p{\displaystyle 1-p}

DropConnectはモデル内に動的なスパース性を導入する点でDropoutに似ていますが、スパース性が層の出力ベクトルではなく重みに適用される点が異なります。言い換えれば、DropConnectを適用した全結合層は、学習段階で接続がランダムに選択されるスパース結合層になります。

確率的プーリング

ドロップアウトの主な欠点は、ニューロンが完全に接続されていない畳み込み層では同じ利点が得られないことにあります。

ドロップアウト以前の2013年には、確率的プーリング[ 98 ]と呼ばれる手法が開発され、従来の決定論的プーリング操作が確率的手法に置き換えられました。この手法では、各プーリング領域内の活性は、プーリング領域内の活性によって与えられる多項式分布に従ってランダムに選択されます。このアプローチはハイパーパラメータを必要とせず、ドロップアウトやデータ拡張などの他の正則化手法と組み合わせることができます。

確率的プーリングの別の見方は、標準的な最大プーリングと同等であるが、入力画像のコピーが多数あり、それぞれが小さな局所的な変形を持つというものである。これは入力画像の明示的な弾性変形に似ており、[ 99 ] MNISTデータセットで優れた性能を発揮する。[ 99 ]多層モデルで確率的プーリングを使用すると、上位層の選択は下位層の選択とは独立しているため、変形の数は指数関数的に増加する。

人工データ

モデルの過学習の程度は、そのパワーとトレーニング量の両方によって決まるため、畳み込みネットワークにより多くのトレーニング例を与えることで、過学習を軽減することができます。トレーニングに利用できるデータが十分でないことが多く、特に後からテストのために一部を残しておく必要がある場合、2つのアプローチがあります。1つは、（可能であれば）最初から新しいデータを生成するか、既存のデータを変化させて新しいデータを作成することです。後者は1990年代半ばから使用されています。[ 54 ]例えば、入力画像を切り取ったり、回転させたり、拡大縮小したりすることで、元のトレーニングセットと同じラベルを持つ新しい例を作成できます。[ 100 ]

明示的な

早期終了

ネットワークの過学習を防ぐ最も簡単な方法の一つは、過学習が発生する前に学習を停止することです。ただし、この方法には学習プロセスが停止するという欠点があります。

パラメータの数

過学習を防ぐもう一つの簡単な方法は、パラメータ数を制限することです。これは通常、各層の隠れユニット数を制限するか、ネットワークの深さを制限することで実現されます。畳み込みネットワークの場合、フィルタサイズもパラメータ数に影響します。パラメータ数を制限すると、ネットワークの予測能力が直接的に制限され、データに対して実行できる関数の複雑さが低減するため、過学習の程度が制限されます。これは「ゼロノルム」に相当します。

体重減少

追加正則化の単純な形態は重み減衰であり、これは重みベクトルの重みの合計（L1ノルム）または重みベクトルの絶対値の二乗（L2ノルム）に比例する追加の誤差を各ノードの誤差に加算するだけです。モデルの許容可能な複雑さのレベルは、比例定数（「アルファ」ハイパーパラメータ）を増やすことで軽減できます。これにより、大きな重みベクトルに対するペナルティが増加します。

L2正則化は最も一般的な正則化形式です。これは、目的関数においてすべてのパラメータの2乗の大きさに直接ペナルティを課すことで実装できます。L2正則化は、ピークのある重みベクトルに重いペナルティを課し、拡散した重みベクトルを優先するという直感的な解釈を持ちます。重みと入力の間の乗法的相互作用により、これはネットワークが一部の入力を多く使用するのではなく、すべての入力を少しずつ使用することを促すという有用な特性を持っています。

L1正則化も一般的です。これは最適化中に重みベクトルをスパースにします。言い換えれば、L1正則化を適用したニューロンは、最も重要な入力のスパースなサブセットのみを使用することになり、ノイズの多い入力に対してほぼ不変になります。L1正則化とL2正則化を組み合わせることも可能で、これは弾性ネット正則化と呼ばれます。

最大ノルム制約

正則化の別の形態は、各ニューロンの重みベクトルの大きさに絶対的な上限を設け、射影勾配降下法を用いて制約を強制することです。実際には、これは通常通りパラメータ更新を行い、その後、各ニューロンの重みベクトルを を満たすようにクランプすることで制約を強制することに相当します。 の典型的な値は3～4程度です。いくつかの論文では、この形式の正則化を用いることで が 改善されたと報告されています[ 101 ] 。わ→{\displaystyle {\vec {w}}}‖わ→‖2<c{\displaystyle \|{\vec {w}}\|_{2}<c}c{\displaystyle c}

階層的座標フレーム

プーリングでは、高レベルのパーツ（顔画像における鼻と口など）間の正確な空間関係が失われます。これらの関係は、個人識別に必要です。各特徴が複数のプールに出現するようにプールを重ね合わせることで、情報を保持しやすくなります。翻訳だけでは、幾何学的な関係の理解を、異なる方向やスケールといった根本的に新しい視点に外挿することはできません。一方、人間は外挿が非常に得意です。一度新しい形状を見た後、別の視点からそれを認識することができます。[ 102 ]

この問題に対処するための従来の一般的な方法は、ネットワークがこれらの変化に対応できるよう、異なる方向、スケール、照明などの変換されたデータを用いてネットワークを訓練することであった。これは大規模なデータセットでは計算負荷が高い。代替案としては、座標フレームの階層構造を用い、ニューロン群を用いて特徴の形状と網膜に対する相対的な姿勢の結合を表現する方法がある。網膜に対する相対的な姿勢とは、網膜の座標フレームと固有特徴の座標フレームとの関係である。[ 103 ]

したがって、何かを表現する一つの方法は、座標フレームをその内部に埋め込むことです。これにより、各部位のポーズの一貫性を用いて大きな特徴を認識することができます（例えば、鼻と口のポーズは、顔全体のポーズを一貫して予測します）。このアプローチは、下位レベルのエンティティ（例えば、顔）がポーズの予測に一致しているときに、上位レベルのエンティティ（例えば、顔）が存在することを保証します。ポーズを表すニューロン活動のベクトル（「ポーズベクトル」）は、線形演算としてモデル化された空間変換を可能にし、ネットワークが視覚エンティティの階層を学習し、視点を超えて一般化することを容易にします。これは、人間の視覚システムが形状を表現するために座標フレームを適用する方法に似ています。[ 104 ]

アプリケーション

画像認識

CNNは画像認識システムによく用いられます。2012年には、 MNISTデータベースにおけるエラー率が0.23%と報告されました。[ 28 ] CNNを画像分類に用いた別の論文では、学習プロセスが「驚くほど高速」であると報告されています。同じ論文では、2011年時点で発表された最高の結果はMNISTデータベースとNORBデータベースで達成されたとされています。[ 25 ]その後、同様のCNNであるAlexNet [ 105 ]が、ImageNet Large Scale Visual Recognition Challenge 2012で優勝しました。

顔認識に適用した場合、CNNはエラー率の大幅な低下を達成しました。[ 106 ]別の論文では、「10人以上の被験者の5,600枚の静止画像」で97.6%の認識率が報告されています。[ 21 ] CNNは、手動トレーニング後に客観的な方法でビデオ品質を評価するために使用され、結果として得られたシステムの二乗平均平方根誤差は非常に低くなりました。[ 107 ]

ImageNet Large Scale Visual Recognition Challenge は、何百万もの画像と何百ものオブジェクトクラスを伴う、物体分類と検出のベンチマークです。大規模視覚認識チャレンジである ILSVRC 2014 [ 108 ]では、ほぼすべての上位チームが基本的なフレームワークとして CNN を使用していました。優勝したGoogLeNet [ 109 ] ( DeepDreamの基礎) は、物体検出の平均精度を 0.439329 まで向上させ、分類エラーを 0.06656 まで削減し、これまでで最高の結果となりました。このネットワークは 30 を超えるレイヤーを適用しました。ImageNet テストにおける畳み込みニューラルネットワークのそのパフォーマンスは、人間のパフォーマンスに近いものでした。[ 110 ]最高のアルゴリズムでも、花の茎の上の小さなアリや羽根ペンを手に持った人など、小さいまたは薄い物体の検出には依然として苦労しています。対照的に、人間はそのような画像に困ることは滅多にありません。しかし、人間は他の問題で苦労する傾向があります。例えば、特定の犬種や鳥の種類といった細かいカテゴリに物体を分類するのは苦手ですが、畳み込みニューラルネットワークはこれを処理します。

2015年、多層CNNが、上下逆さまを含む様々な角度から、また部分的に隠れている場合でも、競争力のある性能で顔を検出できることを実証しました。このネットワークは、様々な角度や向きの顔を含む20万枚の画像と、顔のない画像2000万枚のデータベースで学習されました。彼らは128枚の画像をバッチにして5万回の反復処理を行いました。[ 111 ]

ビデオ分析

画像データ領域と比較すると、CNN をビデオ分類に適用する研究は比較的少ない。ビデオは別の（時間）次元を持っているため、画像よりも複雑である。しかし、ビデオ領域への CNN の拡張はいくつか研究されてきた。1 つのアプローチは、空間と時間を入力の同等の次元として扱い、時間と空間の両方で畳み込みを実行することである。[ 112 ] [ 113 ]もう 1 つの方法は、空間ストリーム用と時間ストリーム用の 2 つの畳み込みニューラル ネットワークの機能を融合することです。[ 114 ] [ 115 ] [ 116 ] フレーム間またはクリップ間の依存関係を考慮するために、通常、CNN の後には長短期記憶（LSTM）再帰ユニットが組み込まれます。 [ 117 ] [ 118 ] 時空間特徴を訓練するための教師なし学習スキームは、畳み込みゲート制限ボルツマンマシン[ 119 ]と独立部分空間分析[ 120 ]に基づいて導入されている。その応用は、テキストからビデオへのモデルで見ることができる。

自然言語処理

CNNは自然言語処理にも利用され研究されてきた。CNNモデルは様々なNLP問題に有効であり、意味解析、[ 121 ] 、 [ 122 ]検索クエリ検索、 [ 123 ]文章モデリング、[124]分類、[ 125 ]予測[ 126 ]などの従来のNLPタスクにおいて優れた結果を達成している。[ 126 ]リカレントニューラルネットワーク などの従来の言語処理手法と比較して、CNNは系列-シーケンス仮定に依存しない言語のさまざまな文脈的現実を表現できるが、RNNは古典的な時系列モデリングが必要な場合により適している。[ 127 ] [ 128 ] [ 129 ] [ 130 ]

動物行動検出

CNNは生態学や行動学の研究に応用されており、視覚データから動物の行動を自動的に検出して定量化し、[ 131 ] [ 132 ]動物の識別、[ 133 ] [ 134 ]個体の追跡、[ 135 ]姿勢の推定、[ 136 ] [ 137 ] [ 138 ]摂食などの特定の行動の分類、[ 139 ]社会的相互作用[ 132 ] [ 139 ]などを可能にしています。マルチオブジェクト追跡と時間的モデリングを組み合わせることで、これらのシステムは長時間の録画から行動シーケンスを抽出できるため、手作業による注釈への依存が減り、個体変異、社会的ネットワーク、集団ダイナミクスの研究のスループットが向上します。

異常検出

1次元畳み込みを持つCNNを、周波数領域（スペクトル残差）の時系列に対して教師なしモデルで使用し、時間領域における異常を検出した。[ 140 ]

創薬

CNNは創薬に利用されてきました。分子と生物学的タンパク質との相互作用を予測することで、潜在的な治療法を特定することができます。2015年、Atomwiseは構造ベース創薬のための最初のディープラーニングニューラルネットワークであるAtomNetを発表しました。[ 141 ]このシステムは、化学相互作用の3次元表現を直接学習します。画像認識ネットワークが小さく空間的に近い特徴を組み合わせて大きく複雑な構造を組み立てるのと同様に、[ 142 ] AtomNetは芳香族性、sp3炭素、水素結合などの化学的特徴を発見します。その後、AtomNetは複数の疾患標的、特にエボラウイルス[ 143 ]と多発性硬化症[ 144 ]の治療薬に対する新しい候補生体分子の予測に使用されました。

チェッカーゲーム

CNNはチェッカーゲームにも利用されています。1999年から2001年にかけて、フォーゲルとシェラピラは、共進化を用いて畳み込みニューラルネットワークがチェッカーの遊び方を学習する方法を示す論文を発表しました。学習プロセスでは、人間のプロによる過去のゲームは使用されず、チェッカーボードに含まれる最小限の情報、すなわち駒の位置と種類、そして両側の駒の数の差に焦点が当てられました。最終的に、このプログラム（Blondie24）は165回の対戦でプレイヤーと対戦し、上位0.4%にランクインしました。[ 145 ] [ 146 ]また、このプログラムは「エキスパート」レベルのプレイでChinookプログラムに勝利しました。[ 147 ]

行く

CNNはコンピュータ囲碁で利用されている。2014年12月、クラークとストーキーは、人間のプロのゲームのデータベースから教師あり学習によって訓練されたCNNがGNU Goを凌駕し、モンテカルロ木探索Fuego 1.1に対して、Fuegoのプレイ時間のほんの一部でいくつかのゲームに勝つことができることを示す論文を発表した。 [ 148 ]その後、大規模な12層の畳み込みニューラルネットワークが55％の局面でプロの手を正しく予測し、6段の人間のプレイヤーの精度に匹敵したことが発表された。訓練された畳み込みネットワークを探索なしで直接囲碁のゲームに使用したところ、従来の探索プログラムGNU Goを97％のゲームで打ち負かし、 1手あたり1万回のプレイアウト（約100万局面）をシミュレートするモンテカルロ木探索プログラムFuegoの性能に匹敵した。[ 149 ]

MCTSを駆動する、試すべき動きを選択するCNN（「ポリシーネットワーク」）とポジションを評価するCNN（「バリューネットワーク」）は、当時最高の人間プレイヤーに初めて勝利したAlphaGoによって使用されました。 [ 150 ]

時系列予測

再帰型ニューラルネットワークは、一般的に時系列予測（および一般的なシーケンスモデリング）に最適なニューラルネットワークアーキテクチャであると考えられていますが、最近の研究では、畳み込みネットワークが同等かそれ以上の性能を発揮できることが示されています。[ 151 ] [ 13 ]膨張畳み込み[ 152 ]により、1次元畳み込みニューラルネットワークが時系列の依存関係を効果的に学習できるようになる可能性があります。[ 153 ]畳み込みは、RNNベースのソリューションよりも効率的に実装でき、勾配が消失（または爆発）する問題がありません。[ 154 ]畳み込みネットワークは、学習する類似した時系列が複数ある場合、予測性能が向上します。[ 155 ] CNNは、時系列分析のさらなるタスク（時系列分類[ 156 ]または分位予測[ 157 ]など）にも適用できます。

文化遺産と3Dデータセット

楔形文字が書かれた粘土板などの考古学的発見が3Dスキャナーを使ってますます増えるにつれ、GigaMeshソフトウェアフレームワークで作成された約2000の正規化された2Dおよび3Dデータセットを提供するHeiCuBeDa [ 158 ]などのベンチマークデータセットが利用可能になってきています。[ 159 ]そのため、曲率ベースの尺度は幾何学的ニューラルネットワーク（GNN）と組み合わせて使用​​され、例えば人類史上最古の文書の一つである粘土板の時代分類などに使用されています。[ 160 ] [ 161 ]

微調整

多くのアプリケーションでは、トレーニングデータが十分に入手できません。畳み込みニューラルネットワークは通常、過学習を避けるために大量のトレーニングデータを必要とします。一般的な手法としては、関連ドメインのより大きなデータセットを用いてネットワークをトレーニングすることが挙げられます。ネットワークパラメータが収束したら、ドメイン内データを用いて追加のトレーニングステップを実行し、ネットワークの重みを微調整します。これは転移学習と呼ばれます。さらに、この手法により、畳み込みネットワークアーキテクチャを小規模なトレーニングセットの問題にも適用できるようになります。[ 162 ]

人間が解釈できる説明

エンドツーエンドの学習と予測は、コンピュータビジョンにおいて一般的な手法です。しかし、自動運転車のような重要なシステムでは、人間が解釈できる説明が必要です。[ 163 ]視覚的サリエンシー、空間的注意、時間的注意における近年の進歩により、CNNの予測を正当化するために最も重要な空間領域／時間的瞬間を視覚化できるようになりました。[ 164 ] [ 165 ]

ディープQネットワーク

ディープQネットワーク（DQN）は、ディープラーニングモデルの一種であり、ディープニューラルネットワークと強化学習の一種であるQ学習を組み合わせたものです。従来の強化学習エージェントとは異なり、CNNを利用したDQNは、強化学習を介して高次元の感覚入力から直接学習することができます。[ 166 ]

予備的な結果は2014年に発表され、付随論文は2015年2月に発表された。[ 167 ]この研究では、Atari 2600ゲームへの応用について説明されていた。これに先行して、他の深層強化学習モデルが存在していた。[ 168 ]

ディープビリーフネットワーク

畳み込みディープビリーフネットワーク（CDBN）は、畳み込みニューラルネットワーク（CNN）と非常に類似した構造を持ち、ディープビリーフネットワークと同様に学習されます。そのため、CNNと同様に画像の2次元構造を利用し、ディープビリーフネットワークと同様に事前学習を行います。CDBNは、多くの画像および信号処理タスクに使用できる汎用的な構造を提供します。CIFAR [ 169 ]などの標準的な画像データセットにおけるベンチマーク結果は、CDBNを用いて得られています。[ 170 ]

ニューラル抽象化ピラミッド
ニューラル抽象化ピラミッド

ニューラル抽象化ピラミッド

畳み込みニューラルネットワークのフィードフォワードアーキテクチャは、ニューラル抽象ピラミッド[ 171 ]において、横方向接続とフィードバック接続によって拡張されました。結果として得られる再帰型畳み込みネットワークは、文脈情報を柔軟に組み込むことで、局所的な曖昧性を反復的に解決することを可能にします。従来のモデルとは対照的に、セマンティックセグメンテーション、画像再構成、物体位置推定などのタスクにおいて、最高解像度で画像のような出力が生成されました。

著名な図書館

  • Caffe : 畳み込みニューラルネットワーク用のライブラリ。Berkeley Vision and Learning Center (BVLC) によって開発されました。CPU と GPU の両方をサポートします。C ++で開発されており、PythonとMATLAB のラッパーも用意されています。
  • Deeplearning4j :マルチGPU対応Spark上でJavaとScalaでディープラーニングを実行できます。C++科学計算エンジン上で動作するJVMプロダクションスタック向けの汎用ディープラーニングライブラリです。カスタムレイヤーの作成が可能で、HadoopおよびKafkaと統合されています。
  • Dlib : C++ で実際の機械学習およびデータ分析アプリケーションを作成するためのツールキット。
  • Microsoft Cognitive Toolkit：Microsoftが開発したディープラーニングツールキット。複数のノードにわたるスケーラビリティを強化する独自の機能を複数備えています。C++およびPythonでのトレーニングのための本格的なインターフェースに加え、C#およびJavaでのモデル推論もサポートしています。
  • TensorFlow : CPU、GPU、Google独自のテンソルプロセッシングユニット（TPU）、[ 172 ]およびモバイルデバイスをサポートする、Apache 2.0ライセンスのTheanoライクなライブラリ。
  • Theano : Python用のリファレンスディープラーニングライブラリ。人気のNumPyライブラリとほぼ互換性のあるAPIを備えています。ユーザーは記号的な数式を記述し、その導関数を自動的に生成できるため、勾配法やバックプロパゲーションをコーディングする必要がありません。これらの記号式は自動的にCUDAコードにコンパイルされ、 GPU上で高速に実装されます。
  • Torch : CおよびLuaで記述された、機械学習アルゴリズムを幅広くサポートする科学計算フレームワーク。

参照

注記

  1. ^画像データ以外の音声データなどの他の種類のデータに適用される場合、「空間位置」は時間領域、周波数領域、またはその他の数学的空間内のさまざまなポイントにさまざまに対応する可能性があります。
  2. ^そのため「畳み込み層」と呼ばれる
  3. ^いわゆるカテゴリデータ。

参考文献

  1. ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015-05-28). 「ディープラーニング」 . Nature . 521 (7553): 436– 444. Bibcode : 2015Natur.521..436L . doi : 10.1038/nature14539 . ISSN  1476-4687 . PMID  26017442 .
  2. ^ LeCun, Y.; Boser, B.; Denker, JS; Henderson, D.; Howard, RE; Hubbard, W.; Jackel, LD (1989年12月). 「手書き郵便番号認識へのバックプロパゲーションの適用」 . Neural Computation . 1 (4): 541– 551. doi : 10.1162/neco.1989.1.4.541 . ISSN 0899-7667 . 
  3. ^ a b Venkatesan, Ragav; Li, Baoxin (2017-10-23).ビジュアルコンピューティングにおける畳み込みニューラルネットワーク：簡潔なガイド. CRC Press. ISBN 978-1-351-65032-8. 2023年10月16日時点のオリジナルよりアーカイブ。2020年12月13日閲覧。
  4. ^ a b Balas, Valentina E.; Kumar, Raghvendra; Srivastava, Rajshree (2019-11-19).人工知能とIoTの最近の動向と進歩. Springer Nature. ISBN 978-3-030-32644-9. 2023年10月16日時点のオリジナルよりアーカイブ。2020年12月13日閲覧。
  5. ^ Zhang, Yingjie; Soon, Hong Geok; Ye, Dongsen; Fuh, Jerry Ying Hsi; Zhu, Kunpeng (2020年9月). 「ハイブリッド畳み込みニューラルネットワークを用いたマシンビジョンによる粉末床溶融プロセスモニタリング」. IEEE Transactions on Industrial Informatics . 16 (9): 5769– 5779. Bibcode : 2020ITII...16.5769Z . doi : 10.1109/TII.2019.2956078 . ISSN 1941-0050 . S2CID 213010088 .  
  6. ^ Chervyakov, NI; Lyakhov, PA; Deryabin, MA; Nagornov, NN; Valueva, MV; Valuev, GV (2020年9月). 「Residue Number System-Based Solution for Reducing the Hardware Cost of a Convolutional Neural Network」 . Neurocomputing . 407 : 439– 453. doi : 10.1016/j.neucom.2020.04.018 . S2CID 219470398. 2023年6月29日時点のオリジナルよりアーカイブ。2023年8月12日閲覧。畳み込みニューラルネットワークは、コンピュータービジョン、音声認識、マルウェア検出、金融における時系列分析など、現在幅広いアプリケーションで使用されているディープラーニングアーキテクチャを代表する。 
  7. ^ a b Aghdam, Hamed Habibi; Heravi, Elnaz Jahani (2017-05-30).畳み込みニューラルネットワークガイド：交通標識の検出と分類への実用的応用. シャム、スイス: Springer. ISBN 978-3-319-57549-0. OCLC  987790957 .
  8. ^ a b c本間俊輝; Les Atlas; Robert Marks II (1987). 「時空間双極性パターンのための人工ニューラルネットワーク：音素分類への応用」(PDF) . Advances in Neural Information Processing Systems . 1 : 31– 40. 2022年3月31日時点のオリジナルよりアーカイブ(PDF) . 2022年3月31日閲覧.提示されたモデルで使用されている畳み込みまたは相関の概念は、工学分野で広く用いられており、フィルタや制御システムなどの設計に広く応用されている。
  9. ^ Valueva, MV; Nagornov, NN; Lyakhov, PA; Valuev, GV; Chervyakov, NI (2020). 「畳み込みニューラルネットワーク実装のハードウェアコスト削減のための剰余数システムの適用」. Mathematics and Computers in Simulation . 177. Elsevier BV: 232– 243. doi : 10.1016/j.matcom.2020.04.031 . ISSN 0378-4754 . S2CID 218955622.畳み込みニューラルネットワークは、パターン認識の問題を解決するための有望なツールです。  
  10. ^ファン・デン・オールド、アーロン;ディーレマン、サンダー。シュラウウェン、ベンジャミン (2013-01-01)。バージェス、CJC;ボットー、L.ウェリング、M.ガーラマニ、Z.ワインバーガー、KQ (編)。深いコンテンツベースの音楽レコメンデーション(PDF)。 Curran Associates, Inc. pp.  2643–2651。2022年 3月7 日にオリジナルからアーカイブ(PDF) 。2022-03-31に取得。
  11. ^ Collobert, Ronan; Weston, Jason (2008-01-01). 「自然言語処理のための統合アーキテクチャ」.第25回国際機械学習会議 - ICML '08 議事録. ニューヨーク、米国: ACM. pp.  160– 167. doi : 10.1145/1390156.1390177 . ISBN 978-1-60558-205-4. S2CID  2617020 .
  12. ^ Avilov, Oleksii; Rimbert, Sebastien; Popov, Anton; Bougrain, Laurent (2020年7月). 「脳波信号からの術中意識検出を向上させるディープラーニング技術」 . 2020年 第42回IEEE医学生物学会 (EMBC) 年次国際会議(PDF) . Vol. 2020. モントリオール, ケベック州, カナダ: IEEE. pp.  142– 145. doi : 10.1109/EMBC44109.2020.9176228 . ISBN 978-1-7281-1990-8. PMID  33017950 . S2CID  221386616 . 2022年5月19日にオリジナルからアーカイブ（PDF） . 2023年7月21日閲覧.
  13. ^ a b Tsantekidis, Avraam; Passalis, Nikolaos; Tefas, Anastasios; Kanniainen, Juho; Gabbouj, Moncef; Iosifidis, Alexandros (2017年7月). 「畳み込みニューラルネットワークを用いた指値注文板からの株価予測」. 2017 IEEE 第19回ビジネス情報科学会議 (CBI) . テッサロニキ, ギリシャ: IEEE. pp.  7– 12. doi : 10.1109/CBI.2017.23 . ISBN 978-1-5386-3035-8. S2CID  4950757 .
  14. ^ a b c Zhang, Wei (1988). 「シフト不変パターン認識ニューラルネットワークとその光学アーキテクチャ」応用物理学会年次大会講演論文集. 2020年6月23日時点のオリジナルよりアーカイブ。 2020年6月22日閲覧。
  15. ^ a b c Zhang, Wei (1990). 「局所空間不変相互接続を備えた並列分散処理モデルとその光学アーキテクチャ」 .応用光学. 29 (32): 4790–7 . Bibcode : 1990ApOpt..29.4790Z . doi : 10.1364/AO.29.004790 . PMID 20577468. 2017年2月6日時点のオリジナルよりアーカイブ。2016年9月22日閲覧。 
  16. ^ a b c d e f Mouton, Coenraad; Myburgh, Johannes C.; Davel, Marelie H. (2020). 「CNNにおけるストライドと並進不変性」 . Gerber, Aurona (編).人工知能研究. コンピュータと情報科学におけるコミュニケーション . 第1342巻. シュプリンガー・インターナショナル・パブリッシング. pp.  267– 281. arXiv : 2103.10097 . doi : 10.1007/978-3-030-66151-9_17 . ISBN 978-3-030-66151-9. S2CID  232269854 . 2021年6月27日時点のオリジナルよりアーカイブ。2021年3月26日閲覧。
  17. ^ Kurtzman, Thomas (2019年8月20日). 「DUD-Eデータセットの隠れたバイアスが、構造ベース仮想スクリーニングにおけるディープラーニングの誤ったパフォーマンスにつながる」 . PLOS ONE . 14 (8) e0220113. Bibcode : 2019PLoSO..1420113C . doi : 10.1371/ journal.pone.0220113 . PMC 6701836. PMID 31430292 .  
  18. ^ a b c福島, K. (2007). 「ネオコグニトロン」 . Scholarpedia . 2 (1): 1717. Bibcode : 2007SchpJ...2.1717F . doi : 10.4249/scholarpedia.1717 .
  19. ^ a b Hubel, DH; Wiesel, TN (1968-03-01). 「サル線条体皮質の受容野と機能的構造」 . The Journal of Physiology . 195 (1): 215– 243. doi : 10.1113/jphysiol.1968.sp008455 . ISSN 0022-3751 . PMC 1557912. PMID 4966457 .   
  20. ^ a b福島邦彦 (1980). 「ネオコグニトロン：位置ずれに影響されないパターン認識機構のための自己組織化ニューラルネットワークモデル」 ( PDF) .バイオロジカルサイバネティクス. 36 (4): 193– 202. doi : 10.1007/BF00344251 . PMID 7370364. S2CID 206775608. 2014年6月3日時点のオリジナルよりアーカイブ(PDF) . 2013年11月16日閲覧.  
  21. ^ a b松次正和、森克彦、三足雄介、金田雄二 (2003). 「畳み込みニューラルネットワークを用いた堅牢な顔検出による被験者非依存の顔表情認識」(PDF) .ニューラルネットワーク. 16 (5): 555– 559. Bibcode : 2003NN .....16..555M . doi : 10.1016/S0893-6080(03)00115-1 . PMID 12850007. 2013年12月13日時点のオリジナルよりアーカイブ(PDF) . 2013年11月17日閲覧. 
  22. ^畳み込みニューラルネットワークの解明：マッチドフィルタリングの観点に基づくチュートリアルhttps://arxiv.org/abs/2108.11663v3
  23. ^ 「畳み込みニューラルネットワーク（LeNet）– DeepLearning 0.1 ドキュメント」 . DeepLearning 0.1 . LISA Lab. 2017年12月28日時点のオリジナルよりアーカイブ。2013年8月31日閲覧。
  24. ^ Chollet, François (2017-04-04). 「Xception: 深さ方向に分離可能な畳み込みによるディープラーニング」. arXiv : 1610.02357 [ cs.CV ].
  25. ^ a b c Ciresan, Dan; Ueli Meier; Jonathan Masci; Luca M. Gambardella; Jurgen Schmidhuber (2011). 「画像分類のための柔軟で高性能な畳み込みニューラルネットワーク」(PDF) . Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence-Volume Two . 2 : 1237–1242 . 2022年4月5日時点のオリジナルよりアーカイブ(PDF) . 2013年11月17日閲覧。
  26. ^ Krizhevsky , Alex. 「ImageNet Classification with Deep Convolutional Neural Networks」（PDF） . 2021年4月25日時点のオリジナルよりアーカイブ（PDF） 。 2013年11月17日閲覧。
  27. ^ a b山口 浩一; 坂本 健二; 赤羽 俊夫; 藤本 善司 (1990年11月).話者非依存の孤立単語認識のためのニューラルネットワーク. 第1回国際音声言語処理会議 (ICSLP 90). 神戸, 日本. 2021年3月7日時点のオリジナルよりアーカイブ。 2019年9月4日閲覧。
  28. ^ a b c d Ciresan, Dan; Meier, Ueli; Schmidhuber, Jürgen (2012年6月). 「画像分類のためのマルチカラムディープニューラルネットワーク」. 2012 IEEE Con​​ference on Computer Vision and Pattern Recognition . ニューヨーク: Institute of Electrical and Electronics Engineers (IEEE). pp.  3642– 3649. arXiv : 1202.2745 . CiteSeerX 10.1.1.300.3283 . doi : 10.1109/CVPR.2012.6248110 . ISBN  978-1-4673-1226-4. OCLC  812295155 . S2CID  2161592 .
  29. ^ Yu, Fisher; Koltun, Vladlen (2016-04-30). 「Dilated Convolutionsによるマルチスケールコンテキスト集約」. arXiv : 1511.07122 [ cs.CV ].
  30. ^ Chen, Liang-Chieh; Papandreou, George; Schroff, Florian; Adam, Hartwig (2017-12-05). 「セマンティック画像セグメンテーションのためのAtrous畳み込みの再考」arXiv : 1706.05587 [ cs.CV ].
  31. ^デュタ、イオナット・コズミン;ジョルジェスク、マリアナ・ユリアナ。イヨネスク、ラドゥ・チューダー（2021-08-16）。 「コンテキスト畳み込みニューラル ネットワーク」。arXiv : 2108.07387 [ cs.CV ]。
  32. ^ LeCun, Yann. 「LeNet-5、畳み込みニューラルネットワーク」。2021年2月24日時点のオリジナルよりアーカイブ。2013年11月16日閲覧。
  33. ^ Zeiler, Matthew D.; Taylor, Graham W.; Fergus, Rob (2011年11月). 「中・高レベル特徴学習のための適応型デコンボリューションネットワーク」 . 2011 International Conference on Computer Vision . IEEE. pp.  2018– 2025. doi : 10.1109/iccv.2011.6126474 . ISBN 978-1-4577-1102-2。
  34. ^ Dumoulin, Vincent; Visin, Francesco (2018-01-11),深層学習のための畳み込み演算ガイド, arXiv : 1603.07285
  35. ^オデナ、アウグストゥス;デュムラン、ヴィンセント。オラ、クリス (2016-10-17)。「デコンボリューションとチェッカーボード アーティファクト」。蒸留します。１（１０）ｅ３．土井：10.23915/distill.00003。ISSN 2476-0757。 
  36. ^ van Dyck, Leonard Elia; Kwitt, Roland; Denzler, Sebastian Jochen; Gruber, Walter Roland (2021). 「人間と深層畳み込みニューラルネットワークにおける物体認識の比較—視線追跡研究」 . Frontiers in Neuroscience . 15 750639. doi : 10.3389/fnins.2021.750639 . ISSN 1662-453X . PMC 8526843. PMID 34690686 .   
  37. ^ a b Hubel, DH; Wiesel, TN (1959年10月). 「ネコの線条体皮質における単一ニューロンの受容野」 . J. Physiol . 148 (3): 574–91 . doi : 10.1113/jphysiol.1959.sp006308 . PMC 1363130. PMID 14403679 .  
  38. ^ David H. HubelとTorsten N. Wiesel (2005).脳と視覚知覚：25年間の共同研究の物語. Oxford University Press US. p. 106. ISBN 978-0-19-517618-6. 2023年10月16日時点のオリジナルよりアーカイブ。2019年1月18日閲覧。
  39. ^ a b福島, K. (1969). 「アナログ閾値要素の多層ネットワークによる視覚特徴抽出」. IEEE Transactions on Systems Science and Cyber​​netics . 5 (4): 322– 333. Bibcode : 1969ITSSC...5..322F . doi : 10.1109/TSSC.1969.300225 .
  40. ^ Schmidhuber, Juergen (2022). 「現代AIとディープラーニングの注釈付き歴史」arXiv : 2212.11279 [ cs.NE ].
  41. ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). 「ディープラーニング」（PDF） . Nature . 521 (7553): 436– 444. Bibcode : 2015Natur.521..436L . doi : 10.1038 /nature14539 . PMID 26017442. S2CID 3074096 .  
  42. ^ラマチャンドラン, プラジット; バレット, ゾフ; クオック, V. ル (2017年10月16日). 「活性化関数の探索」. arXiv : 1710.05941 [ cs.NE ].
  43. ^ a b Waibel, Alex (1987年12月18日).時間遅延ニューラルネットワークを用いた音素認識(PDF) . 電気情報通信学会論文集. 東京.
  44. ^ Alexander Waibel他「時間遅延ニューラルネットワークを用いた音素認識」 、 Wayback Machineに 2021 年 2 月 25 日にアーカイブIEEE Transactions on Acoustics, Speech, and Signal Processing、第 37 巻、第 3 号、pp. 328 - 339、1989 年 3 月。
  45. ^ LeCun, Yann; Bengio, Yoshua (1995). 「画像、音声、時系列のための畳み込みネットワーク」 . Arbib, Michael A. (編). 『脳理論とニューラルネットワークのハンドブック（第2版）』 MIT出版. pp.  276– 278. 2020年7月28日時点のオリジナルよりアーカイブ。 2019年12月3日閲覧。
  46. ^ John B. Hampshire と Alexander Waibel、「Connectionist Architectures for Multi-Speaker Phoneme Recognition」、Wayback Machineに 2022-03-31 でアーカイブ、Advances in Neural Information Processing Systems、1990 年、Morgan Kaufmann。
  47. ^ Ko, Tom; Peddinti, Vijayaditya; Povey, Daniel; Seltzer, Michael L.; Khudanpur, Sanjeev (2018年3月).ロバストな音声認識のための残響音声のデータ拡張に関する研究(PDF) . 第42回IEEE国際音響・音声・信号処理会議 (ICASSP 2017). 米国ルイジアナ州ニューオーリンズ. 2018年7月8日時点のオリジナルよりアーカイブ(PDF) . 2019年9月4日閲覧。
  48. ^ Denker, JS, Gardner, WR, Graf, H. P, Henderson, D, Howard, RE, Hubbard, W, Jackel, LD, BaIrd, HS, Guyon (1989) Neural network recognizer for hand-written zip code digits Archived 2018-08-04 at the Wayback Machine , AT&T Bell Laboratories
  49. ^ a b Y. LeCun、B. Boser、JS Denker、D. Henderson、RE Howard、W. Hubbard、LD Jackel、「手書き郵便番号認識へのバックプロパゲーションの適用」Wayback Machineで2020年1月10日にアーカイブ; AT&T Bell Laboratories
  50. ^ a b Zhang, Wei (1991). 「学習ネットワークに基づくヒト角膜内皮細胞の画像処理」 . Applied Optics . 30 (29): 4211–7 . Bibcode : 1991ApOpt..30.4211Z . doi : 10.1364/AO.30.004211 . PMID 20706526. 2017年2月6日時点のオリジナルよりアーカイブ。2016年9月22日閲覧。 
  51. ^ a b Zhang, Wei (1994). 「シフト不変人工ニューラルネットワークを用いたデジタルマンモグラムにおけるクラスター化微小石灰化のコンピュータ検出」 . Medical Physics . 21 (4): 517–24 . Bibcode : 1994MedPh..21..517Z . doi : 10.1118/1.597177 . PMID 8058017. 2017年2月6日時点のオリジナルよりアーカイブ。2016年9月22日閲覧。 
  52. ^ Weng, J; Ahuja, N; Huang, TS (1993). 「2D画像からの3Dオブジェクトの認識とセグメンテーションの学習」. 1993年（第4回）国際コンピュータビジョン会議. IEEE. pp.  121– 128. doi : 10.1109/ICCV.1993.378228 . ISBN 0-8186-3870-2. S2CID  8619176 .
  53. ^ a b Schmidhuber, Jürgen (2015). 「ディープラーニング」 . Scholarpedia . 10 (11): 1527–54 . CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513 . S2CID 2309950 . 2016年4月19日時点のオリジナルよりアーカイブ。 2019年1月20日閲覧。   
  54. ^ a b Lecun、Y.;ジャッケル、LD;ボットー、L.コルテス、C.デンカー、JS;ドラッカー、H.ギヨン、I。ミュラー、UA;サッカー、E.シマール、P. Vapnik、V. (1995 年 8 月)。分類のための学習アルゴリズム: 手書き数字認識の比較(PDF)。世界科学。 pp.  261–276。土井：10.1142/2808。ISBN 978-981-02-2324-32023年5月2日時点のオリジナルよりアーカイブ（PDF）。
  55. ^ Lecun, Y.; Bottou, L.; Bengio, Y.; Haffner, P. (1998年11月). 「文書認識への勾配ベース学習の適用」. Proceedings of the IEEE . 86 (11): 2278– 2324. Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 .
  56. ^ Zhang, Wei (1991). 「最小エントロピー重みによる誤差逆伝播法：2次元シフト不変ニューラルネットワークの一般化を向上させる手法」国際ニューラルネットワーク合同会議議事録. 2017年2月6日時点のオリジナルよりアーカイブ。 2016年9月22日閲覧。
  57. ^ Daniel Graupe、Ruey Wen Liu、George S Moschytz著。「ニューラルネットワークの医療信号処理への応用」（ Wayback Machineで2020年7月28日にアーカイブ）第27回IEEE Decision and Control Conf. Proc.、343–347頁、1988年。
  58. ^ Daniel Graupe、Boris Vern、G. Gruener、Aaron Field、Qiu Huang。「ニューラルネットワークによる表面筋電図信号の単線維活動電位への分解」（ 2019年9月4日アーカイブ、 Wayback Machineにて公開）。IEEE International Symp. on Circuits and Systems、pp. 1008–1011、1989年。
  59. ^ Qiu Huang、Daniel Graupe、Yi Fang Huang、Ruey Wen Liu「神経信号の発火パターンの同定」第28回IEEE Decision and Control Conf.、pp. 266–271、1989年。https ://ieeexplore.ieee.org/document/70115 2022年3月31日アーカイブ、Wayback Machine
  60. ^ Oh, KS; Jung, K (2004). 「ニューラルネットワークのGPU実装」.パターン認識. 37 (6): 1311– 1314. Bibcode : 2004PatRe..37.1311O . doi : 10.1016/j.patcog.2004.01.013 .
  61. ^ Dave Steinkraus、Patrice Simard、Ian Buck (2005). 「機械学習アルゴリズムにおけるGPUの利用」 .第12回国際文書分析認識会議 (ICDAR 2005) . pp.  1115– 1119. doi : 10.1109/ICDAR.2005.251 . 2022年3月31日時点のオリジナルよりアーカイブ。 2022年3月31日閲覧。
  62. ^ Kumar Chellapilla、Sid Puri、Patrice Simard (2006). 「文書処理のための高性能畳み込みニューラルネットワーク」 . Lorette, Guy (編). Tenth International Workshop on Frontiers in Handwriting Recognition . Suvisoft. 2020年5月18日時点のオリジナルよりアーカイブ。 2016年3月14日閲覧。
  63. ^ Hinton, GE; Osindero, S; Teh, YW (2006年7月). 「ディープビリーフネットのための高速学習アルゴリズム」. Neural Computation . 18 (7): 1527–54 . CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513. S2CID 2309950 .   
  64. ^ Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). 「Greedy Layer-Wise Training of Deep Networks」(PDF) . Advances in Neural Information Processing Systems : 153– 160. 2022年6月2日時点のオリジナルよりアーカイブ(PDF) 。 2022年3月31日閲覧。
  65. ^ Ranzato, MarcAurelio; Poultney, Christopher; Chopra, Sumit; LeCun, Yann (2007). 「エネルギーベースモデルによるスパース表現の効率的学習」(PDF) . Advances in Neural Information Processing Systems . 2016年3月22日時点のオリジナルよりアーカイブ(PDF) . 2014年6月26日閲覧.
  66. ^ Raina, R; Madhavan, A; Ng, Andrew (2009年6月14日). 「グラフィックスプロセッサを用いた大規模ディープラーニング（教師なし学習）」(PDF) .第26回国際機械学習会議論文集. ICML '09: 第26回国際機械学習会議論文集. pp.  873– 880. doi : 10.1145/1553374.1553486 . ISBN 978-1-60558-516-1. S2CID  392458 . 2020年12月8日時点のオリジナルよりアーカイブ（PDF） . 2023年12月22日閲覧。
  67. ^ Ciresan, Dan; Meier, Ueli; Gambardella, Luca; Schmidhuber, Jürgen (2010). 「手書き数字認識のためのディープ・ビッグ・シンプル・ニューラルネット」. Neural Computation . 22 (12): 3207– 3220. arXiv : 1003.0358 . Bibcode : 2010NeCom..22.3207C . doi : 10.1162/NECO_a_00052 . PMID 20858131. S2CID 1918673 .  
  68. ^ 「IJCNN 2011 大会結果表」 . OFFICIAL IJCNN2011 COMPETITION . 2010. 2021年1月17日時点のオリジナルよりアーカイブ。2019年1月14日閲覧。
  69. ^ Schmidhuber, Jürgen (2017年3月17日). 「GPU上のディープCNNが優勝したコンピュータービジョンコンテスト史」 . 2018年12月19日時点のオリジナルよりアーカイブ。2019年1月14日閲覧。
  70. ^ a b Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (2017-05-24). 「ImageNet分類と深層畳み込みニューラルネットワーク」(PDF) . Communications of the ACM . 60 (6): 84– 90. doi : 10.1145/3065386 . ISSN 0001-0782 . S2CID 195908774. 2017年5月16日時点のオリジナルよりアーカイブ(PDF) . 2018年12月4日閲覧.  
  71. ^ Viebke, Andre; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). 「CHAOS: Intel Xeon Phi 上で畳み込みニューラルネットワークを訓練するための並列化スキーム」. The Journal of Supercomputing . 75 (1): 197– 227. arXiv : 1702.07908 . doi : 10.1007/s11227-017-1994-x . S2CID 14135321 . 
  72. ^ Viebke, Andre; Pllana, Sabri (2015). 「Intel (R) Xeon Phiの教師ありディープラーニングにおける可能性」 . 2015 IEEE 第17回国際高性能コンピューティング・通信会議、2015 IEEE 第7回国際サイバースペース安全・セキュリティシンポジウム、および2015 IEEE 第12回国際組み込みソフトウェア・システム会議. IEEE Xplore . IEEE 2015. pp.  758– 765. doi : 10.1109/HPCC-CSS-ICESS.2015.45 . ISBN 978-1-4799-8937-9. S2CID  15411954 . 2023年3月6日時点のオリジナルよりアーカイブ。2022年3月31日閲覧。
  73. ^ Hinton, Geoffrey (2012). 「ImageNet Classification with Deep Convolutional Neural Networks」 . NIPS'12: Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1. 1 : 1097–1105 . 2019年12月20日時点のオリジナルよりアーカイブ。 2021年3月26日閲覧– ACM経由。
  74. ^ a b c d e Azulay, Aharon; Weiss, Yair (2019). 「なぜ深層畳み込みネットワークは小さな画像変換に対してそれほどうまく一般化できないのか？」 . Journal of Machine Learning Research . 20 (184): 1– 25. ISSN 1533-7928 . 2022年3月31日時点のオリジナルよりアーカイブ。 2022年3月31日閲覧。 
  75. ^ a b Géron, Aurélien (2019). Scikit-Learn、Keras、TensorFlowによる実践機械学習. セバストポル、カリフォルニア州: O'Reilly Media. ISBN 978-1-492-03264-9。、448ページ
  76. ^ Li, Zewen; Liu, Fan; Yang, Wenjie; Peng, Shouheng; Zhou, Jun (2022年12月). 「畳み込みニューラルネットワークの概観：分析、応用、そして展望」. IEEE Transactions on Neural Networks and Learning Systems . 33 (12): 6999– 7019. arXiv : 2004.02806 . Bibcode : 2022ITNNL..33.6999L . doi : 10.1109/TNNLS.2021.3084827 . hdl : 10072/405164 . PMID 34111009 . 
  77. ^ 「CS231n 視覚認識のための畳み込みニューラルネットワーク」cs231n.github.io . 2019年10月23日時点のオリジナルよりアーカイブ。2017年4月25日閲覧。
  78. ^ Nirthika, Rajendran; Manivannan, Siyamalan; Ramanan, Amirthalingam; Wang, Ruixuan (2022-04-01). 「医療画像解析のための畳み込みニューラルネットワークにおけるプーリング：概要と実証的研究」 . Neural Computing and Applications . 34 (7): 5321– 5347. doi : 10.1007/s00521-022-06953-8 . ISSN 1433-3058 . PMC 8804673. PMID 35125669 .   
  79. ^ a b Scherer, Dominik; Müller, Andreas C.; Behnke, Sven (2010). 「物体認識のための畳み込みアーキテクチャにおけるプーリング演算の評価」(PDF) .人工ニューラルネットワーク (ICANN), 第20回国際会議. テッサロニキ, ギリシャ: Springer. pp.  92– 101. 2018年4月3日時点のオリジナルよりアーカイブ(PDF) . 2016年12月28日閲覧.
  80. ^グラハム、ベンジャミン (2014年12月18日). 「分数マックスプーリング」. arXiv : 1412.6071 [ cs.CV ].
  81. ^ Springenberg, Jost Tobias; Dosovitskiy, Alexey; Brox, Thomas; Riedmiller, Martin (2014-12-21). 「シンプルさへの挑戦：全畳み込みネット」arXiv : 1412.6806 [ cs.LG ].
  82. ^ Ma, Zhanyu; Chang, Dongliang; Xie, Jiyang; Ding, Yifeng; Wen, Shaoguo; Li, Xiaoxu; Si, Zhongwei; Guo, Jun (2019). 「チャネルマックスプーリング修正CNNによる細粒度車両分類」. IEEE Transactions on Vehicular Technology . 68 (4). Institute of Electrical and Electronics Engineers (IEEE): 3224– 3233. Bibcode : 2019ITVT...68.3224M . doi : 10.1109/tvt.2019.2899972 . ISSN 0018-9545 . S2CID 86674074 .  
  83. ^ Zafar, Afia; Aamir, Muhammad; Mohd Nawi, Nazri; Arshad, Ali; Riaz, Saman; Alruban, Abdulrahman; Dutta, Ashit Kumar; Almotairi, Sultan (2022-08-29). 「畳み込みニューラルネットワークにおけるプーリング手法の比較」 .応用科学. 12 (17): 8643. Bibcode : 2022ApSci..12.8643Z . doi : 10.3390/app12178643 . ISSN 2076-3417 . 
  84. ^ Gholamalinezhad, Hossein; Khosravi, Hossein (2020-09-16)「ディープニューラルネットワークにおけるプーリング手法のレビュー」arXiv : 2009.07485
  85. ^ハウスホルダー、アルストンS. (1941年6月). 「神経線維ネットワークにおける定常活動の理論：I. 定義と予備的な補題」 .数理生物物理学会報. 3 (2): 63– 69. doi : 10.1007/BF02478220 . ISSN 0007-4985 . 
  86. ^ Romanuke, Vadim (2017). 「畳み込みニューラルネットワークにおけるReLUの適切な数と割り当て」 . NTUU「キエフ工科大学」研究速報. 1 (1): 69– 78. doi : 10.20535/1810-0546.2017.1.88156 .
  87. ^ Xavier Glorot; Antoine Bordes; Yoshua Bengio (2011). Deep Sparse Rectifier Neural Networks (PDF) . AISTATS.オリジナル(PDF)から2016年12月13日にアーカイブ。 2023年4月10日閲覧。Rectifierとsoftplus活性化関数。2番目の関数は1番目の関数の平滑化バージョンです。
  88. ^ Krizhevsky, A.; Sutskever, I.; Hinton, GE (2012). 「Imagenet分類と深層畳み込みニューラルネットワーク」(PDF) . Advances in Neural Information Processing Systems . 1 : 1097–1105 . 2022年3月31日時点のオリジナルよりアーカイブ( PDF) . 2022年3月31日閲覧.
  89. ^ Ribeiro, Antonio H.; Schön, Thomas B. (2021). 「畳み込みニューラルネットワークにおけるエイリアシングへの対処法」. ICASSP 2021 - 2021 IEEE 国際音響・音声・信号処理会議 (ICASSP) . pp.  2755– 2759. arXiv : 2102.07757 . doi : 10.1109/ICASSP39728.2021.9414627 . ISBN 978-1-7281-7605-5. S2CID  231925012 .
  90. ^ Myburgh, Johannes C.; Mouton, Coenraad; Davel, Marelie H. (2020). 「CNNSにおける翻訳不変性の追跡」 . Gerber, Aurona (編).人工知能研究. コンピュータと情報科学における通信 . 第1342巻. シュプリンガー・インターナショナル・パブリッシング. pp.  282– 295. arXiv : 2104.05997 . doi : 10.1007/978-3-030-66151-9_18 . ISBN 978-3-030-66151-9. S2CID  233219976 . 2022年1月22日時点のオリジナルよりアーカイブ。2021年3月26日閲覧。
  91. ^ Richard, Zhang (2019-04-25). 「畳み込みネットワークを再びシフト不変にする」OCLC 1106340711 . 
  92. ^ Jadeberg, Max; Simonyan, Karen; Zisserman, Andrew; Kavukcuoglu, Koray (2015). 「空間トランスフォーマーネットワーク」(PDF) . Advances in Neural Information Processing Systems . 28. 2021年7月25日時点のオリジナルよりアーカイブ(PDF) . 2021年3月26日閲覧– NIPS経由.
  93. ^ Sabour, Sara; Frosst, Nicholas; Hinton, Geoffrey E. (2017-10-26).カプセル間の動的ルーティング. OCLC 1106278545 . 
  94. ^ Matiz, Sergio; Barner, Kenneth E. (2019-06-01). 「畳み込みニューラルネットワークのための帰納的共形予測器：画像分類のための能動学習への応用」 .パターン認識. 90 : 172–182 . Bibcode : 2019PatRe..90..172M . doi : 10.1016/j.patcog.2019.01.035 . ISSN 0031-3203 . S2CID 127253432. 2021年9月29日時点のオリジナルよりアーカイブ。 2021年9月29日閲覧。  
  95. ^ Wieslander, Håkan; Harrison, Philip J.; Skogberg, Gabriel; Jackson, Sonya; Fridén, Markus; Karlsson, Johan; Spjuth, Ola; Wählby, Carolina (2021年2月). 「大規模全スライド組織画像の階層的解析のための等角予測を用いたディープラーニング」 . IEEE Journal of Biomedical and Health Informatics . 25 (2): 371– 380. Bibcode : 2021IJBHI..25..371W . doi : 10.1109 / JBHI.2020.2996300 . ISSN 2168-2208 . PMID 32750907. S2CID 219885788 .   
  96. ^ Srivastava, Nitish; C. Geoffrey Hinton; Alex Krizhevsky; Ilya Sutskever; Ruslan Salakhutdinov (2014). 「Dropout: ニューラルネットワークの過剰適合を防ぐ簡単な方法」(PDF) . Journal of Machine Learning Research . 15 (1): 1929– 1958. 2016年1月19日時点のオリジナルよりアーカイブ(PDF) . 2015年1月3日閲覧.
  97. ^ "Regularization of Neural Networks using DropConnect | ICML 2013 | JMLR W&CP" . jmlr.org : 1058–1066 . 2013年2月13日. 2017年8月12日時点のオリジナルよりアーカイブ。2015年12月17日閲覧。
  98. ^ Zeiler, Matthew D.; Fergus, Rob (2013-01-15). 「深層畳み込みニューラルネットワークの正規化のための確率的プーリング」arXiv : 1301.3557 [ cs.LG ].
  99. ^ a b Platt, John; Steinkraus, Dave; Simard, Patrice Y. (2003年8月). 「視覚文書分析に応用された畳み込みニューラルネットワークのベストプラクティス - Microsoft Research」 . Microsoft Research . 2017年11月7日時点のオリジナルよりアーカイブ。 2015年12月17日閲覧。
  100. ^ Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan R. (2012). 「特徴検出器の共適応を防ぐことによるニューラルネットワークの改善」arXiv : 1207.0580 [ cs.NE ].
  101. ^ 「ドロップアウト：ニューラルネットワークの過剰適合を防ぐ簡単な方法」jmlr.org。2016年3月5日時点のオリジナルよりアーカイブ。2015年12月17日閲覧。
  102. ^ヒントン、ジェフリー (1979). 「心的イメージにおける構造的記述の効果に関するいくつかの実証」.認知科学. 3 (3): 231– 250. doi : 10.1016/s0364-0213(79)80008-7 .
  103. ^ロック、アーヴィン。「参照枠」ソロモン・アッシュの遺産：認知と社会心理学のエッセイ集（1990年）：243-268ページ。
  104. ^ J. Hinton, Courseraのニューラルネットワーク講義、2012年、URL: https://www.coursera.org/learn/neural-networks 2016年12月31日アーカイブ、 Wayback Machine
  105. ^ Dave Gershgorn (2018年6月18日). 「AIがシリコンバレーを支配するほどに成長した経緯の裏話」 Quartz . 2019年12月12日時点のオリジナルよりアーカイブ。 2018年10月5日閲覧。
  106. ^ローレンス、スティーブ、C. リー・ジャイルズ、アー・チュン・ツォイ、アンドリュー・D. バック (1997). 「顔認識：畳み込みニューラルネットワークによるアプローチ」. IEEE Transactions on Neural Networks . 8 (1): 98– 113. CiteSeerX 10.1.1.92.5813 . doi : 10.1109/72.554195 . PMID 18255614. S2CID 2883848 .   
  107. ^ Le Callet, Patrick; Christian Viard-Gaudin; Dominique Barba (2006). 「A Convolutional Neural Network Approach for Objective Video Quality Assessment」 ( PDF) . IEEE Transactions on Neural Networks . 17 (5): 1316– 1327. Bibcode : 2006ITNN...17.1316L . doi : 10.1109/TNN.2006.879766 . PMID 17001990. S2CID 221185563. 2021年2月24日時点のオリジナルよりアーカイブ(PDF) . 2013年11月17日閲覧。  
  108. ^ “ImageNet Large Scale Visual Recognition Competition 2014 (ILSVRC2014)” . 2016年2月5日時点のオリジナルよりアーカイブ。2016年1月30日閲覧。
  109. ^ Szegedy, Christian; Liu, Wei; Jia, Yangqing; Sermanet, Pierre; Reed, Scott E.; Anguelov, Dragomir; Erhan, Dumitru; Vanhoucke, Vincent; Rabinovich, Andrew (2015). 「畳み込みによる深化」. IEEE Con​​ference on Computer Vision and Pattern Recognition, CVPR 2015, ボストン, MA, USA, 2015年6月7日～12日. IEEE Computer Society. pp.  1～ 9. arXiv : 1409.4842 . doi : 10.1109/CVPR.2015.7298594 . ISBN 978-1-4673-6964-0。
  110. ^ルサコフスキー、オルガ;鄧、佳。スー、ハオ。クラウス、ジョナサン。サシーシュ、サンジーブ。マ、ショーン。黄志恒。アンドレイ・カルパシー;コスラ、アディティヤ。バーンスタイン、マイケル。バーグ、アレクサンダー C.フェイフェイ、リー (2014)。 「イメージネット大規模視覚認識チャレンジ」。arXiv : 1409.0575 [ cs.CV ]。
  111. ^ 「顔検出アルゴリズムが画像検索に革命を起こす」テクノロジーレビュー、2015年2月16日。2020年9月20日時点のオリジナルよりアーカイブ。2017年10月27日閲覧。
  112. ^ Baccouche, Moez; Mamalet, Franck; Wolf, Christian; Garcia, Christophe; Baskurt, Atilla (2011-11-16). 「人間の行動認識のためのシーケンシャルディープラーニング」. Salah, Albert Ali; Lepri, Bruno (編).人間の行動理解. コンピュータサイエンス講義ノート. 第7065巻. Springer Berlin Heidelberg. pp.  29– 39. CiteSeerX 10.1.1.385.4740 . doi : 10.1007/978-3-642-25446-8_4 . ISBN  978-3-642-25445-1。
  113. ^ Ji, Shuiwang; Xu, Wei; Yang, Ming; Yu, Kai (2013-01-01). 「人間の行動認識のための3D畳み込みニューラルネットワーク」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 35 ( 1): 221– 231. Bibcode : 2013ITPAM..35..221J . CiteSeerX 10.1.1.169.4046 . doi : 10.1109/TPAMI.2012.59 . ISSN 0162-8828 . PMID 22392705. S2CID 1923924 .    
  114. ^黄潔;周、文港。張、希林。李、後強。リー・ウェイピン（2018）。 「時間分割を行わないビデオベースの手話認識」。arXiv : 1801.10111 [ cs.CV ]。
  115. ^ Karpathy, Andrej, et al. 「畳み込みニューラルネットワークによる大規模ビデオ分類」（Wayback Machineに2019年8月6日アーカイブ）IEEE Computer Vision and Pattern Recognition (CVPR) 会議、2014年。
  116. ^ Simonyan, Karen; Zisserman, Andrew (2014). 「動画内の動作認識のための2ストリーム畳み込みネットワーク」arXiv : 1406.2199 [ cs.CV ].（2014年）。
  117. ^ Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018-05-22). 「Segment-Tube: フレームごとのセグメンテーションによるトリミングされていない動画における時空間的な動作の局在化」(PDF) . Sensors . 18 (5): 1657. Bibcode : 2018Senso..18.1657W . doi : 10.3390/s18051657 . ISSN 1424-8220 . PMC 5982167. PMID 29789447. 2021年3月1日時点のオリジナルよりアーカイブ(PDF) . 2018年9月14日閲覧.   
  118. ^ドゥアン、シュファン;王、楽。ザイ、チャンボ。鄭、南寧。張、希林。牛真興。フア、ガン（2018）。 「フレームごとのセグメンテーションを使用したトリミングされていないビデオにおける時空間アクションの共同位置特定」。2018 第 25 回 IEEE 画像処理国際会議 (ICIP)。第 25 回 IEEE 画像処理国際会議 (ICIP)。 pp.  918–922 . doi : 10.1109/icip.2018.8451692。ISBN 978-1-4799-7061-2。
  119. ^ Taylor, Graham W.; Fergus, Rob; LeCun, Yann; Bregler, Christoph (2010-01-01).時空間特徴の畳み込み学習. Proceedings of the 11th European Conference on Computer Vision: Part VI. ECCV'10. Berlin, Heidelberg: Springer-Verlag. pp.  140– 153. ISBN 978-3-642-15566-6. 2022年3月31日時点のオリジナルよりアーカイブ。2022年3月31日閲覧。
  120. ^ Le, QV; Zou, WY; Yeung, SY; Ng, AY (2011-01-01). 「独立部分空間分析を用いた動作認識のための階層的不変時空間特徴の学習」. CVPR 2011. CVPR '11. ワシントンD.C., 米国: IEEE Computer Society. pp.  3361– 3368. CiteSeerX 10.1.1.294.5948 . doi : 10.1109/CVPR.2011.5995496 . ISBN  978-1-4577-0394-2. S2CID  6006618 .
  121. ^ Grefenstette, Edward; Blunsom, Phil; de Freitas, Nando; Hermann, Karl Moritz (2014-04-29). 「意味解析のためのディープアーキテクチャ」. arXiv : 1404.7296 [ cs.CL ].
  122. ^ Mesnil, Gregoire; Deng, Li; Gao, Jianfeng; He, Xiaodong; Shen, Yelong (2014年4月). 「Web検索における畳み込みニューラルネットワークを用いた意味表現の学習 - Microsoft Research」 . Microsoft Research . 2017年9月15日時点のオリジナルよりアーカイブ。 2015年12月17日閲覧。
  123. ^ Kalchbrenner, Nal; Grefenstette, Edward; Blunsom, Phil (2014-04-08). 「文のモデリングのための畳み込みニューラルネットワーク」arXiv : 1404.2188 [ cs.CL ].
  124. ^ Kim, Yoon (2014-08-25). 「文分類のための畳み込みニューラルネットワーク」. arXiv : 1408.5882 [ cs.CL ].
  125. ^ Collobert、Ronan、Jason Weston。「自然言語処理のための統合アーキテクチャ：マルチタスク学習を備えたディープニューラルネットワーク」Wayback Machineに2019年9月4日にアーカイブ。「機械学習に関する第25回国際会議議事録」ACM、2008年。
  126. ^ Collobert, Ronan; Weston, Jason; Bottou, Leon; Karlen, Michael; Kavukcuoglu, Koray; Kuksa, Pavel (2011-03-02). 「（ほぼ）ゼロからの自然言語処理」. arXiv : 1103.0398 [ cs.LG ].
  127. ^ Yin, W; Kann, K; Yu, M; Schütze, H (2017-03-02). 「自然言語処理におけるCNNとRNNの比較研究」. arXiv : 1702.01923 [ cs.LG ].
  128. ^ Bai, S.; Kolter, JS; Koltun, V. (2018). 「シーケンスモデリングのための汎用畳み込みネットワークとリカレントネットワークの実証的評価」arXiv : 1803.01271 [ cs.LG ].
  129. ^ Gruber, N. (2021). 「リカレントニューラルネットワークを用いたテキスト内のアクションダイナミクスの検出」.ニューラルコンピューティングとアプリケーション. 33 (12): 15709– 15718. doi : 10.1007/S00521-021-06190-5 . S2CID 236307579 . 
  130. ^ Haotian, J.; Zhong, Li; Qianxiao, Li (2021). 「時系列モデリングのための畳み込みアーキテクチャの近似理論」.機械学習国際会議. arXiv : 2107.09355 .
  131. ^ Bohnslav, James P; Wimalasena, Nivanthika K; Clausing, Kelsey J; Dai, Yu Y; Yarmolinsky, David A; Cruz, Tomás; Kashlan, Adam D; Chiappe, M Eugenia; Orefice, Lauren L; Woolf, Clifford J; Harvey, Christopher D (2021-09-02). 「DeepEthogram, a machine learning pipeline for supervised behavior classification from raw pixels」 . eLife . 10 e63377. doi : 10.7554/eLife.63377 . ISSN 2050-084X . PMID 34473051 .  
  132. ^ a bティム・ゲルナット、トビアス・ジャグラ、ベリル・M・ジョーンズ、マーティン・ミッドデンドルフ、ジーン・E・ロビンソン (2023年1月27日). 「バーコードと人工知能を用いたミツバチの自動モニタリングにより、単一の親和行動から2つの異なる社会ネットワークが明らかになる」 . Scientific Reports . 13 (1) 1541. Bibcode : 2023NatSR..13.1541G . doi : 10.1038/s41598-022-26825-4 . ISSN 2045-2322 . PMC 9883485. PMID 36707534 .   
  133. ^ Norouzzadeh, Mohammad Sadegh; Nguyen, Anh; Kosmala, Margaret; Swanson, Alexandra; Palmer, Meredith S.; Packer, Craig; Clune, Jeff (2018-06-19). 「ディープラーニングを用いたカメラトラップ画像における野生動物の自動識別、カウント、記述」 . Proceedings of the National Academy of Sciences . 115 (25): E5716– E5725. Bibcode : 2018PNAS..115E5716N . doi : 10.1073/pnas.1719367115 . ISSN 0027-8424 . PMC 6016780. PMID 29871948 .   
  134. ^ Svenning, Asger; Mougeot, Guillaume; Alison, Jamie; Chevalier, Daphne; Molina, Nisa Luise Chavez; Ong, Song-Quan; Bjerge, Kim; Carrillo, Juli; Hoeye, Toke Thomas (2025-04-14),画像中の陸生節足動物の検出およびセグメンテーションのための一般的な方法、doi : 10.1101/2025.04.08.647223 、 2026年1月17日取得
  135. ^ Torrents, Jordi; Costa, Tiago; De Polavieja, Gonzalo G. (2025-06-02),新しいidtracker.ai：複数動物の追跡を表現学習問題として再考し、精度を高めて追跡時間を短縮する、doi：10.1101/2025.05.30.657023 、 2026年1月17日取得
  136. ^ Mathis, Alexander; Mamidanna, Pranav; Cury, Kevin M.; Abe, Taiga; Murthy, Venkatesh N.; Mathis, Mackenzie Weygandt; Bethge, Matthias (2018年9月). 「DeepLabCut: ディープラーニングによるユーザー定義の身体部位のマーカーレス姿勢推定」 . Nature Neuroscience . 21 (9): 1281– 1289. doi : 10.1038/s41593-018-0209-y . ISSN 1097-6256 . PMID 30127430 .  
  137. ^ Graving, Jacob M; Chae, Daniel; Naik, Hemal; Li, Liang; Koger, Benjamin; Costelloe, Blair R; Couzin, Iain D (2019-10-01). 「DeepPoseKit：ディープラーニングを用いた高速かつ堅牢な動物のポーズ推定のためのソフトウェアツールキット」 . eLife . 8 e47994. Bibcode : 2019eLife...847994G . doi : 10.7554 / eLife.47994 . ISSN 2050-084X . PMC 6897514. PMID 31570119 .   
  138. ^ペレイラ、タルモ D.タブリス、ナサニエル。マッツリア、アリー。ターナー、デビッド M.リー・ジュンユ。ラビンドラナート、シュルティ。パパドヤニス、エレニ S.ノーマンド、エドナ。ドイチュ、デヴィッド S.ワン、Z.ヤン。マッケンジー・スミス、グレース・C.ミテルート、カタリン C.カストロ、マリエリサ・ディエス。ドゥヴァ、ジョン。キスリン、ミハイル（2022年5月）。「出版社の訂正: SLEAP: 複数の動物の姿勢追跡のための深層学習システム」。ネイチャーメソッド。19 (5): 628.土井: 10.1038/s41592-022-01495-2。ISSN 1548-7091。PMC 9119847。PMID 35468969。   
  139. ^ a b Arac, Ahmet; Zhao, Pingping; Dobkin, Bruce H.; Carmichael, S. Thomas; Golshani, Peyman (2019-05-07). 「DeepBehavior: 動物と人間の行動画像データの自動分析のためのディープラーニングツールボックス」 . Frontiers in Systems Neuroscience . 13 20. doi : 10.3389/fnsys.2019.00020 . ISSN 1662-5137 . PMC 6513883. PMID 31133826 .   
  140. ^レン、ハンシェン;徐碧雄。ワン・ユージン。イー、チャオ。黄、コンルイ。コウ、シャオユウ。シン、トニー。ヤン、マオ。トン、ジエ。張斉（2019）。Microsoft の時系列異常検出サービス |知識発見とデータ マイニングに関する第 25 回 ACM SIGKDD 国際会議の議事録。arXiv : 1906.03821。土井: 10.1145/3292500.3330680。S2CID 182952311。 
  141. ^ Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (2015-10-09). 「AtomNet：構造ベース創薬における生物活性予測のための深層畳み込みニューラルネットワーク」arXiv : 1510.02855 [ cs.LG ].
  142. ^ Yosinski, Jason; Clune, Jeff; Nguyen, Anh; Fuchs, Thomas; Lipson, Hod (2015-06-22). 「深層可視化によるニューラルネットワークの理解」arXiv : 1506.06579 [ cs.CV ].
  143. ^ 「トロントのスタートアップ企業が効果的な医薬品をより早く発見する方法を開発」。グローブ・アンド・メール紙。2015年10月20日時点のオリジナルよりアーカイブ。2015年11月9日閲覧。
  144. ^ 「スタートアップ企業がスーパーコンピューターを活用して治療法を模索」 KQED Future of You 2015年5月27日。2018年12月6日時点のオリジナルよりアーカイブ。 2015年11月9日閲覧。
  145. ^ Chellapilla, K; Fogel, DB (1999). 「専門知識に頼らずにチェッカーをプレイするニューラルネットワークの進化」. IEEE Trans Neural Netw . 10 (6): 1382–91 . Bibcode : 1999ITNN...10.1382C . doi : 10.1109/72.809083 . PMID 18252639 . 
  146. ^ Chellapilla, K.; Fogel, DB (2001). 「人間の専門知識を使わずにチェッカーのエキスパートプレイプログラムを進化させる」. IEEE Transactions on Evolutionary Computation . 5 (4): 422– 428. Bibcode : 2001ITEC....5..422C . doi : 10.1109/4235.942536 .
  147. ^フォゲル、デイヴィッド(2001). 『Blondie24: Playing at the Edge of AI』 サンフランシスコ、カリフォルニア州: モーガン・カウフマン. ISBN 978-1-55860-783-5。
  148. ^クラーク、クリストファー、ストーキー、エイモス (2014). 「深層畳み込みニューラルネットワークに囲碁の遊び方を教える」arXiv : 1412.3409 [ cs.AI ].
  149. ^ Maddison, Chris J.; Huang, Aja; Sutskever, Ilya; Silver, David (2014). 「Deep Convolutional Neural Networksを用いた囲碁の着手評価」arXiv : 1412.6564 [ cs.LG ].
  150. ^ “AlphaGo – Google DeepMind” . 2016年1月30日時点のオリジナルよりアーカイブ。2016年1月30日閲覧。
  151. ^バイ、シャオジー;コルター、J. ジーコ。コルトゥン、ヴラドレン（2018-04-19）。 「シーケンスモデリングのための汎用畳み込みネットワークとリカレントネットワークの経験的評価」。arXiv : 1803.01271 [ cs.LG ]。
  152. ^ Yu, Fisher; Koltun, Vladlen (2016-04-30). 「Dilated Convolutionsによるマルチスケールコンテキスト集約」. arXiv : 1511.07122 [ cs.CV ].
  153. ^ Borovykh, Anastasia; Bohte, Sander; Oosterlee, Cornelis W. (2018-09-17). 「畳み込みニューラルネットワークによる条件付き時系列予測」. arXiv : 1703.04691 [ stat.ML ].
  154. ^ Mittelman, Roni (2015-08-03). 「非デシメーション完全畳み込みニューラルネットワークによる時系列モデリング」arXiv : 1508.00317 [ stat.ML ].
  155. ^チェン、イーティアン;カン・ヤンフェイ。チェン・イーシオン。王子卓（2019-06-11）。 「時間畳み込みニューラル ネットワークによる確率的予測」。arXiv : 1906.04397 [ stat.ML ]。
  156. ^ Zhao, Bendong; Lu, Huanzhang; Chen, Shangfeng; Liu, Junliang; Wu, Dongya (2017-02-01). 「時系列分類のための畳み込みニューラルネットワーク」.システム工学とエレクトロニクスジャーナル. 28 (1): 162– 169. doi : 10.21629/JSEE.2017.01.18 .
  157. ^ペトネハージ、ガボール (2019-08-21). 「QCNN: 分位畳み込みニューラル ネットワーク」。arXiv : 1908.07978 [ cs.LG ]。
  158. ^ Hubert Mara (2019-06-07), HeiCuBeDa Hilprecht – Heidelberg Cuneiform Benchmark Dataset for the Hilprecht Collection (ドイツ語), heiDATA – Heidelberg Universityの研究データのための機関リポジトリ, doi : 10.11588/data/IE8CCN
  159. ^ Hubert MaraとBartosz Bogacz (2019)、「壊れたタブレットのコードの解読：正規化された2Dおよび3Dデータセットにおける注釈付き楔形文字の学習課題」、第15回国際文書分析認識会議（ICDAR）の議事録（ドイツ語）、シドニー、オーストラリア、pp.  148– 153、doi：10.1109/ICDAR.2019.00032、ISBN 978-1-7281-3014-9、S2CID  211026941{{citation}}: CS1 maint: ISBNによる作業パラメータ（リンク）
  160. ^ Bogacz, Bartosz; Mara, Hubert (2020)、「幾何学的ニューラルネットワークによる3D楔形文字板の時代分類」、第17回国際手書き認識フロンティア会議 (ICFHR) 議事録、ドルトムント、ドイツ
  161. ^幾何学的ニューラルネットワークを用いた3D楔形文字板の時代分類に関するICFHR論文のYouTubeで
  162. ^ Durjoy Sen Maitra; Ujjwal Bhattacharya; SK Parui、「CNNベースの複数スクリプトの手書き文字認識への共通アプローチ」Wayback Machineに2023年10月16日にアーカイブ、Document Analysis and Recognition (ICDAR)、2015年13回国際会議、vol.、no.、pp.1021–1025、2015年8月23日～26日
  163. ^ "NIPS 2017" . Interpretable ML Symposium . 2017年10月20日. 2019年9月7日時点のオリジナルよりアーカイブ。 2018年9月12日閲覧。
  164. ^ Zang, Jinliang; Wang, Le; Liu, Ziyi; Zhang, Qilin; Hua, Gang; Zheng, Nanning (2018). 「動作認識のための注意に基づく時間的重み付け畳み込みニューラルネットワーク」.人工知能の応用とイノベーション. IFIP情報通信技術の進歩. 第519巻. 出版社: Springer International Publishing. pp.  97– 108. arXiv : 1803.07179 . doi : 10.1007/978-3-319-92007-8_9 . ISBN 978-3-319-92006-1. ISSN  1868-4238 . S2CID  4058889 .
  165. ^ Wang, Le; Zang, Jinliang; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018-06-21). 「注意を考慮した時間的重み付け畳み込みニューラルネットワークによる動作認識」(PDF) . Sensors . 18 (7): 1979. Bibcode : 2018Senso..18.1979W . doi : 10.3390/s18071979 . ISSN 1424-8220 . PMC 6069475. PMID 29933555. 2018年9月13日時点のオリジナルよりアーカイブ(PDF) . 2018年9月14日閲覧.   
  166. ^ Ong, Hao Yi; Chavez, Kevin; Hong, Augustus (2015-08-18). 「分散ディープQ学習」. arXiv : 1508.04186v2 [ cs.LG ].
  167. ^ Mnih, Volodymyr; et al. (2015). 「深層強化学習による人間レベルの制御」. Nature . 518 (7540): 529– 533. Bibcode : 2015Natur.518..529M . doi : 10.1038/nature14236 . PMID 25719670. S2CID 205242740 .  
  168. ^ Sun, R.; Sessions, C. (2000年6月). 「シーケンスの自己セグメンテーション：シーケンシャル行動の階層の自動形成」. IEEE Transactions on Systems, Man, and Cyber​​netics - Part B: Cyber​​netics . 30 (3): 403– 418. Bibcode : 2000ITSMB..30..403S . CiteSeerX 10.1.1.11.226 . doi : 10.1109/3477.846230 . ISSN 1083-4419 . PMID 18252373 .   
  169. ^ 「CIFAR-10における畳み込みディープビリーフネットワーク」(PDF)。2017年8月30日時点のオリジナルよりアーカイブ(PDF) 。 2017年8月18日閲覧。
  170. ^ Lee, Honglak; Grosse, Roger; Ranganath, Rajesh; Ng, Andrew Y. (2009年1月1日). 「階層的表現のスケーラブルな教師なし学習のための畳み込みディープビリーフネットワーク」.第26回国際機械学習会議論文集. ACM. pp.  609– 616. CiteSeerX 10.1.1.149.6800 . doi : 10.1145/1553374.1553453 . ISBN  978-1-60558-516-1. S2CID  12008458 .
  171. ^ベーンケ、スヴェン (2003).画像解釈のための階層的ニューラルネットワーク(PDF) . コンピュータサイエンス講義ノート. 第2766巻. シュプリンガー. doi : 10.1007/b11963 . ISBN 978-3-540-40722-5. S2CID  1304548 . 2017年8月10日にオリジナルからアーカイブ（PDF） . 2016年12月28日閲覧.
  172. ^ Choi, Rene Y.; Coyner, Aaron S.; Kalpathy-Cramer, Jayashree; Chiang, Michael F.; Campbell, J. Peter (2020年2月). 「機械学習、ニューラルネットワーク、ディープラーニング入門」 . Wired . 2018年1月13日時点のオリジナルよりアーカイブ。 2017年3月6日閲覧。
「 https://en.wikipedia.org/w/index.php?title=畳み込みニューラルネットワーク&oldid =1333424721」より取得