フィードフォワードニューラルネットワーク

フィードフォワード ネットワークでは、情報は常に一方向に移動し、逆方向には移動しません。

物体検出のためのニューラルネットワークの学習の簡略化された例：ネットワークは、ヒトデまたはウニを描いた複数の画像で学習され、これらの画像は視覚的特徴を表す「ノード」と相関関係にあります。ヒトデはリング状のテクスチャと星型の輪郭と一致し、ウニの多くは縞模様のテクスチャと楕円形と一致します。しかし、リング状のテクスチャを持つウニのインスタンスは、それらの間に弱い重み付けの関連付けを作成します。

入力画像（左）に対するネットワークのその後の実行：^{[ 1 ]}ネットワークはヒトデを正しく検出しました。しかし、リング状のテクスチャとウニの間の弱い重み付けの関連付けにより、2つの中間ノードの1つからウニにも弱い信号が与えられています。さらに、トレーニングに含まれていなかった貝殻が楕円形に対して弱い信号を与え、ウニの出力にも弱い信号を与えています。これらの弱い信号は、ウニに対して偽陽性の結果をもたらす可能性があります。実際には、テクスチャと輪郭は単一のノードではなく、複数のノードの関連する重みパターンによって表されます。

フィードフォワードニューラルネットワークは、情報が一方向に流れる人工ニューラルネットワークです。つまり、入力に重みを掛けて出力（入力から出力）を得ます。 ^{[ 2 ]}これは、ループによって後の処理段階からの情報が前の段階にフィードバックされる再帰型ニューラルネットワークとは対照的です。 ^{[ 3 ]}フィードフォワード乗算はバックプロパゲーションに不可欠です。^{[ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ]}なぜなら、出力がまったく同じ入力にフィードバックしてそれを変更するフィードバックは、バックプロパゲーションでは区別できない無限ループを形成するためです。この命名法は、一部のコンピューター科学者と脳ネットワークを研究する他の分野の科学者の間で混乱の原因となっているようです。^{[ 9 ]}

数学の基礎

活性化関数

歴史的によく使われる2つの活性化関数はどちらもシグモイド関数であり、次のように記述されます。

$${\displaystyle y(v_{i})=\tanh(v_{i})~~{\text{and}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}.}$$

1つ目は-1から1までの範囲の双曲線正接関数であり、もう1つはロジスティック関数です。ロジスティック関数は形状は似ていますが、範囲は0から1です。ここでは、番目のノード（ニューロン）の出力であり、は入力接続の重み付き和です。他に、整流器関数やソフトプラス関数などの活性化関数が提案されています。より特殊な活性化関数としては、ラジアル基底関数（別の種類の教師ありニューラルネットワークモデルであるラジアル基底ネットワークで使用される）があります。 ${\displaystyle y_{i}}$ ${\displaystyle i}$ ${\displaystyle v_{i}}$

最近のディープラーニングの開発では、シグモイドに関連する 数値問題を克服する方法の 1 つとして、ReLU (Rerectified Linear Unit)がより頻繁に使用されています。

学ぶ

学習は、各データが処理されるたびに、期待される結果と比較した出力の誤差の量に基づいて接続の重みを変更することによって行われます。これは教師あり学習の一例であり、バックプロパゲーションによって実行されます。

出力ノードの- 番目のデータ ポイント (トレーニング例)におけるエラーの度合いは で表すことができます。ここで、はノードの - 番目のデータ ポイントの望ましいターゲット値であり、は - 番目のデータ ポイントが入力として与えられたときにノードで生成される値です。 ${\displaystyle j}$ ${\displaystyle n}$ ${\displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)}$ ${\displaystyle d_{j}(n)}$ ${\displaystyle n}$ ${\displaystyle j}$ ${\displaystyle y_{j}(n)}$ ${\displaystyle j}$ ${\displaystyle n}$

ノードの重みは、次の式で与えられる、第 -番目のデータポイント の出力全体の誤差を最小化する補正に基づいて調整される。${\displaystyle n}$

$${\displaystyle {\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{出力ノード }}j}e_{j}^{2}(n).}$$

勾配降下法を用いると、各重みの変化は ${\displaystyle w_{ij}}$

$${\displaystyle \Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)}$$

ここで、 は前のニューロン の出力であり、は学習率です。これは、重みが振動することなく応答に速やかに収束するように選択されます。前の式において、 はニューロン の入力接続の重み付き和に応じた誤差の偏微分を表します。 ${\displaystyle y_{i}(n)}$ ${\displaystyle i}$ ${\displaystyle \eta}$ ${\displaystyle {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}}$ ${\displaystyle {\mathcal {E}}(n)}$ ${\displaystyle v_{j}(n)}$ ${\displaystyle i}$

計算される導関数は、誘導された局所場に依存し、この局所場自体も変化する。出力ノードに対してこの導関数が次のように簡略化できることは容易に証明できる。 ${\displaystyle v_{j}}$

$${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))}$$

ここで、は前述の活性化関数の微分であり、それ自体は変化しない。隠れノードへの重みの変化については分析がより困難となるが、関連する微分は次のように示される。 ${\displaystyle \phi ^{\prime }}$

$${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)。$$

これは、出力層を表す 番目のノードの重みの変化に依存します。したがって、隠れ層の重みを変化させるには、出力層の重みを活性化関数の微分に応じて変化させる必要があります。つまり、このアルゴリズムは活性化関数の逆伝播を表しています。^{[ 10 ]}${\displaystyle k}$

歴史

タイムライン

• 1800年頃、ルジャンドル（1805）とガウス（1795）は、線形活性化関数を持つ単一の重み層からなる最も単純なフィードフォワードネットワークを構築した。このネットワークは、平均二乗誤差（線形回帰とも呼ばれる）を最小化する最小二乗法によって学習された。ルジャンドルとガウスは、このネットワークを用いて学習データから惑星の運動を予測した。^{[ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ]}
• 1943年、ウォーレン・マカロックとウォルター・ピッツは、生物学的ニューラルネットワークの論理モデルとしてバイナリ人工ニューロンを提案した。 ^{[ 16 ]}
• 1958年、フランク・ローゼンブラットは、入力層、学習しないランダムな重みを持つ隠れ層、学習可能な接続を持つ出力層で構成される多層パーセプトロンモデルを提案しました。 ^{[ 17 ]} R・D・ジョセフ（1960）^{[ 18 ]}はさらに初期のパーセプトロンのような装置について言及しています。^{[ 13 ]}「MITリンカーン研究所のファーリーとクラークは、実際にはローゼンブラットより先にパーセプトロンのような装置を開発していました。」しかし、「彼らはその主題を放棄しました。」
• 1960年、ジョセフ^{[ 18 ]}も適応型隠れ層を持つ多層パーセプトロンについて論じた。ローゼンブラット(1962) ^{[ 19 ]：第16節} ではこれらのアイデアを引用・採用し、HDブロックとBWナイトの研究にも言及した。残念ながら、これらの初期の取り組みは、隠れユニットの実用的な学習アルゴリズム、すなわち深層学習には繋がらなかった。
• 1965年、アレクセイ・グリゴレヴィッチ・イヴァクネンコとヴァレンティン・ラパは、任意の深さのニューラルネットワークを訓練する手法である、最初の実用的な深層学習アルゴリズムであるグループ法データ処理法を発表しました。 ^{[ 20 ] [ 21 ]}これは、回帰分析による層ごとの訓練に基づいています。余分な隠れユニットは、別の検証セットを用いて除去されます。ノードの活性化関数はコルモゴロフ・ガボール多項式であるため、これは乗法ユニット、つまり「ゲート」を備えた最初の深層ネットワークでもありました。^{[ 13 ]}これは1971年に8層ニューラルネットワークの訓練に使用されました。
• 1967年、天理俊一は確率的勾配降下法を用いて学習された最初の多層ニューラルネットワークを報告した^{[ 22 ]} 。このネットワークは非線形に分離可能なパターンクラスを分類することができた。天理の弟子である斎藤は、2つの学習層を持つ5層のフィードフォワードネットワークを用いてコンピュータ実験を行った^{[ 13 ] 。}
• 1970年、セッポ・リンナインマーは修士論文（1970）の中で、バックプロパゲーションの現代的な形式を発表しました。^{[ 23 ] [ 24 ] [ 13 ]} GMオストロフスキーらは1971年にそれを再発表しました。 ^{[ 25 ] [ 26 ]}ポール・ワーボスは1982年にニューラルネットワークにバックプロパゲーションを適用しました^{[ 7 ] [ 27 ]}（彼の1974年の博士論文は1994年の著書に再録されましたが、^{[ 28 ]}アルゴリズムはまだ説明されていませんでした^{[ 26 ]}）。1986年、デビッド・E・ルメルハートらはバックプロパゲーションを普及させましたが、元の研究を引用していませんでした。^{[ 29 ] [ 8 ]}
• 2003年、ヨシュア・ベンジオと共著者らによる言語モデルへの深層学習の適用の成功により、バックプロパゲーションネットワークへの関心が再び高まりました。 ^{[ 30 ]}

線形回帰

パーセプトロン

閾値、つまり線形活性化関数を使用する場合、結果として得られる線形閾値ユニットはパーセプトロンと呼ばれます。（この用語は、これらのユニットの1つだけを指すために使用されることが多いです。）複数の並列非線形ユニットは、線形閾値関数を持つ単一のユニットの計算能力が限られているにもかかわらず、実数のコンパクトな区間から区間[−1,1]への任意の連続関数を近似することができます。^{[ 31 ]}

XOR演算が可能な2層ニューラルネットワーク。ニューロン内の数字は、それぞれの閾値を表します。矢印に付いた数字は、入力の重みを表します。閾値2に達した場合、次の層への重み乗算には1が使用されます。閾値に達しない場合は、0が使用されます。最下層の入力は、必ずしも実際のニューラルネットワーク層とはみなされません。

パーセプトロンは、通常デルタルールと呼ばれる単純な学習アルゴリズムによって学習できます。デルタルールは、計算された出力とサンプル出力データとの間の誤差を計算し、それに基づいて重みを調整することで、一種の勾配降下法を実現します。

多層パーセプトロン

多層パーセプトロン（MLP）は、現代のフィードフォワード人工ニューラルネットワークの誤った名称である。MLPは完全に接続されたニューロン（そのため、完全接続ネットワーク（FCN ）と同義語として使われることもある）で構成され、多くの場合、非線形の活性化関数を持ち、少なくとも3つの層で構成され、線形に分離できないデータを区別できることで知られている。^{[ 32 ]}

その他のフィードフォワードネットワーク

1次元畳み込みニューラルネットワークのフィードフォワードの例

他のフィードフォワード ネットワークの例としては、異なる活性化関数を使用する 畳み込みニューラル ネットワークやラジアル ベース関数ネットワークなどがあります。

参照

• フィードフォワード（制御）
• フィードバックニューラルネットワーク
• ホップフィールドネットワーク
• Rprop

参考文献

1. Ferrie, C., Kaiser, S. (2019).赤ちゃんのためのニューラルネットワーク. Sourcebooks. ISBN 978-1492671206。
2. ゼル、アンドレアス (1994)。Simulation Neuronaler Netze [ニューラル ネットワークのシミュレーション] (ドイツ語) (第 1 版)。アディソン・ウェスリー。 p. 73.ISBN​ 3-89319-554-8。
3. Schmidhuber, Jürgen (2015-01-01) . 「ニューラルネットワークにおけるディープラーニング：概要」. Neural Networks . 61 : 85–117 . arXiv : 1404.7828 . doi : 10.1016/j.neunet.2014.09.003 . ISSN 0893-6080 . PMID 25462637. S2CID 11715509 .   
4. Linnainmaa, Seppo (1970).アルゴリズムの累積丸め誤差の局所丸め誤差のテイラー展開による表現（修士論文）（フィンランド語）. ヘルシンキ大学. p. 6–7.
5. ケリー、ヘンリー・J. (1960). 「最適飛行経路の勾配理論」. ARSジャーナル. 30 (10): 947– 954. doi : 10.2514/8.5282 .
6. ローゼンブラット、フランク. x. 神経ダイナミクスの原理：パーセプトロンと脳メカニズムの理論. スパルタンブックス、ワシントンDC、1961年
7. Werbos, Paul (1982). 「非線形感度解析における進歩の応用」(PDF) .システムモデリングと最適化. Springer. pp.  762– 770. 2016年4月14日時点のオリジナルよりアーカイブ(PDF) . 2017年7月2日閲覧。
8. ルメルハート、デイビッド・E.、ジェフリー・E. ヒントン、RJ・ウィリアムズ。「エラー伝播による内部表現の学習（Wayback Machineに2022年10月13日アーカイブ）」。デイビッド・E. ルメルハート、ジェームズ・L. マクレランド、PDP研究グループ（編）『並列分散処理：認知の微細構造の探究』第1巻：基礎編。MITプレス、1986年。
9. Achler, T. (2023). 「AI、神経科学、認知科学が互いに学べること：組み込みの視点」認知計算.
10. ヘイキン、サイモン（1998年）『ニューラルネットワーク：包括的な基礎』（第2版）プレンティス・ホール出版、ISBN 0-13-273350-1。
11. メリマン、マンスフィールド著『最小二乗法に関する文献一覧：歴史的・批評的注釈付き』第4巻、アカデミー、1877年。
12. スティグラー、スティーブン・M. (1981). 「ガウスと最小二乗法の発明」 . Ann. Stat . 9 (3): 465– 474. doi : 10.1214/aos/1176345451 .
13. Schmidhuber, Jürgen (2022). 「現代AIとディープラーニングの注釈付き歴史」. arXiv : 2212.11279 [ cs.NE ].
14. Bretscher, Otto (1995).線形代数とその応用（第3版）. アッパーサドルリバー、ニュージャージー州: Prentice Hall.
15. スティグラー、スティーブン・M. (1986). 『統計の歴史：1900年以前の不確実性の測定』ケンブリッジ：ハーバード大学. ISBN 0-674-40340-1。
16. McCulloch, Warren S.; Pitts, Walter (1943-12-01). 「神経活動に内在する概念の論理的計算」 . The Bulletin of Mathematical Biophysics . 5 (4): 115– 133. doi : 10.1007/BF02478259 . ISSN 1522-9602 . 
17. ローゼンブラット、フランク(1958) . 「パーセプトロン：脳における情報の蓄積と組織化のための確率モデル」.心理学評論. 65 (6): 386– 408. CiteSeerX 10.1.1.588.3775 . doi : 10.1037/h0042519 . PMID 13602029. S2CID 12781225 .   
18. Joseph, RD (1960).パーセプトロン理論への貢献, コーネル航空研究所報告書 No. VG-11 96--G-7, バッファロー.
19. ローゼンブラット、フランク(1962). 『神経力学の原理』 スパルタン、ニューヨーク。
20. Ivakhnenko, AG (1973).サイバネティック予測装置. CCM Information Corporation.
21. Ivakhnenko, AG ; Grigorʹevich Lapa, Valentin (1967).サイバネティクスと予測技術. American Elsevier Pub. Co.
22. 天理俊一(1967). 「適応型パターン分類器の理論」. IEEE Transactions . EC (16): 279-307.
23. Linnainmaa, Seppo (1970).アルゴリズムの累積丸め誤差の局所丸め誤差のテイラー展開による表現（修士論文）（フィンランド語）. ヘルシンキ大学. p. 6–7.
24. Linnainmaa, Seppo (1976). 「累積丸め誤差のテイラー展開」BIT Numerical Mathematics . 16 (2): 146– 160. doi : 10.1007/bf01931367 . S2CID 122357351 . 
25. Ostrovski, GM, Volin, YM, Boris, WW (1971). 導関数の計算について. Wiss. Z. Tech. Hochschule for Chemistry, 13:382–384.
26. Schmidhuber, Juergen (2014年10月25日). 「Who Invented Backpropagation?」 IDSIA、スイス. 2024年7月30日時点のオリジナルよりアーカイブ。2024年9月14日閲覧。
27. アンダーソン, ジェームズ・A.、ローゼンフェルド, エドワード編 (2000). Talking Nets: An Oral History of Neural Networks . MIT Press. doi : 10.7551/mitpress/6626.003.0016 . ISBN 978-0-262-26715-1。
28. ワーボス、ポール・J. (1994). 『バックプロパゲーションのルーツ：順序付き微分からニューラルネットワーク、そして政治予測まで』 ニューヨーク：ジョン・ワイリー・アンド・サンズ. ISBN 0-471-59897-6。
29. Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986年10月). 「誤差逆伝播による表現の学習」 . Nature . 323 (6088): 533– 536. Bibcode : 1986Natur.323..533R . doi : 10.1038/323533a0 . ISSN 1476-4687 . 
30. Bengio, Yoshua; Ducharme, Réjean; Vincent, Pascal; Janvin, Christian (2003年3月). 「ニューラル確率言語モデル」 . The Journal of Machine Learning Research . 3 : 1137–1155 .
31. Auer, Peter; Harald Burgsteiner; Wolfgang Maass (2008). 「単層のパーセプトロンからなる非常に単純な普遍近似器の学習規則」(PDF) . Neural Networks . 21 (5): 786– 795. doi : 10.1016/j.neunet.2007.12.036 . PMID 18249524.オリジナル(PDF)から2011年7月6日にアーカイブ. 2009年9月8日閲覧. 
32. Cybenko, G. 1989. シグモイド関数の重ね合わせによる近似制御、信号、システムの数学、2(4)、303–314。

外部リンク

• フィードフォワードニューラルネットワークのチュートリアル
• フィードフォワードニューラルネットワーク：例
• フィードフォワードニューラルネットワーク：入門