モジュラーニューラルネットワーク

モジュラーニューラルネットワークは、コホモロジー理論のコホモロジー構造などの仲介者によって調整された一連の独立したニューラルネットワークを特徴とする人工ニューラルネットワークです。各独立したニューラルネットワークはモジュールとして機能し、個別の入力を処理して、ネットワークが実行しようとするタスクのサブタスクを実行します。 ^{[ 1 ]}仲介者は各モジュールの出力を受け取り、それらを処理してネットワーク全体の出力を生成します。仲介者はモジュールの出力を受け入れるだけで、モジュールに応答したり、信号を送信したりすることはありません。また、モジュール同士が相互作用することはありません。

生物学的根拠

人工ニューラルネットワークの研究が進むにつれ、人工ニューラルネットワークが生物学的なインスピレーションを活用し続け、脳に見られるセグメンテーションとモジュール化を模倣することは適切であると考えられます。例えば、脳は視覚知覚という複雑なタスクを多くのサブタスクに分割します。^{[ 2 ]}脳の一部である視床には外側膝状体（LGN）があり、これは視覚の主要な構成要素である色とコントラストを個別に処理する層に分かれています。^{[ 3 ]} LGNは各構成要素を並列に処理した後、結果を別の領域に渡して結果をまとめます。

脳が処理するタスクの中には、視覚のように階層的なサブネットワークを用いるものがあります。しかし、これらの個別のプロセスを何らかの仲介者が結び付けているかどうかは明らかではありません。むしろ、タスクがより抽象化されるにつれて、モジュール型ニューラルネットワークモデルとは異なり、モジュール同士が相互に通信するようになります。

デザイン

任意のタスクを割り当てられる単一の大規模ネットワークとは異なり、モジュール型ネットワーク内の各モジュールには、設計者によって特定のタスクが割り当てられ、他のモジュールと特定の方法で接続される必要があります。視覚の例では、脳は学習したのではなく進化してLGNを作成しました。場合によっては、設計者は生物学的モデルに従うことを選択するかもしれません。また、他のモデルの方が優れている場合もあります。結果の品質は、設計の質に左右されます。

複雑

モジュラーニューラルネットワークは、単一の大規模で扱いにくいニューラルネットワークを、より小さく、より管理しやすいコンポーネントに縮小します。^{[ 1 ]}タスクによっては、単一のニューラルネットワークでは手に負えないほど大規模なものもあります。モジュラーニューラルネットワークの利点は次のとおりです。

効率

ニューロン（ノード）の接続数は、ネットワークにノードが追加されるにつれて二次関数的に増加します。計算時間はノード数とその接続数に依存し、接続数の増加は処理時間に大きな影響を与えます。個々のモジュールに特定のサブタスクを割り当てることで、必要な接続数を削減できます。

トレーニング

複数のパラメータをモデル化しようとする大規模なニューラルネットワークは、新しいデータが既存の接続を変化させたり、混乱を招いたりするなど、干渉の影響を受ける可能性があります。各モジュールは独立して学習することができ、より単純なタスクをより正確に習得できます。これにより、学習アルゴリズムと学習データの実装がより迅速になります。

堅牢性

大規模なニューラルネットワークは、生物由来か人工由来かに関わらず、そのノードの一つ一つにおける干渉や故障の影響を非常に受けやすい。サブタスクを区分化することで、故障や干渉の診断が容易になり、各サブネットワークが互いに独立しているため、他のサブネットワークへの影響も排除される。

注記

1. アザム 2000 .
2. ハッペル＆ムレ 1994 .
3. ヒューベル＆リビングストン 1990 .

参考文献

• アザム、ファルーク (2000). 「生物学に着想を得たモジュラーニューラルネットワーク．博士論文」．バージニア工科大学．HDL : 10919/27998．
• ハッペル, バート; ムレ, ジェイコブ (1994). 「モジュラーニューラルネットワークアーキテクチャの設計と進化」(PDF) .ニューラルネットワーク. 7 ( 6–7 ): 985–1004 . doi : 10.1016/s0893-6080(05)80155-8 .
• Hubel, DH; Livingstone, MS (1990). 「マカクザルの外側膝状体と一次視覚皮質における色覚およびコントラスト感度」 . Journal of Neuroscience . 10 (7): 2223– 2237. doi : 10.1523/JNEUROSCI.10-07-02223.1990 . PMC  6570379. PMID  2198331 .
• Tahmasebi, P.; Hezarkhani, A. (2011). 「品位推定におけるモジュラーフィードフォワードの応用」.天然資源研究. 20 (1): 25– 32. doi : 10.1007/s11053-011-9135-3 . S2CID  45997840 .
• Clune, Jeff; Mouret, Jean-Baptiste; Lipson, Hod (2013-01-30). 「モジュール性の進化的起源」 . Proceedings of the Royal Society B: Biological Sciences . 280 (1755) 20122863. arXiv : 1207.2743 . doi : 10.1098 / rspb.2012.2863 . ISSN  0962-8452 . PMC  3574393. PMID  23363632 .
• Tahmasebi, Pejman; Hezarkhani, Ardeshir (2012). 「透過率予測のための高速かつ独立した人工ニューラルネットワークアーキテクチャ」. Journal of Petroleum Science and Engineering . 86 : 118– 126. Bibcode : 2012JPSE...86..118T . doi : 10.1016/j.petrol.2012.03.019 .