認知コンピュータ

コグニティブコンピュータとは、人工知能と機械学習アルゴリズムを集積回路にハードワイヤード化し、人間の脳の行動を忠実に再現するコンピュータである。[ 1 ]一般的にはニューロモルフィック工学のアプローチを採用している。同義語には、ニューロモルフィックチップやコグニティブチップなどがある。[ 2 ] [ 3 ]

2023年には、IBMの概念実証チップNorthPole（2ビット、4ビット、8ビットの精度に最適化）が画像認識において驚異的な性能を達成した。[ 4 ]

2013年、IBMはニューラルネットワークとディープラーニング技術を用いた認知コンピュータであるWatsonを開発しました。 [ 5 ]翌年、同社は2014 TrueNorthマイクロチップアーキテクチャを開発しました。 [ 6 ]これは、従来のコンピュータで使用されているフォンノイマンアーキテクチャよりも人間の脳の構造に近いように設計されています。 [ 1 ] 2017年には、Intelも「Loihi」で認知チップの独自バージョンを発表し、2018年に大学や研究室で利用できるようになることを意図していました。Intel（最も有名なのはPohoiki BeachとSpringsシステム[ 7 ] [ 8 ]）、Qualcomm、その他の企業は、ニューロモルフィックプロセッサを着実に改良しています。

IBM TrueNorthチップ

16個のTrueNorthチップを搭載したDARPA SyNAPSEボード

TrueNorthは、IBMが2014年に開発したニューロモルフィックCMOS集積回路です。 [ 9 ]これは、チップ上に4096個のコアを持つメニーコアプロセッサネットワークです。各コアには256個のプログラム可能なシミュレーションニューロンがあり、合計で100万個強のニューロンがあります。また、各ニューロンには256個のプログラム可能な「シナプス」があり、それらがニューロン間で信号を伝達します。したがって、プログラム可能なシナプスの総数は2億6800万個強（2の28乗）です。基本トランジスタ数は54億個です。

2023年に浙江大学とアリババはニューロモルフィックチップであるDarwinを開発した[ 10 ]。darwin3チップは2023年頃に設計されたため、IBMのTrueNorthやIntelのLoihIと比較するとかなり新しいものである。

詳細

メモリ、計算、通信は4096個のニューロシナプスコアそれぞれで処理され、TrueNorthはフォンノイマンアーキテクチャのボトルネックを回避し、非常にエネルギー効率に優れています。IBMは消費電力70ミリワット、電力密度は従来のマイクロプロセッサの1/10,000であると主張しています。[ 11 ] SyNAPSEチップは計算に必要な電力のみを消費するため、より低い温度と電力で動作します。[ 12 ]チップ上のシナプスのモデルとして、スカイミオンが提案されています。[ 13 ] [ 14 ]

ニューロンは、リーキー積分発火モデルを簡略化した線形リーク積分発火（LLIF）モデルを使用してエミュレートされます。[ 15 ]

IBMによれば、このプロセッサにはクロックがなく、[ 16 ]単項数を演算し、最大19ビットまでカウントして計算を行う。[ 6 ] [ 17 ]コアは同期ロジックと非同期ロジックの両方を使用してイベント駆動され、非同期パケット交換メッシュネットワークオンチップ（NOC）を介して相互接続されている。[ 17 ]

IBMは、TrueNorthをプログラミングして使用するための新しいネットワークを開発しました。これには、シミュレータ、新しいプログラミング言語、統合プログラミング環境、そしてライブラリが含まれていました。[ 16 ]従来の技術（例えばC++コンパイラ）との後方互換性がないため、深刻なベンダーロックインのリスクやその他の悪影響が生じ、将来の商用化を妨げる可能性があります。[ 16 ]

研究

2018年には、マスターコンピュータにリンクされたTrueNorthネットワークのクラスターが、シーン内の急速に移動する物体の奥行きを抽出しようとするステレオビジョン研究に使用されました。[ 18 ]

IBM NorthPoleチップ

2023年、IBMはNorthPoleチップをリリースした。これは、チップ上のメモリとコンピューティングを絡み合わせてフォン・ノイマン・ボトルネックを解消することでパフォーマンスを劇的に向上させる概念実証である。IBMの2014年のTrueNorthシステムのアプローチと最新のハードウェア設計を融合し、TrueNorthの約4,000倍の速度を実現する。製造に使用された同じ12nmノードプロセスを使用するGPUと比較した場合、 ResNet- 50またはYolo-v4の画像認識タスクを約22倍高速に、25倍のエネルギーと5倍のスペースで実行できる。224MBのRAMと256個のプロセッサコアを含み、8ビット精度で1コアあたり1サイクルあたり2,048回の演算、2ビット精度で8,192回の演算を実行できる。25〜425MHzで動作する。[ 4 ] [ 19 ] [ 20 ] [ 21 ]これは推論チップですが、メモリと精度の制限のため、まだGPT-4を処理できません[ 22 ]

Intel Loihiチップ

ポホイキ・スプリングス

Pohoiki Springsは、2017年に発表されたIntelの自己学習型ニューロモルフィック・チップ「Loihi」を組み込んだシステムで、ハワイの海山ロイヒにちなんで名付けられたものと思われる。Intelによると、Loihiはニューラル・ネットワークのトレーニングに使用される汎用コンピューティング・システムよりも約1000倍エネルギー効率が高い。理論上、Loihiはクラウド接続とは独立して、同じシリコン上で機械学習のトレーニングと推論の両方をサポートし、畳み込みニューラル・ネットワークやディープラーニング・ニューラル・ネットワークよりも効率的だ。Intelは、人の心拍をモニタリングし、運動や食事などのイベントの後に測定値を取得し、チップを使用してデータを正規化して「正常な」心拍を算出するシステムを挙げている。これにより、異常を発見し、新たなイベントや状況に対処できる。

このチップの最初のイテレーションは、インテルの14 nm製造プロセスを使用して製造され、1,024個の人工ニューロンからなる128個のクラスター、合計131,072個のシミュレートされたニューロンを収容しています。[ 23 ]これは約1億3000万個のシナプスを提供しますが、これは人間の脳の800兆個のシナプスよりもはるかに少なく、IBMのTrueNorthよりも少ないです。[ 24 ] Loihiは、 USBフォームファクタとして40以上の学術研究グループで研究目的で利用できます。 [ 25 ] [ 26 ]

2019年10月、ラトガース大学の研究者らは、インテルのLoihiが同時位置推定と地図作成を解決する際のエネルギー効率を実証する研究論文を発表しました。[ 27 ]

2020年3月、インテルとコーネル大学は、インテルのLoihiがさまざまな危険物質を認識する能力を実証する研究論文を発表しました。この能力は、最終的には「病気の診断、武器や爆発物の検出、麻薬の発見、煙や一酸化炭素の兆候の発見」に役立つ可能性があります。[ 28 ]

ポホイキビーチ

インテルのLoihi 2（Pohoiki Beach）は、2021年9月に64コアでリリースされました。[ 29 ]より高速な速度、スケーラビリティを向上させるためのより広い帯域幅のチップ間通信、チップあたりの容量の増加、プロセスのスケーリングによるよりコンパクトなサイズ、およびプログラマビリティの向上を誇ります。[ 30 ]

ハラポイント

Hala Pointは、Intel 3プロセスノードで製造されたLoihi 2プロセッサ1,152基を6ラックユニットの筐体に搭載しています。このシステムは、140,544個のニューロモルフィック・プロセッシング・コアに分散された最大11億5千万個のニューロンと1,280億個のシナプスをサポートし、消費電力は2,600ワットです。補助的な演算処理用に、2,300個以上の組み込みx86プロセッサを搭載しています。

インテルは2024年、Hala Pointが世界最大のニューロモルフィック・システムであると主張しました。Loihi 2チップを搭載しており、ニューロン容量は10倍、パフォーマンスは最大12倍向上するとされています。Darwin3チップはこれらのスペックを上回っています。

Hala Point は、1 秒あたり最大 20 京回の演算 (20 ペタオプス) を実行でき、従来のディープ ニューラル ネットワークでは 15 兆回 (8 ビット) の演算 s −1 W −1を超える効率を実現します。

Hala Point は、処理、メモリ、通信チャネルを大規模に並列化されたファブリックに統合し、16 PB s −1のメモリ帯域幅、3.5 PB s −1のコア間通信帯域幅、5 TB s −1のチップ間帯域幅を提供します。

このシステムは11億5000万個のニューロンを人間の脳の20倍の速度で処理することができます。そのニューロン容量は、フクロウの脳やオマキザルの大脳皮質とほぼ同等です。

Loihi ベースのシステムは、CPU/GPU アーキテクチャよりも 100 倍少ないエネルギーで最大 50 倍の速度で推論と最適化を実行できます。

インテルは、ハラポイントがLLMを作成できると主張している。[ 31 ]さらなる研究が必要である[ 22 ]

スピナカー

SpiNNaker（スパイキングニューラルネットワークアーキテクチャ）は、マンチェスター大学コンピュータサイエンス学部の高度プロセッサ技術研究グループによって設計された超並列、メニーコアスーパーコンピュータアーキテクチャです。[ 32 ]

批判

批評家は、 IBMのワトソンのような部屋サイズのコンピュータは、3ポンドの人間の脳の現実的な代替物ではないと主張している。[ 33 ]また、分散した情報源や計算リソースなど、多くの要素を単一のシステムに統合することは困難だと指摘する人もいる。[ 34 ]

2021年、ニューヨーク・タイムズ紙はスティーブ・ローア氏による記事「IBMのワトソンに一体何が起きたのか？」を掲載した。[ 35 ]彼はIBMワトソンのいくつかの大きな失敗について書いている。その一つであるがん関連のプロジェクト「オンコロジー・エキスパート・アドバイザー」は[ 36 ]、大きな失敗として2016年に中止された。共同研究中、ワトソンは患者データを利用できなかった。ワトソンは医師の診断書や患者の病歴を解読するのに苦労した。

LLMの開発により、認知コンピュータが新たな重点を置くようになりました。これは、 LLMの基盤となるTransformerテクノロジがGPUとPCに膨大なエネルギーを必要とするためです。認知コンピュータは消費電力が非常に少ないものの、STDPやニューロンモデルの詳細はバックプロパゲーションの精度にはまだ及ばないため、 QATやPQT 、あるいは漸進的量子化といったANNからSNNへの重み変換が普及しつつあります。ただし、それぞれに限界があります。

参照

参考文献

  1. ^ a bウィッチオールズ、クリント（2014年11月）「考えるコンピューター」ニューサイエンティスト誌224 (2994): 28– 29. Bibcode : 2014NewSc.224...28W . doi : 10.1016/S0262-4079(14)62145-X .
  2. ^ Seo, Jae-sun; Brezzo, Bernard; Liu, Yong; Parker, Benjamin D.; Esser, Steven K.; Montoye, Robert K.; Rajendran, Bipin; Tierno, José A.; Chang, Leland; Modha, Dharmendra S.; Friedman, Daniel J. (2011年9月). 「スパイキングニューロンネットワークの学習のためのスケーラブルなアーキテクチャを備えた45nm CMOSニューロモルフィックチップ」. 2011 IEEE Custom Integrated Circuits Conference (CICC) . pp.  1– 4. doi : 10.1109/CICC.2011.6055293 . ISBN 978-1-4577-0222-8. S2CID  18690998 .
  3. ^ 「サムスン、IBMの脳模倣チップを先進センサーに搭載」 Engadget 2021年12月21日閲覧。
  4. ^ a b「IBM、高速で効率的なAIを実現する脳に着想を得たチップを発表 - IEEE Spectrum」 IEEE 2023年10月30日閲覧。
  5. ^ケリー, ジョン・E.; ハム, スティーブ (2013).スマートマシン：IBMのWatsonとコグニティブコンピューティングの時代. コロンビア大学出版局. doi : 10.7312/kell16856 . ISBN 9780231537278. JSTOR  10.7312/kell16856 .
  6. ^ a b「脳のアーキテクチャと効率…チップ上」 IBMリサーチブログ. 2016年12月19日. 2021年8月21日閲覧。
  7. ^ 「Intelの64チップニューロモルフィックシステムPohoiki Beachが研究テストで画期的な結果を達成」 Intelニュースルーム。
  8. ^ Eun-Jin, Kim (2020年3月30日). 「韓国の研究者の開発」 . Businesskorea .
  9. ^ Merolla, PA; Arthur, JV; Alvarez-Icaza, R.; Cassidy, AS; Sawada, J.; Akopyan, F.; Jackson, BL; Imam, N.; Guo, C.; Nakamura, Y.; Brezzo, B.; Vo, I.; Esser, SK; Appuswamy, R.; Taba, B.; Amir, A.; Flickner, MD; Risk, WP; Manohar, R.; Modha, DS (2014). 「スケーラブルな通信ネットワークとインターフェースを備えた100万個のスパイキングニューロン集積回路」. Science . 345 (6197): 668– 73. Bibcode : 2014Sci...345..668M . doi : 10.1126/science.1254642 . PMID 25104385 . S2CID 12706847。  
  10. ^マ、デ;ジン、シャオフェイ。サン、シチュン。リー、イータオ。呉、宣東。フー・ユネン。ヤン、ファンチャオ。唐、華進。ジュー、シャオレイ。リン、ペン。パン、ギャング (2024)。 「Darwin3: 新しい ISA とオンチップ学習を備えた大規模ニューロモーフィック チップ」。ナショナル・サイエンス・レビュー。11 (5) nwae102. arXiv : 2312.17582。Bibcode : 2024NSRev..11E.102M。土井: 10.1093/nsr/nwae102。
  11. ^ IEEE IBMがTrueNorthチップで脳のような効率性を実現した方法
  12. ^ 「コグニティブコンピューティング：ニューロシナプスチップ」 IBM、2015年12月11日。
  13. ^ Song, Kyung Mee; Jeong, Jae-Seung; Pan, Biao; Zhang, Xichao; Xia, Jing; Cha, Sunkyung; Park, Tae-Eon; Kim, Kwangsu; Finizio, Simone; Raabe, Jörg; Chang, Joonyeon; Zhou, Yan; Zhao, Weisheng; Kang, Wang; Ju, Hyunsu; Woo, Seonghoon (2020年3月). 「ニューロモルフィックコンピューティングのためのスカイミオンベースの人工シナプス」. Nature Electronics . 3 (3): 148– 155. arXiv : 1907.00957 . doi : 10.1038/s41928-020-0385-0 . S2CID 195767210 . 
  14. ^ 「ニューロモルフィック・コンピューティング：ルーツから現実世界への長い道のり」 2020年12月15日。
  15. ^ 「脳のアーキテクチャと効率…チップ上で」 IBM Research Blog 2016年12月19日2022年9月28日閲覧。
  16. ^ a b c「IBM Research: Brain-inspired Chip」 . www.research.ibm.com . 2021年2月9日. 2021年8月21日閲覧。
  17. ^ a b Andreou, Andreas G.; Dykman, Andrew A.; Fischl, Kate D.; Garreau, Guillaume; Mendat, Daniel R.; Orchard, Garrick; Cassidy, Andrew S.; Merolla, Paul; Arthur, John; Alvarez-Icaza, Rodrigo; Jackson, Bryan L. (2016年5月). 「TrueNorthニューロシナプティックシステムを用いたリアルタイム感覚情報処理」. 2016 IEEE International Symposium on Circuits and Systems (ISCAS) . p. 2911. doi : 10.1109/ISCAS.2016.7539214 . ISBN 978-1-4799-5341-7. S2CID  29335047 .
  18. ^ 「脳に着想を得たコンピューティングアーキテクチャを用いたステレオビジョン」 IBM Research Blog 2018年6月19日2021年8月21日閲覧。
  19. ^ Afifi-Sabet, Keumars (2023年10月28日). 「人間の脳に着想を得たIBMの最新AIチップは、より統合されたことでGPUの25倍の効率性を発揮する可能性があるが、NvidiaもAMDもまだ心配する必要はない」 . TechRadar . 2023年10月30日閲覧。
  20. ^モーダ、ダルメンドラ S.;アコピアン、フィリップ。アンドレオプロス、アレクサンダー。アプスワミ、ラティナクマール。アーサー、ジョン V.キャシディ、アンドリュー S.ダッタ、パララブ。デボール、マイケル V.エッサー、スティーブン K.オテロ、カルロス・オルテガ。澤田 純;タバ、ブライアン。アミール、アーノン。バブラニ、ディーピカ。カールソン、ピーター J. (2023-10-20)。「エネルギー、空間、時間のフロンティアにおける神経推論」。科学。382 (6668): 329–335。ビブコード: 2023Sci...382..329M。土井：10.1126/science.adh1174。ISSN 0036-8075。PMID 37856600 . S2CID 264306410 .   
  21. ^ Modha, Dharmendra (2023年10月19日). 「NorthPole: エネルギー、空間、時間のフロンティアにおけるニューラル推論」 . Dharmendra S. Modha - 私の仕事と考察. 2023年10月31日閲覧。
  22. ^ a b「必要なのはメモリだけ: 大規模言語モデル推論を加速するためのメモリ内コンピューティング アーキテクチャの概要」。
  23. ^ 「Intelがニューロモルフィックチップを開発した理由」ZDNET。
  24. ^ "「Intel、Loihiニューロモルフィックチップを発表、人工脳でIBMに迫る」。2017年10月17日。AITrends.com 。 2021年8月11日時点のオリジナルよりアーカイブ。 2017年10月17日閲覧。
  25. ^ Feldman, M. (2018年12月7日). 「Intel、新たな研究パートナーと協力し、ニューロモルフィック・コンピューティングへの取り組みを強化」 . TOP500 . 2023年12月22日閲覧。
  26. ^ Davies, M. (2018). 「Loihi - 簡単な紹介」(PDF) . Intel Corporation . 2023年12月22日閲覧。
  27. ^ Tang, Guangzhi; Shah, Arpit; Michmizos, Konstantinos. (2019). 「ニューロモルフィックハードウェアによるエネルギー効率の高い一次元SLAMのためのスパイキングニューラルネットワーク」. 2019 IEEE/RSJ 国際知能ロボット・システム会議 (IROS) . pp.  4176– 4181. arXiv : 1903.02504 . doi : 10.1109/IROS40897.2019.8967864 . ISBN 978-1-7281-4004-9. S2CID  70349899 .
  28. ^ Imam, Nabil; Cleland, Thomas A. (2020). 「ニューロモルフィック嗅覚回路における迅速なオンライン学習と堅牢な想起」 . Nature Machine Intelligence . 2 (3): 181– 191. arXiv : 1906.07067 . doi : 10.1038/ s42256-020-0159-4 . PMC 11034913. PMID 38650843. S2CID 189928531 .   
  29. ^ Hruska, J. (2019年7月16日). 「IntelのニューロモルフィックLoihiプロセッサ、800万ニューロン、64コアまで拡張可能」 Ziff Davis . 2023年12月22日閲覧。
  30. ^ Peckham, Oliver (2022年9月28日). 「Intel Labsがニューロモルフィック「Kapoho Point」ボードを発表」 . HPCwire . 2023年10月26日閲覧。
  31. ^ 「Intel、より多くのことを可能にする世界最大のニューロモルフィックシステムを構築」 2024年4月17日。
  32. ^ 「研究グループ: APT - 高度プロセッサ技術 (マンチェスター大学コンピュータサイエンス学部)」。apt.cs.manchester.ac.uk。
  33. ^ノイマイヤー、マーティ（2012年）『メタスキル：ロボット時代の5つの才能』インディアナポリス、インディアナ州：ニューライダーズ、ISBN 9780133359329。
  34. ^ハーウィッツ, ジュディス; カウフマン, マーシャ; ボウルズ, エイドリアン (2015). 『コグニティブ・コンピューティングとビッグデータ分析』 インディアナポリス, インディアナ州: John Wiley & Sons. p. 110. ISBN 9781118896624。
  35. ^ Lohr, Steve (2021年7月16日). 「IBMのWatsonに一体何が起きたのか？」 . The New York Times . ISSN 0362-4331 . 2022年9月28日閲覧。 
  36. ^ Simon, George; DiNardo, Courtney D.; Takahashi, Koichi; Cascone, Tina; Powers, Cynthia; Stevens, Rick; Allen, Joshua; Antonoff, Mara B.; Gomez, Daniel; Keane, Pat; Suarez Saiz, Fernando; Nguyen, Quynh; Roarty, Emily; Pierce, Sherry; Zhang, Jianjun (2019年6月). 「がん治療における知識ギャップへの人工知能の応用」 . The Oncologist . 24 (6): 772– 782. doi : 10.1634/theoncologist.2018-0257 . ISSN 1083-7159 . PMC 6656515. PMID 30446581 .   

さらに読む

「 https://en.wikipedia.org/w/index.php?title=Cognitive_computer&oldid=1331736023#IBM_TrueNorth_chip」より取得