QPACE

QPACE ( Cell Broadband Engine上のQCD並列コンピューティング) は、格子量子色力学のアプリケーション向けに設計された、超並列かつスケーラブルなスーパーコンピュータです。

概要

QPACEスーパーコンピュータは、ドイツのベーブリンゲンにあるIBM研究開発研究所や、Eurotech、Knürr、Xilinxなどの他の産業パートナーと共同で、複数の学術機関が実施している研究プロジェクトです。約20名の若手およびベテラン科学者（ほとんどが物理学者）からなる学術設計チームは、レーゲンスブルク大学（プロジェクトリーダー）、ヴッパータール大学、DESYツォイテン、ユーリッヒ研究センター、フェラーラ大学から集まりました。主な目標は、計算性能、価格性能比、エネルギー効率の点で産業製品を上回る、アプリケーションに最適化されたスケーラブルなアーキテクチャを設計することでした。プロジェクトは2008年に正式に開始されました。2009年夏には2つのインストールが導入されました。最終設計は2010年初頭に完了しました。それ以来、QPACEは格子QCDの計算に使用されています。このシステムアーキテクチャは、格子ボルツマン法など、主に最近傍通信に依存する他のアプリケーションにも適しています。^[1]

2009年11月、QPACEは世界で最もエネルギー効率の高いスーパーコンピュータのGreen500リストでトップのアーキテクチャにランクされました。^{[2]このタイトルは、2010年6月に}Linpackベンチマークでワットあたり773 MFLOPSのエネルギーシグネチャを達成したことにより防衛されました。^{[3]最も強力なスーパーコンピュータの}Top500リストでは、QPACEは2009年11月に110～112位、2010年6月に131～133位にランクされました。^{[4] [5]}

QPACEは、SFB/TRR-55の枠組みにおいてドイツ研究振興協会（DFG）とIBMから資金提供を受けました。また、 Eurotech、Knürr、Xilinxからも資金提供を受けました。

建築

2008 年に IBM は、プレイステーション 3などで使用されているIBM Cell Broadband Engineの拡張バージョンであるPowerXCell 8i マルチコア プロセッサをリリースしました。このプロセッサは、傑出した浮動小数点演算性能により、科学界で大きな注目を集めました。^{[6] [7] [8]}これは、PFLOPS の壁を破った最初のスーパーコンピュータ アーキテクチャであるIBM Roadrunnerクラスタの構成要素の 1 つです。PowerXCell 8i に基づくクラスタ アーキテクチャは通常、 Infinibandなどの業界標準ネットワークで相互接続されたIBM BladeCenterブレード サーバに依存しています。QPACE では、まったく異なるアプローチが選択されました。Xilinx Virtex-5 FPGA上に実装されたカスタム設計のネットワーク コプロセッサを使用して、コンピューティング ノードを接続します。FPGAは再プログラム可能な半導体デバイスであり、機能の動作をカスタマイズできます。QPACE ネットワーク プロセッサは、Rambus 独自の I/O インターフェイスを介して PowerXCell 8i に密接に結合されています。

QPACEの最小の構成要素はノードカードで、PowerXCell 8iとFPGAをホストします。ノードカードはバックプレーンに搭載され、各バックプレーンには最大32枚のノードカードを搭載できます。1つのQPACEラックには最大8枚のバックプレーンが収容され、前面と背面にそれぞれ4枚のバックプレーンが搭載されます。ラックあたりのノードカードの最大数は256枚です。QPACEは、この実装密度を実現するために水冷ソリューションを採用しています。

16枚のノードカードは、ルートカードと呼ばれる独立した管理カードによって監視・制御されます。ラックごとにもう1枚の管理カード（スーパールートカード）が、電源の監視・制御に使用されます。ルートカードとスーパールートカードは、コンピューティングノードの同期にも使用されます。

ノードカード

QPACEの中核はIBM PowerXCell 8iマルチコアプロセッサです。各ノードカードには、PowerXCell 8i 1基、ECC対応4GB DDR2 SDRAM、Xilinx Virtex-5 FPGA 1基、そして7個のネットワークトランシーバが搭載されています。1基の1ギガビットイーサネットトランシーバがノードカードをI/Oネットワークに接続します。6基の10ギガビットトランシーバは、3次元トロイダルメッシュ内の隣接ノード間でメッセージを送受信するために使用されます。

QPACEネットワークコプロセッサは、PowerXCell 8iのI/Oインターフェースに直接接続されたXilinx Virtex-5 FPGA上に実装されています。 ^{[9] [10]} FPGAの機能動作はハードウェア記述言語によって定義されており、ノードカードを再起動することでいつでも変更できます。QPACEネットワークコプロセッサのほとんどの構成要素はVHDLでコーディングされています。

ネットワーク

QPACEネットワークコプロセッサは、PowerXCell 8iを3つの通信ネットワークに接続します。^{[10] [11]}

• トーラスネットワークは、 3次元のトロイダルメッシュにおける最近傍通信を可能にする高速通信パスです。トーラスネットワークは10ギガビットイーサネットの物理層を利用し、メッセージの受け渡しには小さなメッセージサイズに最適化されたカスタム設計の通信プロトコルが使用されます。トーラスネットワーク設計のユニークな特徴は、Synergistic Processing Element （SPE）のローカルストアと呼ばれるプライベートメモリ領域間のゼロコピー通信を、直接メモリアクセスによってサポートすることです。隣接ノード上の2つのSPE間の通信レイテンシは3μsです。リンクおよび方向あたりのピーク帯域幅は約1GB/sです。
• スイッチド 1 ギガビット イーサネットは、ファイル I/O とメンテナンスに使用されます。
• グローバル信号ネットワークは、ツリーネットワークとして配置されたシンプルな2線式システムです。このネットワークは、グローバル状態の評価とノード間の同期に使用されます。

冷却

QPACEスーパーコンピュータの計算ノードは水冷式で、各ノードカードから約115ワットの電力を放散する必要がある。^[10]冷却ソリューションは2コンポーネント設計に基づいている。各ノードカードはサーマルボックスに取り付けられており、サーマルボックスは熱に敏感なコンポーネント用の大型ヒートシンクとして機能する。サーマルボックスはコールドプレートに接続され、コールドプレートは水冷回路に接続されている。コールドプレートの性能により、最大32ノードの熱を除去できる。ノードカードはコールドプレートの両側に取り付けられており、つまり、16ノードずつがコールドプレートの上部と下部に取り付けられている。この冷却ソリューションの効率性により、計算ノードを温水で冷却することが可能となっている。QPACEの冷却ソリューションは、SuperMUCなどの他のスーパーコンピュータ設計にも影響を与えた。^[12]

設備

2009 年から、ラック 4 台を備えた 2 つの同一の QPACE 設備が稼働しています。

• ユーリッヒ研究センター^[13]
• ヴッパータール大学

総ピーク性能は、倍精度で約200TFLOPS、単精度で約400TFLOPSです。これらの設備は、レーゲンスブルク大学、ユーリッヒ研究センター、ヴッパータール大学によって運用されています。

参照

• QPACEの後継プロジェクトであるQPACE2
• スーパーコンピュータ
• セル（マイクロプロセッサ）
• トーラス相互接続
• FPGA
• 格子QCD

参考文献

1. L. Biferale他「QPACEスーパーコンピュータにおける格子ボルツマン流体力学」Procedia Computer Science 1 (2010) 1075
2. Green500リスト、2009年11月、http://www.green500.org/lists/green200911
3. Green500リスト、2010年6月、http://www.green500.org/lists/green201006 2012年11月18日アーカイブ、Wayback Machine
4. Top500リスト、2009年11月、「アーカイブコピー」。2012年10月17日時点のオリジナルよりアーカイブ。 2013年1月17日閲覧。
5. Top500リスト、2010年6月、「アーカイブコピー」。2012年10月17日時点のオリジナルよりアーカイブ。2013年1月17日閲覧。
6. G. Bilardi et al., QCDマシンにおけるオンチップマルチプロセッシングの可能性 Archived 2019-08-06 at the Wayback Machine , Lecture Notes in Computer Science 3769 (2005) 386
7. S. Williams他「科学計算におけるCellプロセッサの可能性」、コンピューティングフロンティアに関する第3回会議議事録（2006年）9
8. G. Goldrian他「 QPACE: Cell Broadband Engineによる量子色力学並列コンピューティング」Computing in Science and Engineering 10 (2008) 46
9. I. Ouda、K. Schleupen、「アプリケーションノート：FPGAからIBM Power Processorへのインターフェース設定」、Wayback Machineに2009年7月24日アーカイブ、IBM Researchレポート、2008年
10. H. Baier et al., QPACE - Cellプロセッサに基づくQCD並列コンピュータ, Proceedings of Science (LAT2009) , 001
11. S. Solbrig, QPACE における同期 Archived 2022-01-21 at the Wayback Machine , STRONGnet Conference, Cyprus, 2010
12. B. Michel et al.、Aquasar: Der Weg zu最適効率のRechenzentren ^{[永久リンク切れ]}、2011
13. Qpace - کیوپیس ^{[永久リンク切れ]}