国立計算科学センター(NCCS)は、米国エネルギー省(DOE)のリーダーシップコンピューティング施設であり、オークリッジリーダーシップコンピューティング施設(OLCF)を収容しています。OLCFは、最先端の高性能コンピューティング(HPC)リソースと科学コンピューティングにおける国際的な専門知識を組み合わせて、研究者が世界的な関心のある困難な科学的問題を解決するのを支援することを任務とするDOE科学局ユーザー施設です。[ 1 ]
NCCSは、科学における最大の計算問題の多くを抱える政府、学界、産業界のユーザーに、天体物理学、材料科学、気候研究などの分野での計算とシミュレーションのためのリソースを提供しています。[ 2 ]
OLCFの主力スーパーコンピュータであるIBM AC922 Summitは、高度なデータ管理・分析ツールによって支えられています。同センターは、当時最も強力な科学ツールの一つであったCray XK7 Titanシステムを2012年から2019年8月の退役まで運用していました。同年、Frontierの建設が開始され、OLCF初のエクサスケールシステムとして2021年にデビュー予定です。 [ 3 ]
1991年12月9日、議会はアル・ゴア上院議員によって制定された1991年高性能コンピューティング法(HPCA)に署名した。HPCAは、通信ネットワークとデータベースを構築するための国家情報基盤を提案し、科学研究に役立つ新たな高性能コンピューティング施設の建設提案も求めた。[ 4 ]
1992年5月24日、ORNLはHPCAの一環として、計算科学センター(CCS)と呼ばれる高性能コンピューティング研究センターを委託されました。[ 5 ] ORNLは同年、コード開発用に66プロセッサ、シリアルナンバー1のIntel Paragon XP/S 5も受領しました。このシステムのピーク性能は5ギガフロップス(1秒あたり50億回の浮動小数点演算)でした。
オークリッジ国立研究所(ORNL)は、他の3つの国立研究所および7つの大学と共同で、高性能コンピューティングおよび通信イニシアチブの一環として、計算科学におけるパートナーシップ(PICS)提案を米国エネルギー省に提出した。[ 6 ] [ 7 ]
2004年のハイエンドコンピューティング活性化法により、CCSはORNLでリーダーシップコンピューティング施設(LCF)プロジェクトを実行する任務を負い、2008年末までにペタフロップス速度のスーパーコンピュータを開発し導入することを目標としました。[ 8 ]同年、センターは正式に計算科学センターからNCCSに名称を変更しました。
2019年12月9日、ORNLの健康データサイエンス研究所の所長とORNLの生物医学科学、工学、コンピューティンググループのグループリーダーを務めていたジョージア・トゥラッシが、ジェームズ・ハックの後任としてNCCSの所長に任命されました。 [ 9 ]
1992 年の CCS の創設により、次のような一連のIntel Paragonコンピュータが登場しました。
Eagleは、ORNLのコンピュータサイエンスおよび数学部門が運用していた184ノードのIBM RS/6000 SPでした。176台のWinterhawk-II「シン」ノードで構成され、各ノードは375MHzのPower3 -IIプロセッサ4基と2GBのメモリを搭載していました。また、ファイルシステムサーバーやその他のインフラストラクチャタスクに使用するために、8台のWinterhawk-II「ワイド」ノードも搭載されていました。各ノードは375MHzのPower3-IIプロセッサ2基と2GBのメモリを搭載していました。Eagleの推定計算能力は、コンピューティングパーティションで1テラフロップスを超えていました。
Falconは、CCSが運用する64ノードのCompaq AlphaServer SCであり、初期評価プロジェクトの一環として取得されました。667MHzのAlpha EV67プロセッサを4基搭載し、ノードあたり2GBのメモリと2TBのファイバーチャネルディスクを備え、推定342ギガフロップスの計算能力を発揮しました。
Cheetahは、CCSが運用する4.5TFのIBM pSeriesシステムでした。Cheetahの計算区画には、それぞれ32基の1.3GHz Power4プロセッサを搭載した27基のp690ノードが含まれていました。ログイン区画とI/O区画を合わせると、それぞれ4基の1.7GHz Power4プロセッサを搭載した8基のp655ノードが含まれていました。すべてのノードはIBMのFederationインターコネクトを介して接続されていました。
Power4のメモリ階層は3階層のキャッシュで構成されていました。第1階層と第2階層はPower4チップ上にありました(1チップあたり2つのプロセッサ)。レベル1命令キャッシュは128KB(プロセッサあたり64KB)、データキャッシュは64KB(プロセッサあたり32KB)でした。レベル2キャッシュは1.5MBで、2つのプロセッサ間で共有されていました。レベル3キャッシュは32MBで、チップ外にありました。ノードあたり16個のチップ、つまり32個のプロセッサがありました。
Cheetahの計算ノードのほとんどは32GBのメモリを搭載していました。5ノードは64GB、2ノードは128GBのメモリを搭載していました。Cheetahの一部のノードには、一時的なスクラッチスペースとして使用できる約160GBのローカルディスク容量がありました。
2002年6月、世界のトップスーパーコンピュータの半期ごとのリストであるTOP500によると、Cheetahは世界で8番目に速いコンピュータにランクされました。 [ 19 ]
Ram は、NCCS のサポート システムとして提供された SGI Altixスーパーコンピュータでした。
Ram は 2003 年にインストールされ、割り当てられた NCCS プロジェクトの前処理および後処理サポート システムとして 2007 年まで使用されていました。
RAMには1.5GHzで動作するIntel Itanium2プロセッサが256基搭載されており、各プロセッサは6MBのL3キャッシュ、256KBのL2キャッシュ、32KBのL1キャッシュを備えていました。RAMはプロセッサあたり8GBのメモリを搭載し、合計2TBの共有メモリを備えていました。対照的に、ORNL初のスーパーコンピュータである1985年に設置されたCray XMPは、SGI Altixの100万分の1のメモリしか搭載していませんでした。
Phoenix は、 NCCS のプライマリ システムとして提供された Cray X1Eでした
オリジナルのX1は2003年に設置され、その後数回のアップグレードを経て、2005年に最終構成に到達しました。2005年10月から2008年までの間に、約1,700万プロセッサ時間を提供しました。このシステムは、気候、燃焼、高エネルギー物理学、核融合、化学、コンピュータサイエンス、材料科学、天体物理学など、40以上の大規模研究プロジェクトを支援しました。
最終的な構成では、Phoenixは1,024個のマルチストリーミング・ベクター・プロセッサ(MSP)を搭載していました。各MSPは2MBのキャッシュを搭載し、ピーク時の演算速度は18ギガフロップスでした。4つのMSPが8GBの共有メモリを持つノードを形成しました。メモリ帯域幅は非常に高く、キャッシュ帯域幅の約半分でした。インターコネクトはメモリシステムの拡張機能として機能し、各ノードは高帯域幅と低レイテンシで他のノードのメモリに直接アクセスできました。
Jaguarは2005年に25テラフロップスのCray XT3としてスタートしました。その後、7,832個の計算ノードを搭載したXT4へとアップグレードされました。各ノードは2.1GHzで動作するクアッドコアAMD Opteron 1354プロセッサ、8GBのDDR2-800メモリ(一部のノードはDDR2-667メモリを使用)、そしてSeaStar2ルーターを搭載していました。結果として、パーティションには31,328個のプロセッシングコア、62TBを超えるメモリ、600TBを超えるディスク容量、そしてピーク性能263テラフロップス(1秒あたり263兆回の浮動小数点演算)が備わりました。
2008年、JaguarはCray XT5にアップグレードされ、科学技術アプリケーションを持続的にペタフロップスで実行した最初のシステムとなりました。2012年にTitanへと最終的に移行した時点で[ 23 ] 、 Jaguarは約30万個のプロセッサコアを搭載し、理論上のピーク性能は3.3ペタフロップスに達しました。Jaguarは224,256個のx86ベースAMD Opteronプロセッサコアを搭載し、 Cray Linux Environmentと呼ばれるLinuxのバージョンで動作していました。
2009 年 11 月から 2010 年 11 月まで、Jaguar は世界で最も強力なコンピュータでした。
Hawk は、ハイエンドの視覚化に特化した 64 ノードの Linuxクラスターでした。
Hawkは2006年に導入され、2008年5月に512コアのLensシステムに置き換えられるまで、センターの主要な可視化クラスタとして使用されていました。[ 25 ]
各ノードには、シングルコアOpteronプロセッサ2基と2GBのメモリが搭載されていました。クラスタはQuadrics Elan3ネットワークで接続され、高帯域幅かつ低レイテンシの通信を実現しました。クラスタには、AGP8x接続のNVIDIAグラフィックカード(5900とQuadroFX 3000G)が2種類搭載されていました。3000Gカードを搭載したノードはEVEREST PowerWallに直接接続され、PowerWall専用に予約されていました。
Ewokは、Linuxで動作するIntelベースのInfiniBandクラスタでした。このシステムは、センター利用者向けのエンドツーエンドのリソースとして提供されました。Jaguarスーパーコンピュータから実行されるジョブのワークフロー自動化と高度なデータ分析に使用されました。システムは81ノードで構成され、各ノードには3.4GHz Pentium IVプロセッサ2基、3.4GHz Intel Xeon CPU1基、6GBのメモリが搭載されていました。追加のノードには、AMDデュアルコアプロセッサ4基と64GBのメモリが搭載されていました。システムは、スクラッチスペースとして13TBのLustreファイルシステムで構成されていました。
Eugeneは、NCCSが運用する27テラフロップスのIBM Blue Gene/Pシステムでした。ORNL職員と、ORNLとその中核パートナー大学間の研究協力を促進するために、年間約4,500万プロセッサ時間を提供しました。
システムは、850MHzのIBMクアッドコア450d PowerPCプロセッサ2,048基と、ノードあたり2GBのメモリで構成されていました。Eugeneには64個のI/Oノードがあり、サブミットされたジョブは少なくとも1つのI/Oノードを使用する必要がありました。つまり、各ジョブは1回の実行で最低32ノードを消費しました。
ユージーンは2011年10月に正式に廃止されました。しかし、同年12月13日、ユージーンのハードウェアの一部がアルゴンヌ国立研究所のアルゴンヌリーダーシップコンピューティング施設(ALCF)に寄贈されました。[ 28 ]
Eosは736ノードのCray XC30クラスタで、合計47.104TBのメモリを搭載していました。プロセッサはIntel Xeon E5-2670でした。16のI/Oサービスノードと2つの外部ログインノードを備えていました。計算ノードはブレードで構成され、各ブレードには4つのノードが含まれていました。各ノードには2つのソケットがあり、それぞれに8つの物理コアがありました。Intelのハイパースレッディング(HT)テクノロジにより、各物理コアは2つの論理コアとして機能するため、各ノードは32個のコアを持っているかのように機能しました。Eosの計算パーティションには、合計11,776個の従来型プロセッサコア(HTテクノロジを有効にすると23,552個の論理コア)が含まれていました。[ 29 ]
Eosはツールやアプリケーションの移植、Titan上での機能実行を準備するための小規模ジョブ、ソフトウェアの生成、検証、最適化のためのスペースを提供した。[ 30 ]
Titanは、理論上のピーク性能が毎秒27,000兆回(27ペタフロップス)を超えるハイブリッドアーキテクチャのCray XK7システムでした。先進的な16コアAMD Opteron CPUとNVIDIA Keplerグラフィックス・プロセッシング・ユニット(GPU)の両方を搭載していました。この組み合わせにより、Titanは前身のJaguarスーパーコンピュータと比較して、10倍の速度と5倍のエネルギー効率を実現しながら、消費電力はわずかに増加し、占有面積は同等でした。 [ 31 ]
Titanは18,688台の計算ノード、710TBのシステムメモリ、そしてCrayの高性能Geminiネットワークを搭載していました。299,008個のCPUコアがシミュレーションを指揮し、付属のGPUが数百もの計算を同時に処理しました。このシステムは、解を求める時間を短縮し、モデルの複雑さを軽減し、シミュレーションのリアリティを向上させました。[ 32 ] 2012年11月、TitanはTOP500スーパーコンピュータランキングで1位を獲得しました。[ 33 ]
タイタンは7年間の運用を経て、フロンティア・スーパーコンピュータのためのスペースを確保するために2019年8月に廃止されました。[ 34 ]
OLCFのセンター全体にわたるLustreファイルシステム(Spider)は、OLCFの計算リソースの大部分の運用作業用ファイルシステムです。非常に高性能なシステムであるSpiderは、20,000台以上のクライアントを持ち、32PBのディスク容量を提供し、1TB/s以上のデータ転送速度を実現します。Spiderは、Atlas1とAtlas2という2つのファイルシステムで構成されており、複数のメタデータサーバー間で高可用性と負荷分散を実現し、パフォーマンスを向上させています。[ 35 ]
ORNLのアーカイブ用大容量ストレージリソースであるHPSSは、テープおよびディスクストレージコンポーネント、Linuxサーバー、そしてHigh Performance Storage System (HPSS)ソフトウェアで構成されています。テープストレージはStorageTek SL8500ロボットテープライブラリによって提供され、各ライブラリは最大10,000本のカートリッジを収容できます。[ 36 ]各ライブラリには、 T10K-Aドライブが24台、T10K-Bドライブが60台、T10K-Cドライブが36台、T10K-Dドライブが72台搭載されています。[ 37 ]
EVEREST(科学技術研究のための探究的可視化環境)は、データの探索と分析のための大規模な施設です。EVERESTは全長30フィート(約9メートル)、高さ8フィート(約2.4メートル)の広さを誇り、最大の特徴は27台のプロジェクターを備えたPowerWallです。総画素数は3,500万画素です。プロジェクターは9×3のアレイ状に配置され、各プロジェクターは3,500ルーメンの高輝度映像を出力します。
11,520 x 3,072ピクセルの解像度を誇るこのウォールは、膨大な視覚的ディテールを提供します。このウォールはコンピューティングセンターの他の部分と統合されており、大規模な高性能コンピューティングと大規模データ可視化の間に高帯域幅のデータパスを形成します。
EVERESTは14ノードのクラスタによって制御されています。各ノードには4基のデュアルコアAMD Opteronプロセッサが搭載されています。これらの14ノードには、プロジェクターに接続されたNVIDIA QuadroFX 3000Gグラフィックカードが搭載されており、非常に高いスループットの可視化機能を提供しています。可視化ラボは、将来の可視化機能の開発のための実験施設として機能し、12パネルのタイル型LCDディスプレイ、テストクラスタノード、インタラクションデバイス、ビデオ機器を備えています。
Rheaは521ノードからなるコモディティ型Linuxクラスタです。Rheaは、Titanスーパーコンピュータで生成されたシミュレーションデータの前処理および後処理を通じて、大規模な科学的発見のための経路を提供します。Rheaの最初の512ノードには、IntelのHTテクノロジに対応した8コア2.0GHz Intel Xeonプロセッサ2基と128GBのメインメモリが搭載されています。Rheaには大容量メモリを搭載したGPUノードが9つあります。これらのノードはそれぞれ1TBのメインメモリと、HTテクノロジに対応した14コア2.30GHz Intel Xeonプロセッサ2基を搭載したNVIDIA K80 GPU2基を搭載しています。Rheaは、OLCFの高性能LustreファイルシステムであるAtlasに接続されています。[ 38 ]
Wombatは、従来のx86ベースのアーキテクチャではなく、64ビットARMアーキテクチャをベースにしたHPEのシングルラッククラスターです。このシステムは、ARMアーキテクチャの探究を目的としたコンピュータサイエンス研究プロジェクトをサポートするために利用可能です。
Wombatクラスタは16個の計算ノードで構成され、そのうち4個には2基のAMD GPUアクセラレータが接続されています(システム全体では合計8基のGPU)。各計算ノードには、28コアのCavium ThunderX2プロセッサが2基、256GBのRAM(DDR4 DIMM 16基)、ノードローカルストレージ用の480GB SSDが搭載されています。ノードはEDR InfiniBand(約100Gbit/s)で接続されています。[ 39 ]
.jpg/440px-Summit_(supercomputer).jpg)
IBM AC922 Summit(OLCF-4)は、ORNLの200ペタフロップスのフラッグシップ・スーパーコンピュータです。Summitは2018年6月に発売され、2019年11月のTOP500リストでは、高性能Linpack(HPL)性能が148.6ペタフロップスで世界最速のコンピュータとなっています。[ 40 ] Summitはエクサスケール性能を達成した最初のコンピュータでもあり、単精度と半精度の浮動小数点演算を組み合わせることで、ピークスループット1.88エクサオプスを達成しました。[ 41 ]
Summitは、前身のTitanと同様に、9,216個のPower9 CPUと27,648個のNVIDIA Volta V100 GPUをNVIDIAのNVLinkを使用して統合したハイブリッドアーキテクチャを採用しています。 [ 42 ] Summitは4,608個のノード(Titanの18,688個のノードの約4分の1)を備え、各ノードには512GBのDouble Data Rate 4 Synchronous Dynamic Random-Access Memory(DDR4)と96GBのHigh Bandwidth Memory(HBM2)が搭載され、総ストレージ容量は250ペタバイトです。[ 43 ]
当初は2021年に納入され、翌年にはユーザーアクセスが可能になる予定だったFrontierは、ORNL初の持続可能なエクサスケールシステムであり、1秒間に1京(10兆)回の演算処理能力を備えています。このシステムは100台以上のCray Shastaキャビネットで構成され、ピーク性能は約1.5エクサフロップスになると予想されています。[ 44 ] [ 45 ]
{{cite web}}: CS1 maint: 数値名: 著者リスト (リンク){{cite web}}: CS1 maint: 数値名: 著者リスト (リンク)