電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
Gaussian 09用のHPC計算機とクラスタ
Gaussian 09とマルチコア計算機の機能向上によって
大規模並列計算を単体計算機で実施できるようになった
Xeon 1-Way WS DPrT3500
48万円 基本構成
Xeon W3530 2.8GHz 1CPU 4core (45GFLOPS)
12GBメモリ、1.5TB RAID0 (SATA 7.2krpm 500GB x3)
⇒ ４平行処理／４並列処理／２並列２平行処理などに対応
⇒ 1.5TBのRAID0スクラッチディスクを搭載したペーシック構成【共通仕様】
ジョブスケジューラを搭載しマルチユーザ・マルチジョブ環境でもスムーズな自動運転を実現
翌営業日オンサイト保守にて万一の障害にも安心
安定運用を実現する専門技術サポートを実施
74万円 79GFLOPS高速モデル
Xeon W3680 3.3GHz 1CPU 6core (79GFLOPS)
24GBメモリ、1.5TG RAID0 (SATA 7.2krpm 500GB x3)
⇒ プロセッサを3.3GHzの６コア版に換装し演算性能を79GFLOPSに高速化
⇒ ６平行処理／６並列処理／２並列３平行処理などに対応
⇒ メモリを24GBに大容量化
81万円 スクラッチディスク強化モデル
Xeon W3680 3.3GHz 1CPU 6core (79GFLOPS)
24GBメモリ、900GB RAID0 (SAS 15krpm 300GB x3)
⇒ スクラッチディスクを15000回転のSAS 300GB x3 に換装し高速化
94万円 SSDスクラッチディスクモデル
Xeon W3680 3.3GHz 1CPU 6core (79GFLOPS)
24GBメモリ、750GB RAID0 (SSD 250GB x3)
⇒ スクラッチディスクをSSD 250GB x3 に換装し超高速化
Xeon 2-Way WS DPrT7500
82万円 基本構成
Xeon E5630 2.53GHz 2CPU 8core (81GFLOPS)
24GBメモリ、1.5TB RAID0 (SATA 7.2krpm 500GB x3)
⇒ ８平行処理／８並列処理／４並列２平行処理などに対応
⇒ 1.5TBのRAID0スクラッチディスクを搭載の基本構成【共通仕様】
ジョブスケジューラを搭載しマルチユーザ・マルチジョブ環境でもスムーズな自動運転を実現
翌営業日オンサイト保守にて万一の障害にも安心
安定運用を実現する専門技術サポートを実施
135万円 160GFLOPS高速モデル
Xeon W5680 3.33GHz 2CPU 12core (160GFLOPS)
48GBメモリ、1.5TB RAID0 (SATA 7.2krpm 500GB x3)
⇒ プロセッサを3.3GHzの６コア版に換装し演算性能を160GFLOPSに高速化
⇒ １２平行処理／１２並列処理／４並列３平行処理などに対応
⇒ メモリを48GBに大容量化
153万円 スクラッチディスク強化モデル
Xeon W5680 3.33GHz 2CPU 12core (160GFLOPS)
48GBメモリ、1.8TB RAID0 (SAS 15krpm 600GB x3)
⇒ スクラッチディスクを15000回転のSAS 600GB x3 に換装し高速化
155万円 SSDスクラッチディスクモデル
Xeon W5680 3.33GHz 2CPU 12core (160GFLOPS)
48GBメモリ、750GB RAID0 (SSD 250GB x3)
⇒ スクラッチディスクをSSD 250GB x3 に換装し超高速化
Xeon 2-Way Server DPeT710
サーバ製品の優れた点
Xeon 2-Way サーバの特徴を整理します。第一の特徴は、搭載できるディスク本数の多さです。3.5インチディスクなら８基、2.5インチディスクなら１６基ものディスクを搭載できます。その結果PCI Expressバスの実効性能の上限まで使いきったRAID0ディスクアレイシステムを構築することができます。次の特徴は、製品の品質とサポート水準の高さです。本格的な運用を行うようになると、マシンのダウンタイムは僅かでも嫌われます。そのためサーバ製品のサポートレベルは、ワークステーションより高い水準のサービスが提供されます。さらに、業務内容に応じてサポートレベルを変更することができます。
112万円 DPeT710基本構成 128GFLOPS + 超高速スクラッチディスク
Xeon X5650 2.66GHz 2CPU 12core (128GFLOPS)
24GBメモリ、2.1TB RAID0 (SAS 15krpm 300GB x7)
⇒ １２平行処理／１２並列処理／４並列３平行処理などに対応
⇒ 2.1TBのRAID0スクラッチディスクを搭載の基本構成
⇒ サーバは７個のSAS ３．５インチ 15000回転ディスクによってRAID0を構成し圧倒的なI/O性能を実現
【共通仕様】
ジョブスケジューラを搭載しマルチユーザ・マルチジョブ環境でもスムーズな自動運転を実現
翌営業日オンサイト保守にて万一の障害にも安心
安定運用を実現する専門技術サポートを実施
158万円 160GFLOPS + 超高速スクラッチディスク機
Xeon X5680 3.33GHz 2CPU 12core (160GFLOPS)
48GBメモリ、2.1TB RAID0 (SAS 15krpm 300GB x7)
⇒ プロセッサを3.3GHzに換装し演算性能を160GFLOPSに高速化
⇒ １２平行処理／１２並列処理／４並列３平行処理などに対応
⇒ メモリを48GBに大容量化上掲のSSD RAID0を搭載したワークステーションと同じくらいの価格ですが、サーバは、より多くの高速・大容量ディスクをRAID0化することで、高性能なスクラッチディスク実現できます。
<同価格帯のSSDモデルとSAS 15krpmモデルの比較>
比較項目 DPrT7500 DPrT7500 DPeT710 プロセッサ X5680 3.3GHz 2CPU 12core 理論演算性能 160GFLOPS メモリサイズ 48GB スクラッチディスク構成 SSD 250GB x3 SSD 250GB x7 SAS 3.5inch 15krpm
300GB x7スクラッチディスク容量 750GB 1.75TB 2.1TB スクラッチディスク
推定シーケンシャルI/O性能600GB/s (est) 1400GB/s (est) 1400GB/s (est) ランダムI/O性能 (非重要) 超高速 超高速 中速 価格 155万円 187万円 158万円
素晴らしいPersonal Gaussian環境
大規模Gaussian計算を実現するメニーコア計算機
多数のコアを実装し、超高速スクラッチディスクを内蔵した計算機を用いることで、これまで不可能とされていた大規模なGaussian Jobを、単体計算機上で動作させることができるようになりました。またLinux版のGaussianは並列数に制限が無いことが確認されています。その結果、手元の計算機でGaussianの計算限界に迫る大規模な計算を実行できるようになりました。
大規模ジョブと計算センター
計算センターもGaussianを利用できるような環境を導入するようになってきています。しかし共同利用を目的とするセンターは使いやすさを優先するため運用上の制限を行っています。例えば、ジョブに時間制限があること、ネットワーク経由のスクラッチディスクによりI/Oが遅いこと、ノード内のコア数が少なく並列度に制限があることなどです。このような制限に大規模ジョブのなかには計算が完了しないものもあると思います。
計算限界に迫る超高速 Gaussian 計算機
計算機を個人や研究室で運用するとジョブの時間制限から解放されます。さらに、超高速なスクラッチディスクシステムをローカル計算機に直付けすることで、大規模ジョブを高速化することができます。そのうえ、マルチコア／メニーコア系のシステムを導入することで高い並列度の計算を手元で実施できます。
Gaussian計算機環境構築ガイド
CPUの選択
Gaussianに利用するCPUは次のような基準で選択すればよいでしょう。Gaussianの実効性能はCPUの理論演算性能 (CPUクロック速度 X 総コア数) に強く依存します。また、高い並列化効率を持つため、並列処理でCPUの理論演算性能に強く依存します。すなわち、CPUクロック速度と総コア数の積を基準にCPUを選択すればよいのです。
スクラッチディスクの高速化とその効果
Gaussianは「アウトコア計算」と呼ばれる計算手法を採用しています。この方法は、計算で使用するデータを一時的にハードディスクに格納しておき、計算の進行に応じてデータを読み出し、計算を実行し、書き戻す、ということを繰り返して実施します。
この方法の長所は、計算の規模が大きくなったり精度が高くなり、データサイズが指数関数的に増大した場合でも、ハードディスク上にデータを格納するため、大きなメモリ容量を必要としません。そのため、メモリサイズを超えた巨大な計算を小型の計算機で実行できるようになっています。
Gaussianの「アウトコア計算」では、データを読み書きしている間はCPUが待機状態になっています。そのためストレージの速度が速いと、計算速度を速くすることができます。例えば1TBのスクラッチファイルを百回読み書きすると、100MB/sの速度を持つディスクでは２３日もかかります。ところがディスクの速度を1000MB/sにまで高速化すると、約２日強で終わることになります。
RAID0システムのボトルネックはシステム上のPCI ExpressバスとRAIDコントローラの間に発生しています。経験的に最新Xeon (Westmere-EP) 上のQPIに接続されたPCI Express 2.0と最新のRAIDコントローラのI/O性能の上限は1500MB/sの前後であろうと思われます。そのため、記憶メディアのI/O速度が200MB/sだと仮定すると８基で性能が飽和することになります。
最新の3.5インチの15000回転ディスクは約200MB/sの性能を持っています。また、SSD半導体ディスクも約200MB/Sの性能を持っている言われています。このように両者は性能に大きな差はありません。ですからこれらの機器の並列化では８基以上接続しても意味がありません。
スクラッチファイルは新しいファイルを上書きしてゆくため。ディスク上のデータの配置は連続することになります。そのため、ランダムアクセスが苦手なSASディスクでも十分な性能が得られます。
スクラッチディスクの設計ではこのような特性を意識して、適材適所でのシステム構築が大切です。
大容量メモリの搭載
Gaussianは計算の種類と並列度によって大きなメモリを必要とすることがあります。もし十分なメモリ量が確保されないと、計算が実行できなかったり、並列度が低くなることがあります。さらにマルチコア環境で多数のジョブを平行処理する場合は、各ジョブがそれぞれメモリを必要とします。そのため少し大きなメモリを搭載されておくことをお勧めします。
システムの拡張
計算機台数の増加
最初は1台の計算機からスタートしたGaussian計算も、計算の有用性が知られるに従って、計算への要求が多くなり、計算機の台数が求められるようになります。
クラスタ化の必要性
計算機、ジョブ、利用者の数が一挙に増加すると、計算機のジョブ管理が難しくなります。そこで、大型計算機の管理に利用されている、自動ジョブ管理ソフトウェアが必要となります。
システムのフロントエンドに、管理サーバ兼ファイルサーバを設置し、そこにジョブスケジューラを搭載することで、ここれまで手作業で行ってきた煩雑な管理業務の全てを自動化することができます。この、ジョブ管理システムの仕組みはこれまで何十年にも亘って大型計算センターにおいて使い続けられ改良されたきたシステムのため、小型のクラスタで使用することにたいしては十分な機能と完成度を持っています。
スパコンセンターとでジョブを振り分け
計算機の技術革新は停滞することがありません。そのため、更新サイクルが長いスパンセンターの計算機は陳腐化する期間があります。５年の更新サイクルですと、後期の２年間がその期間になります。その期間はPersonalなPCクラスタと比較すると、条件によっては１０倍程度の演算性能の差が出てしまうこともあります。これでは最新の計算水準に追従してゆくことは難しくなります。
そこで手元に小規模なPersonalクラスタ環境を保持し、計算センターの計算機と使い分けることで、バランスの良い計算環境を維持することかできます。
手元に計算機環境を持つというスタイルを失うと、人材やノウハウが失われてしまい、全てを外部に依存することになります。外部のシステムが常に理想的な環境ぶあれば良いのですが、移り変わりの激しい計算機の世界では、そのアーキテクチャが廃れてしまうことも少なくありません。この観点からも手元に計算環境を維持することはとても重要なことです。