電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
初めてのHPCクラスタ導入と、システム拡張 Xeon 7node 44core
はじめに
お客様は国立大学で計算物理を行われている研究室の方です。昨年に弊社よりHPCクラスタを導入して頂きました。このシステムは、お客様にとっては初めてのクラスタです。これまでは研究室の方が個々にWSを導入され、計算は主に計算センターを利用されていたそうです。
HPCクラスタの実情をプロトタイピングにて検討
ところがお客様としも、CPUがマルチコア化し計算機性能が向上したことに興味を持たれ、今後の計算機利用環境の方向性を見定めるため、試験的なシステム導入を構想されていました。
そこで、プロトタイプとして、ワークステーション2台からなるコンパクトなHPCクラスタを導入されました。このシステムは台数こそ2台ですが、これから中規模クラスタにまで対応する立派な管理サーバと、完成度の高いジョブスケジューラーとしてLSFが導入されており、今後のシステム拡張に対応できる本格的な仕様です。また、運用は弊社技術支援によるメンテナンスフリー化が、保守についてもオンサイト保守を活かしたアウトソーシング化が求められているのはいうまでもありません。
研究室や研究所でもPCクラスタを手軽に維持できる
PCクラスタは、マルチコア化による速度向上と、半導体の高密度化による大容量化が進んでいます。さらに、システムを適切な業者から導入すると、完成度の高いPCクラスタが手軽に導入できます。また、導入後の保守運用なども低コストでアウトソーシングできます。そのため自前のスパコンセンターが簡単に実現できます。
安定した手元のHPC環境
手元の計算機は安心です。
- 開発環境に一貫性がある
- 計算機アーキテクチャも一貫性があり透明性も高い
- 必要に応じて古い環境も任意の期間だけ残せる
- 何週間でも連続動作させられる
- 計算の巨大化や長時間化にも対応
計算機センターは便利に利用
計算センターの計算機は手元の計算機を補完するために利用します。
最初に導入されたシステムの構成
計算サーバ : DPr490 2node 4CPU 8コア
CPU: Dual-Core Xeon 2CPU 4コア /node
メモリ : 4GB /node
OS : Cent OS
自動負荷分散ソフト : LSF
※ メモリはコアあたり1GB程度でよい
⇒ 当時としては最新のDual-Core Xeon 4coreを搭載- 管理サーバ : DPe840 1台
CPU; Dual-Core Xeon 1CPU 2コア
ストレージ : 1TB RAID10 (500GB x4)
OS : Cent OS
開発環境 : Intel Fortran、Intel C++
自動負荷分散ソフト : LSF
管理機能 : ホームデイレクトリー、開発環境、ライセンス、ユーザ情報、ジョブ管理
⇒ 信頼性の高いRAID10によるストレージを搭載
⇒ 独立した管理サーバとして運用され、システムに高い拡張性と保守性をもたらす
⇒ 導入当初からLSFを介した本格的なクラスタ利用 - その他
スイッチ : GbEスイッチ
システム構築 : オンサイトで設置から運用まで支援
サポート : 当日オンサイト保守
⇒ MPI並列、ノード内並列、非並列などの計算をLSF経由で混在投入可能
お客様のご利用状況
- 研究室の数名でHPCクラスタを共同利用
主な使用方法は、各利用者がパラメータを変えた多数のジョブを同時投入
非並列計算がほとんど、メモリ使用量は1GB以下
MPI並列のプログラムも利用されるが比較的少なめ
ジョブ数が多いのでスループットの高さを重視
最初からLSFによるジョブスケジューリングを介してHPCクラスタを共同利用
⇒ 導入されたHPCクラスタはLSFによりジョブが順調に処理
⇒ 利用者の方々もシステムに慣れられ、HPCクラスタの動作への理解も深められた
⇒ 管理サーバも有効にご利用
新しいノードの追加
システムの利用が進み実用性が確認されるに従い、処理性能の向上が求められるようになったそうです。そこで、計算機を追加されHPCクラスタを拡張されました。管理サーバが導入されているので、計算ノードの追加は容易です。新しいノードをネットワークに接続すると、弊社の技術スタッフがリモートから管理サーバの設定変更作業を行いました。その結果、納入した当日には本格稼動しました。追加された新ノードはユーザから直接ログインして利用するわけではないので、ユーザの利用方法に変化は一切ありませんから手間は皆無です。これは管理者にとっても楽です。
-
追加計算サーバ : DPr390 1node 2CPU 8コア
Quad-Core Core 2 Quad 1CPU 4core /node
メモリ : 4GB /node
OS : Cent OS
自動負荷分散ソフト : LSF
※ メモリはコアあたり1GB程度でよい
⇒ Quad-Core Core 2 Quadの実用性は高かった
⇒ 管理サーバがあるため、演算ノードの追加が容易
⇒ 管理サーバ経由での利用のため変化が最小で、ユーザも管理者も負担が無い
⇒ LSFを介してのクラスタ利用なので、演算ノードの違いはLSFが吸収
⇒ LSFによる資源管理は信頼できる
⇒ システムは安定動作している
CPUの選定では、お客様は高いスループットを必要とされていたので、当時最新のQuad-Core CPUをテスト的に導入されました。
演算性能の大幅増強
最初のベースシステムの導入とテスト利用に続いて、Quad-Core CPUのテスト利用の結果も、お客様のご期待に背きませんでした。そこで、さらに本格的なクラスタの導入を構想されました。具体的にはQuad-Core Xeon 2CPU 8core搭載のワークステーションを4台用いて32coreの追加を考えられました。
追加計算サーバ : DPr490 4node 8CPU 32コア
CPU: Quad-Core Xeon 2CPU 8core /node
メモリ: 8GB /node
OS: Cent OS
自動負荷分散ソフト : LSF
※ メモリはコアあたり1GB程度でよい
⇒ コア数の大幅な増加により、合計で44コアの動作
⇒ コア数が増加するのでLSFをより上手に利用したい
迅速な増設サービス
このシステムは最初からシステムの拡張を考慮した設計をしているため、計算機とソフトウェア類の増設容易です。しかし、ノード数が多めなので、今回は弊社の技術スタッフがオンサイト作業を行いました。
運用ノウハウのご提供
オンサイト作業を行うことで、お客様から直接細かなご要望を伺うことができます。特に、運用ノウハウなどをお伝えする場合などは、現場でお客様にご意見や疑問点などをお聞かせ願っているうちに浮かび上がる課題の幾つかを、その場で対応させて頂くことが通常です。
お客様からのご感想
オンサイト作業の際に、お客様から次のようなご感想を伺いましたので箇条書きでご紹介させていただきます。
- 44コアをパーソナルなクラスタとして数人で利用できるのはすばらしい
１コアあたりの性能もかなり向上している
2〜3年前なら44コアのクラスタはラック2本の程度のスペースが必要だった
現在はワークステーション8台で済む
以前は5,000万円くらいはしていたはずが、現在は数百万円で導入できる
管理サーバが独立しているので、システムの追加が容易だった
システムの管理も一貫しており容易なことがわかった
今後も必要に応じて計画的にシステムの増強ができる
1TBのRAID10ファイルサーバが付いているので安心できる
スペアディスクは搭載していないが、当日オンサイト保守で安心
3年間の当日オンサイト保守が無償で付いているのは良い
最新のアーキテクチャを簡単に試験導入できることもわかった
システムはコンパクトで静かだった
システムは極めて安定して動作しており、手間がいらない
演算性能電力比が良いので、空調や電源容量の節約ができる
オンサイト時にお客様からLSFの挙動に関してのご質問
お客様から、ジョブスケジューラとして搭載しているLSFのキューに設定したプライオリティによるスケジューリングの違いを詳しく知りたいというご質問をいただきました。確かに小規模なクラスタで、しかもマルチユーザで、さらに投入ジョブ数が多いと、LSFが持つフェアシェアの機能が強く働き、プライオリティーの効果が判然としないことがあります。
単純な系を構成してテスト
そこで、1台のマシンだけで単純な系を一時的に構成し、典型的な状況を再現し、その挙動を観察してみました。具体的には以下のような動作を確認しました。
- 8コアの計算機を用意する
8コアに対して8個のジョブを投入する
さらに10個のジョブを投入する (10個のジョブは待ち行列にはいる)
さらにプライオリティーの高い１個のジョブを追加投入する
待っている10個のジョブを飛び越えて、待ち行列の先頭にプライオリティーの高いジョブがはいる
動いているジョブの１つが終了すると、待ち行列の先頭にあるプライオリティーを高くしたジョブが実行される
このデモンストレーションを行ったところ、お客様から、「LSFの動作の様子が良く理解できました。」と言っていただけました。これなども実際にシステムを動かしてテストすると直感的に理解できることです。ところが、現実に動作しているシステムではLSFはフェアシェアやロードシェアなども同時に機能させた複雑な挙動をしているため、個々の機能は判り難いです。しかし、この複雑な挙動にこそLSFの真価が表れており、他のジョブスケジューラーでは到底実現できない使い易さと効率の良さを両立させたスケジューリングが実現されています。
お問い合わせは歓迎です
今回は、オンサイト作業時のリラックスした雑談のなかでお客様の疑問をお伺いすることができ、実機によるデモによるご説明を行うことが出来たため、疑問を解消していただくことができました。しかし、もしこのような機会が無く、疑問をお持ちのままで利用されつづけますと、やはり運用上でお客様のご負担が増えることが考えられます。幸いにしてＨＰＣテクノロジーズは沢山のクラスタ運用の経験がありますから、多くのケースに対して実践的な対処方法を知っている可能性があります。もしお客様が疑問などをお持ちでしたら、ご遠慮なさらずに是非ともＨＰＣテクノロジーズにメールなどでお問い合わせをお願いしたいと思っています。可能な限りの対応を心がけています。
ご利用開始
増設作業を終え、新たに追加したノードも含め全44コアが稼動を開始した直後から、大量のジョブが投入され処理が開始されました。その後はトラブルも無く安定した運用が継続しています。