ワークステーションのクラスタ化／パーソナルHPCクラスタの可能性

はじめに

お客様は国立研究機関で分子科学の研究を数値計算によって行われている研究グループの方です。計算機は主にスパコンセンターの資源を利用されています。しかしセンターの計算機はストレージ容量の制限や定期的なメンテナンスがあり、利用したいときに利用ができないなどの制約があります。そこで自由に計算が実行できる環境を実現するため、研究グループとしての計算機環境を構築されています。

マルチコア計算機をパーソナルHPCクラスタで最大限に利用

最新のマルチコア計算機は従来の大型UNIX並列機を超える性能を持つに至っています。これを研究室で独占使用することで、CPU時間や、ディスクサイズなどの制限を取り払うことができ、計算機の機能を最大限に発揮させた利用を実現できるそうです。そのためには幾つかの構成の工夫や、運用の工夫が必要とのことです。このような最適化を柔軟に行えることこそが、パーソナルHPCクラスタの利点です。

マルチコア計算機に搭載されている新しいコアは高性能

お客様は、シングルコア世代のItanium2やXeonなども使用されています。これらに搭載されているコアと最新のXeonに搭載されているコアとを、最新の開発環境を用いて比較すると、計算にもよるそうですが、コアあたりの性能はおおよそ1.5～2倍くらいに向上しているそうです。Quad-Core Xeon 2CPU機ではこれが8コア搭載されており、実際の計算時の性能においても大変満足されておられました。お客様は8ジョブでの並行処理利用が中心とのことです。

計算機の可能性を探りながら段階的な導入

ワークステーションは最新技術が率先して導入される強力な計算機です。そこでお客様は、ワークステーションを試験導入され、その性能や機能の限界を、システムインテグレーションを含めて総合的に、段階的に検証されています。

最初は小さなシステムで調査導入された

お客様が最初に導入された計算機はDPr490で、Quad-Core Xeon 2.66GHz 1CPU 4コア 4GBメモリ 250GB_HDDx2を搭載したものです。これにインテルコンパイラとジョブスケジューラLSFを搭載して導入されました。CPUは１個、メモリも小さいですが、CPUクロックは最速の2.66GHzを搭載しており、最新の開発環境を搭載しておりマルチコア環境のテスト用としては適切な構成です。さらにマルチコア環境を運用する際には必須の商用ジョブスケジューラ LSFも搭載されていました。これを使いこなすことで、おおよその様子は把握できるます。

本番機の試験導入

次に導入された構成は本番機ともいえるもので、ディスク搭載本数の多いDPr690という計算機を導入されました。それにQuad-Core Xeon 2.66GHz 2CPU 8コア 8GBメモリ 250GB_HDDx1を搭載し、さらに500GBディスク３個を用いて構成した1.5TBのRAID0ボリュームが実装されています。このRAID0ボリュームの実効I/O性能は200MB/s程度あり高速です。そのため計算で膨大なファイルI/Oが発生してもネットワークやファイルサーバに負担をかけることなく、計算機の内部でファイルI/Oを行うことができます。このようにすることで、計算機の台数を増やしてもファイルサーバのボトルネックを抑えることができます。なおお客様の計算は、並列処理ではなく並行処理が中心であり、１台の計算機上で８個のジョブを平行して流されます。そのために、ジョブスケジューラLSFでジョブ管理を行う利用法となっています。

３台目の計算機の追加導入では全体を本格的にクラスタ化

２台目の計算機で、Quad-Core Xeonの実効性能を確認されたお客様は、さらにもう１台の計算機の追加導入を決められました。この追加では、３台のワークステーションをクラスタ化しジョブスケジューラー (LSF) で全体を統合し、使い勝手を向上させることにも着手されました。３台のワークステーションでも、マルチコア計算機ですから、全体としては24コアが動作していることになります。このジョブのスケジューリングは十分に複雑であり。例えLSFを搭載していたとしても、別個にジョブスケジューリングをしていたのでは大きな負担となります。これを解決するためにはクラスタ化が有効です。

クラスタ化すると１回のログインで全体を一元的に利用できる

ワークステーションが別々に動いていると、個々のマシンにログインして操作する使い方となります。ところが、ワークステーションをクラスタ化すると、個々のワークステーションにログインする必要は無くなります。決められた管理ノードにログインするだけで全ての操作を行うことが可能となります。さらにジョブ投入も管理ノードで一元的に行い、実際のジョブ投入はLSFが自動的に実効してくれます。クラスタ化することで計算機の操作が簡単になり、しかも計算機資源の有効利用が推進できます。

ファイルI/Oのボトルネックを回避し、高スループットを実現するシステム設計

さて、お客様のシステム設計の大きな特徴として、ファイルI/Oのボトルネックを回避してスループット向上をさせるため、十分な速度と容量を持つストレージを各ローカルノードに実装させている点を挙げることができます。各ワークステーションに実装されている３個の500GB SATAディスクをRAID0化した1.5TBのボリュームは200MB/s程度の実効速度を持っています。この大容量かつ高速なローカルディスクを活かして、処理中の計算のファイルI/Oをローカルディスク主体にコントロールできるのであれば、この高速ディスクは効果的です。さらにクラスタの規模が大きくなると発生しやすいファイルサーバのボトルネックが原理的に起こらない仕組みでもあります。容量も1.5TBと大容量ですから、相当量のデータを蓄積しておくことも可能です。ただし、RAID0ですから万一のディスク障害によりデータが消失するため、あくまでもテンポラリ利用に用途は限定されます。

ネットワークのボトルネックを避けるファイルサーバの分散

お客様のシステム設計のもう１つの特徴として、複数のファイルサーバをネットワークに分散して接続されており、I/Oが分散できる仕組みとされています。さらにファイルサーバは用途によって使い分けされ、その構成も目的に特化した構成とされています。そしてこの構造を支える土台として、低価格化した多ポートのGbEスイッチを上手に活用されていました。GbEスッチは、48Gbpsのスイッチング性能の24ポートの製品に５年間の保守をつけても約１４万円、96Gbpsのスイッチング性能の48ポートの製品に５５年間の保守をつけても約27万円と低価格が進んでいます。この多ポートのスイッチを導入すると、ここに全ての機器をフラットに接続し、ファイルサーバも分散接続させることで、ファイルサーバのボトルネックを回避できる仕組みを工夫されていました。

▼ GbEスイッチの価格表

LSFを活用することで、管理を容易にできる

ポート数の多いスイッチに各種機能を持ったサーバや計算機を多数フラットに接続すると、管理が困難になることは目に見えています。そこでLSFを活用して、ネットワークの内部を論理的に整理し、機能的に利用できるようなルールを作成し、運用はLSFに行わせることで、管理の煩雑さをクリアすることが可能です。

▼ LSFの勧め

計算機の利用限界の拡張を高いコストパフォーマンスで実現

お客様はHPCクラスタをパーソナルHPCクラスタとして、研究室や研究プロジェクト単位で独占的に使用することで、その設計方法と運用方法の双方を最適化されることで巧みにボトルネックを回避され、計算機の利用限界の拡張にも成功しておられるようでした。

納入した計算機

▽ １台目： DPr490 Quad-Core Xeon 2.66GHz 1CPU 4コア
メモリ： 4GB (FB-DIMM 667MHz)
システムディスク： 250GB x2
OS： CentOS4
ジョブスケジューラー： LSF (インストールと設定)
開発環境：インテルコンパイラ
製造：弊社工場でのカスタマイズ
サポート：３年間の当日オンサイト「W保守サービス」

▽ ２台目： DPr690 Quad-Core Xeon 2.66GHz 2CPU 8コア
メモリ： 8GB (FB-DIMM 667MHz)
システムディスク： 250GB x1
OSリカバリDVD： DVD±RW
ローカルテンポラリードライブ： 1.5TB RAID0 (500GB x3)
OS： CentOS4
ジョブスケジューラー： LSF (インストールと設定)
製造：弊社工場でのカスタマイズ
サポート：３年間の当日オンサイト「W保守サービス」

▽ ３台目： DPr690 Quad-Core Xeon 2.66GHz 2CPU 8コア
メモリ： 8GB (FB-DIMM 667MHz)
システムディスク： 250GB x1
OSリカバリDVD： DVD±RW
ローカルテンポラリードライブ： 1.5TB RAID0 (500GB x3)
OS： CentOS4
ジョブスケジューラー： LSF (インストールと設定)
製造：弊社工場でのカスタマイズ
設定：オンサイト設置 + クラスタ化設定サービス
サポート：３年間の当日オンサイト「W保守サービス」

設置と設定

試験的に導入された１、２台目の計算機は弊社内部ですぐに使用していただけるような設定までを行い、設置はお客様の方で行っていただきました。オンサイトでの設置作業は３台目の納入の際に、これまで導入された２台のワークステーションを含めて、お客様の利用内容をお聞きしながら、クラスタ化する作業を行いました。お客様は部分的に計算機を導入されながら、その特性を把握されてのシステム構築であったので作業はスムーズでした。

さいごに

冒頭にも書かさせて頂きましたが、このシステムの素晴らしさは、検証済みの一般的な技術を組み合わせて、これまでは実現が難しかったであったであろう課題を手堅くクリアされている点にあります。これは共同利用環境では不可能ですし、ワークステーションを多数並べただけでも不可能です。構成や運用に柔軟さがあるパーソナルHPCクラスタだからこそ実現できた構成です。

既存ワークステーションのクラスタ化／パーソナルHPCクラスタの可能性【導入事例】