量子化学/分子動力学シミュレーションシステム (企業系研究所様の導入事例)

AbinitMPとAmber9での大規模並列をご要望

お客様は以下のことをご要望されていました。
AbinitMPの運用を考慮して1ノードあたりのメモリを大きく確保
Amber9の主要プログラムpmemdでの大規模並列演算による高速化のため多くのコア
AbinitMPの将来的な大規模運用に備え、メモリの拡張が可能
AbinitMPで1つのプロセスで最大8GBのメモリを占有可能
実験室の一角に設置するので静粛さは必須
将来、計算機が陳腐化したら、個人のPCとして容易に転用できるようWindows OSがバンドルされていること。

主要検討課題

コア数を必要とするソフトと、メモリサイズを必要とするソフトの両立が検討課題

本HPCクラスタの構築にあたっては、大容量メモリが必要なAbinitMPと、小容量のメモリで十分だが、多数のコアを必要とするAmber9のハードウェアレベルでの両立が大きな検討課題でした。お客様とは検討初期段階から「メモリスロットを１筐体あたり８スロット持ち大容量メモリを搭載できる、Xeonを用いてシステムを構築しよう。」ということでは意見の一致を見ていました。しかし、AbinitMPで多くのメモリを必要とする計算モデルを実行する場合には、1コアあたりのメモリを十分に確保する必要があり、デュアルコアCPUを2CPU 4コア搭載したシステムでは、ノードあたりの必要メモリ量が大きくなり、1台あたりのコストが増大してしまい、この仕様の計算機を採用すると、限られた予算では演算ノードの数を減らさざるを得なくなり、これではAmber9の実行で必要な多数のコア数を確保できなくなるという問題に直面しました。

LSFによるスケジューリングで問題解決

お客様との綿密な打ち合わせをするうちに、LSFのスケジューリングを工夫することで、この問題を解決できることが判りました。

・ AbinitMPでは、1プロセスあたり最大8GB程度必要とする計算がターゲットであるため、1ノードあたり8GBのメモリを搭載する。
・将来的な拡張を考慮し、メモリモジュールは、1GBx8枚ではなく2GBx4枚で構成する。
・ Amber9の運用を考慮し、システム全体ではコア数の最大化を目指す。
・ 1プロセスあたり8GBのメモリを占有するAbinitMPのプロセスは1台あたり1プロセス以上実行されてしまうと、メモリが不足するため、以下のスケジューリングポリシーを設定することで、不慮のメモリスワップを回避。

(1) 基本のスケジューリング設定は、1ノードに搭載されるコア数と同数の4プロセスが実行可能。
(2) 8GBメモリ用のスケジューリングを別途設定し、ジョブ投入時にLSFへ指定すると、1ノードにつき1プロセスのみが排他的に実行されるようにする。その場合は、8GBの搭載メモリを1プロセスのみが占有することとなる。
(3) 4GBメモリ用のスケジューリングを別途設定し、ジョブ投入時にLSFへ指定すると、1ノードにつき2プロセスまでが実行され、それ以上は拒否される。その場合は、1ノードにつき2プロセスのみが実行される。つまり4GBを1プロセスで占有することとなり、1プロセスあたり4GB以下のメモリまでしか使用しない計算での利用効率を高めることができる。

その他の検討課題

研究の妨げになるような騒音が発生するシステムは困る

設置場所は、研究者が常駐している実験室の一角に置かれることが予定されていたため、「研究の妨げになるような騒音が発生するようでは困ります。」というご要望を頂いており、弊社はミニタワー型の筐体で静粛性に優れたHPC-DPrシリーズをご提案しておりました。

LEDを見なければ動いているか分からないほど静か

実際に納品後、お客様がフル稼働状態の計算機システムをご覧になり、「実験機器の方がうるさくて、計算機はLEDを注意してみなければ、動いているか分からないほど静かですね。」というご感想を賜りました。

社内での騒音測定

写真は弊社で騒音テスト中の８ノードです。写真をクリックして拡大表示すると騒音計の表示が46.9dBと読み取れます。騒音計を計算機正面の距離1mに置き測定し、十分に静粛なことを確認しました。ファイルサーバにも静音ファイルサーバDPe2900を採用し、システム全体の静粛さに配慮しています。

クラスタを構成する基幹の部品は
全てデル製品を採用

計算機のみならず、UPSやネットワークスイッチなどもデルの純正品を採用しています。HPCクラスタは全体が相互に依存して稼動しており、特にホスト機、ネットワークスイッチ、UPSなどの停止はシステム全体の停止に直結します。これらの基幹部にもデル純正品を採用することで、デルサポートによる迅速なオンサイト修理の実施と、無償修理パーツ保証が受けられ、万一の故障時にも迅速な復旧が無償で可能となり、稼働時間の最大化を実現します。

徹底的なエージングをしてから出荷

計算機のみならずUPS、ファイルサーバ、スイッチまで全てを利用状態に組み上げて、OS、開発環境、ネットワークなどもセットアップして、徹底的な長期間高負荷テストを実施することで、お客様先での導入初期に発生しやすい諸々のテスト作業や修理・改善などを最小化し。迅速な立ち上げと、立ち上げ後の安定稼動を達成します。

４週間を下回る納期で本稼動

弊社の標準納期は５週間と余裕を持ってお伝えしております。今回のシステムではご注文を頂いてから、部材発注⇒入荷⇒組み立て/設定⇒エージング⇒オンサイト設置⇒本稼動までの全工程を約４週間弱で完了させました。お約束の納期に余裕を持ってお引渡しすることができる体制が整い、納期遅れでお客様にご迷惑をおかけすることもなくなります。

計算機仕様

管理ノード :
HPC-DPr2900 1ノード　(静音ファイルサーバ)

CPU : デュアルコアXeon 1.86GHz 1CPU 2コア
メモリ : FB-DIMM 533MHz ECC 2GB
HDD : SATA 3.0Gbps 500GB x 4本 RAID10 実効容量 1TB

開発環境 :

インテル Fortran コンパイラ
インテル C++ コンパイラ
インテル Math Kernel Library

演算ノード :
HPC-ProServer DPr490 12ノード　(静音HPCクラスタ)

CPU : デュアルコアXeon 5160 3.0GHz 2CP4コア
メモリ : FB-DIMM 667MHz ECC 8GB
HDD : 250GB x 2本 (システムディスク + システムバックアップ)

補助機器 :

無停電電源装置 7台
( 1台は管理ノード+ネットワークスイッチに使用、6台は演算ノードに使用 )

アプリケーションソフトウェア :

ジョブ管理ソフト LSF
量子化学計算 BioStation (AbinitMP)
分子動力学計算 Amber9

量子化学/分子動力学シミュレーションシステム【企業系研究所・導入事例】