大型HPCクラスタでの追加ファイルサーバ導入

はじめに

お客様は、構造計算や流体計算を中心とした幅広い科学技術計算を、市販アプリケーションと独自開発ソフトウェアを駆使して行い、基礎研究から製品開発に直結した研究まで一貫して実施されている企業の研究所様です。研究所の主力計算機としては従来から多数のHPCクラスタをご利用されており、クラスタシステム構築に関しても深い経験と確かな洞察力をお持ちです。

今回は、定期的な計算機の更新として一部の古い計算機の入れ替えに際し、弊社にも提案の機会を与えてくださいました。そこで最新のQuad-Core Xeon 8コア搭載機をご提案することとしました。

・ Xeonの２ソケットマザーボードのメモリ帯域は21GB/sあり8コアに対応できる
・ 8コア機は4コアのみを使用して4コア機のようにも使える
・ 4コア機は8コア機としては使えない
・ 8コア機と4コア機の価格差は皆無 (8コア機のコア単価は4コア機の半額)
・ 8コア機と4コア機の消費電力差は小さく、4コア機２台分にはならない (CPUの消費電力差のみ)
・ 8コア機の総キャッシュ容量は4コア機の２倍も搭載されている
・開発環境もマルチコア環境に対応してきている
・今後16～32コア機の出現が予測されており、マルチコア環境の利用に注目
・ CPUクロックも上昇するのでノード内の性能向上はさらに期待できる
・大容量メモリの価格も軟化しており、単体計算機でも大容量メモリを豊富に搭載できるようになる
・実機によるテストで実証的な調査も行う

このようなご提案を行い、平行して実機を用いた実証的テストも行うことで、弊社のQuad-Core Xeon 8コア機の採用を検討していただけることとなりました。そこで本提案を行うために、お客様から詳細なご要望を伺いました。

お客様からの要望

・計算機はQuad-Core Xeon 8コア機とすること
・ 1Uサーバを用い、EIAラックに搭載して設置すること
・高品質のサーバを提供し、故障リスクを低くすること
・万一の故障に際しても、迅速な復旧手段を持つこと
・全ての計算機をUPSに接続すること
・停電時には管理ノードがUPSの信号を検知し全体を安全に停止させること
・最新の開発環境をフローティングライセンスでセットアップすること
・ジョブスケジューラーのインストールと設定を行うこと
・所内NTPサーバーに接続し、時刻同期をすること
・既存の計算機やソフトウェア、ファイルサーバなどと整合性を取ること
・オンサイトでの設置を行い運用開始までフォローすること
・納期を守り、迅速に本稼動させること
・３年間の当日/翌日オンサイト「W保守サービス」を行うこと

ご提案した構成

弊社のDPe1950 1Uラックマウントサーバは、高品質かつ堅牢な計算機です。この1Uサーバ２０台と、この全体を接続できる容量を持つ複数の3000VAのUPSなどをEIAラックに搭載する仕様でご提案しました。

計算機 20node 40CPU 80コア
・ DPe1950 2CPU 8コア (8MBキャッシュ) System HDD H/W RAID1 250GB (250GB x2)
・ GbEスイッチ x2 (２重化)
・ KVM
・全ノードにUPS(3000VAタイプ)接続
・ EIA 42Uラック
・計算機、UPS、KVM、GbEスイッチをEIAラックへ搭載
・計算機はケーブルアーム使用して配線
・インテルコンパイラ (フローティングライセンス)
・ Intel-MPI
・ジョブスケジューラーLSFのインストールと設定
・オンサイトでの設置サービス
・３年間の当日/翌日オンサイト「W保守サービス」

受注から納入まで

弊社の提案をご評価いただくことができ、無事に受注いたしました。受注すると迅速に全ての部材の手配を行いました。そして、DELLの工場でサーバが生産されている間に、お客様とクラスタシステムの詳細な設定内容の打ち合わせや、納入作業の段取りに関する確認などを行い、迅速・確実な納入を実現できるように努めました。

サーバが弊社工場に入荷すると仮ラックに搭載し、実運用レベルでのシステム構築を行い一週間以上の長時間連続負荷テストを実施しました。写真の左側の1Uサーバがテスト中の実機です。この２０台のサーバは期待どおり、一週間の負荷テスト期間中に全く障害を起こしませんでした。さらに、最初に電源を入れてから現在までの約４週間で、一切不安定な挙動をみせていません。見事に安定稼動しています。初期不良が皆無という素晴らしい品質を示しました。

【余談になりますが、この20node 40CPU 80コアの負荷テスト時に、クラスタの前方1mでの騒音測定を行ったところ66dBと低騒音でした。しかも周波数が低く柔らかい音なので、そのすぐ横で事務仕事をしていても音が気になるということはなく、不快感もありませんでした。この音対策は見事なものです。これに対して、市販サーバの多くは音対策が遅れており、高い風きり音や金属音を強く出すサーバが多いです。これらの音は、dB値以上に不快感が高く、しかも音が遠くまで響きわたるので、居室に置くことは勘弁してほしくなります。)】

さて、今回は背の高い42Uラックを使い、重量のある3000VAのUPSを多数搭載するため、ラックへの搭載作業ははオンサイトで行うこととしました。ラックは既にクラスタ設置場所まで業者により運ばれていました。弊社のシステムは事前に全ての設定を終えているので、オンサイト作業もスムーズです。この段取りの良さが作業品質を大きく左右します。全てのハードウェアをラックに搭載し結線すると、システムを立ち上げ、ネットワークへの接続、アプリケーションの動作確認、ライセンスサーバとの接続確認、ジョブスケジューラを用いての計算の自動実行まで、オンサイト作業は思いのほか順調に進み、予定通りの日程でお客様にシステムを引渡しすることができました。

お客様のご感想

導入作業が終わった後、お客様に印象を伺うことができました。それを箇条書きで掲載させていただきます。

○ 注文してから納品までよく準備され、作業や対応が段殿よくできていました。これは良かったです。

○ 2CPU 8コア機でMPICHとIntel-MPIの並列性能の比較をしました。その結果、ＨＰＣテクノロジーズさんが示していた資料のように、Intel-MPIはMPICHに比べて２倍ほどの並列性能が確認できました。これは高く評価できます。

○ ラッキングに関しては、スライドレールを使ってサーバーをラックマウントしてあり、ACコード、LANケーブルなどはケーブルアームを用いて配線してあるため、ケーブル類をサーバに接続したたままで、サーバを手前に引き出して作業できるので、メンテナンス性が高く、とても便利で安全な実装となっていました。これは良いです。

○ DPe1950サーバは、筐体前面にLCDパネルが付いており、障害時には警告メッセージが表示されるとのことです。これは安心ですし、助かると思います。

○ システムのダウンタイムを最小化するために、クラスタの全ノードのシステムディスクをハードウェアRAID1にしてあり、ディスク障害が起こっても自動的にリビルドが開始されるので障害復旧が迅速に行われ、可用性が高い仕組みは良いです。

おわりに

今回のシステムを納めさせて頂いたお客様は、計算機に関する経験が非常に豊富で、システムに対する目が肥えていらっしゃいます。そのお客様から、一定のご評価を頂戴できたことは、弊社にとっても励みとなりました。