Quad-Core Xeon 8CPUコア + 64GBメモリ

お客様の状況

お客様のセンターには、スパコンを使用されるお客様が多数訪問されます。そのお客様方やセンターのユーザ様に使用していただくための、高機能、高性能、大キャパシティーのLinuxワークステーションが必要されています。またメモリサイズは64GBを求められました。必要なアプリケーションはGaussianなどの量子化学計算ソフト、流体計算ソフト、可視化ソフトなど多岐に亘っています。グラフィクス性能に関しても巨大なデータの可視化処理をスムースに行うため高速なOpen GLボードの搭載と、高解像度の表示を必要とされていました。

求められていることの整理

1. CPUが高速であること
2. SMPシステムでコア数が多いこと
3. 枯れたジョブスケジューラがあること
4. 64GBのメモリが搭載されていること
5. 大容量・高速なスクラッチディスクが搭載されていること
6. 高速なグラフィックスカードが搭載されていること
7. コンパイラやMPIなどの開発環境が実践的にセットアップされていること
8. 居室に設置するため静粛なこと
9. Gaussianなどのアプリのセットアップができること
10. UPSがあること
11. 共有設備のため故障しにくいこと
12. オンサイトサポートがあり迅速な復旧が期待できること
13. アプリケーションのビルドやハードウェアのチューニングも含めての提供できること

お客様のお話から、これらの条件を満たしている必要があることがわかりました。

弊社の考え

お客様の要求を全て満たすためには、大容量メモリに対応し、大容量かつ高速ディスクにも対応し、Quad-Core Xeonが搭載でき、静音なワークステーションが必要です。これを満たすことができるのはDPr690しかありません。そこでこのワークステーションをベースとしてインテグレーションを行うことにしました。弊社は既にDPr690をかなりの台数インテグレーションしており豊富な経験があります。また、Gaussianの正規ビルドや大容量スクラッチディスクの構築経験があります。開発環境にも精通しており、ジョブスケジューラも枯れたLSFが用意できます。そのため、今回の新たな確認事項としては、64GBメモリの動作確認と高速OpenGL対応グラフィックスカードのLinuxでの動作確認の２点に絞られます。メモリに関してはこれまでも32GBでの経験を重ねており、64GBへの壁はそんなに恐れる必要は無いと考えました。ただ１つ、Linuxでのグラフィックス性能がWindowsに比べてどの程度低いのかだけが懸念事項でした。

弊社の提案した計算機

ご提案した計算機を写真でご紹介することにします。見ていただきたいことは、このものすごい仕様の部品が整然と収まり静かに安定して動作することを確信させる筐体レイアウトです。右写真はDPr690の筐体側板を開放したところです。下側にはFB-DIMM 4GBメモリが16個搭載された64GBのメモリが見えます。その手前には発熱量の高いQuad-Core Xeonを冷却する２基の大きなラジエターです。その上にはQuadro FX4500 グラフィクスカードです。その左手にはカードを冷却する大きなファンが見えます。さらに上の青いプラスチックでマウントされているのが２基の250GB HDDと２基の750GB HDDです。一番上は1000Wの電源です。これらを全て搭載したマシンは国内ではこれ１台だけでしょう。このマシンが安定して動作し実用に耐えるということは素晴らしいことです。

この計算機の凄さ

この Quad-Core Xeonが動作するワークステーションは凄い計算機です。

1. 8コアが動作している
2. 64GBメモリ搭載
3. 1.5TBのRAID0ボリュームを持っている
4. 高速なグラフィクスカードがサポートされている
5. 大容量電源を搭載している
6. 開発環境が網羅的に搭載されている
7. 静粛である

などが一台で実現できています。

計算機の構成 (DPr690)

CPU : Quad-Core Xeon 2.66GHz FSB133MHz 2CPU 8コア
Memory : 64GB 533MHz (FB-DIMM 4GB x 16)
HDD system : 250GB SATA x2 (２重化)
HDD for スクラッチ : 1.5TB RAID0 (750GB SATA x2 ソフトウェアRAID0)
Graphics : Quadro FX4500
コンパイラ : PGI Workstation Linux 64bit、Intel Compiler
ジョブスケジューラー : LSF

64GBメモリのテスト

弊社内で64GBのメモリを使うソフトによりメモリの動作確認を行い正常動作を確認しました。

また、Linpack HPLを64GBメモリを全て使用して長期間動作させる耐久テストを実施しました。

お客様のサイトにてGaussianを64bit正規ビルトし、64GBメモリを利用するインプットファイルを用いた実アプリでの動作確認を行いました。最終的に実アプリによる最大規模のテストを行うことが重要です。

グラフィックスカードのテスト「ViewPerf9.0.3」

グラフィクスカードのテストはOpenGLの動作確認として「ViewPerf9.0.3」を用いて評価を行い、そこそこの性能を確認しました。テストで用いたOpenGLの動作確認用ソフト「ViewPerf9.0.3」は以下のサイトで公開されています。

http://www.spec.org/gpc/opc.static/vp9info.html

ViewPerfの実行と成績は、Linuxワークステーションでの高速なOpen GL利用アプリケーションの動作を確認することができるため重要です。

テストの結果、LinuxOSにてOpenGLアプリケーションが動作し、同等機種に同じグラフィックスカードを搭載しWindows XP OS環境でテストした結果と比較したところ、まずまずの性能が得られることが確認できました。グラフィックスカードに関してはWindowsの利用が主流のためLinux対応が大幅に手薄になっていることを危惧していたのですが、杞憂に終わりました。(大きく異なっていたのはエンターティメント用CGのMayaだけでした。)以下にテスト結果を示します。

テスト機 :
DPr690 + Quadro FX4500 (OS : CentOS4 Linux)
DELL Precision390 + Quadro FX4500 (OS : WindowsXP)

ベンチマーク項目：アプリケーション名	Linux (テスト機)	WindowsXP (比較対象)
3dsmax-04：3dm max	27.20	35.63
catia-02：CATIA	32.47	44.55
ensight-03：EnSight	19.35	24.41
light-08：Lightscape	31.03	39.50
maya-02：Maya	24.59	106.16
proe-04：Pro/ENGINEER	30.74	36.92
sw-01：SolidWorks	41.44	54.95
ugnx-01：UGS Teamcenter Visualization	13.15	11.03
tcvis-01：UGS NX	6.358	13.63

比較サイト
http://www.spec.org/gpc/opc.data/vp9/summary.html
比較機 : DELL Precision390 + Quadro FX4500 (OS : WindowsXP)

製作と納入

1.5TBのRAID0の搭載

GaussianやGAMESSなどの高速動作には高速・大容量ディスクが必要です。今回のシステムでは２基の750GB SATAで構成した1.5TBのソフトウェアRAID0を搭載しています。RAID0化することで、約２倍の性能向上が実現し、ボリュームサイズも２倍になります。写真右はディスクの搭載部ですが、スクリューレスでシステムディスクを含む４基のディスクが配置を考慮し巧妙にマウントされています。

２重化システムディスク

システムディスクには多数のアプリケーションライセンスや開発環境など、大切なデータが書き込まれています。これらが故障などで失われてしまうと被害は大きいです。そこで、システムディスクを２重化しており、最良の状態の時のイメージをフルバックアップして保管しています。そのため、ディスクの接続ケーブルをバックアップ先のドライブに差し替えるだけでシステムが立ち上がります。

ジョブスケジューラLSFの搭載

単体のワークステーションでジョブスケジューラーなどは過剰装備と思われる方もいらっしゃいますが、8コアで64GBメモリ共有機は、少し以前だと小規模なセンターの主力サーバでした。このマシンもリモートからの共有計算機として、充分な計算パワーと容量を備えています。それをフルに活かしかつ便利に利用するためにもLSFの実装は必須です。もちろんお客様も望んでいらっしゃいました。

トータルなインテグレーション

お客様は、Gaussianが64bitビルドされ、それがジョブスケジューラーを介してジョブ実行され、スクラッチファイルが高速なRAID0ストレージで処理されることを確認されてました。客様が求められているのは個々の機能がバラバラに搭載されていることではなく、全体がシステムとして機能することです。

開発環境の充実

今回のシステムの開発環境は

1. Gaussianコンパイル用に64bit版PGIコンパイラ
2. 一般ソフトウェアのコンパイル用にIntelコンパイラ
3. MPI並列ソフトウェアの高速処理用Intel-MPIライブラリの搭載

と間口の広い開発環境を搭載しています。

納期を守って納入

システムは予定よりも早く完成し、十分な社内テストを経て納入されました。

Quad-Core Xeon 2CPU 8core 64GBメモリ RAID0 Graphics 開発環境 アプリ【導入事例】