HPCテクノロジーズ　CPUベンチ

はじめに　予備テストとしてsystest.cを実施

Quad-Core Xeon 8node 64CPUコアをGbE接続した並列計算機では、MPIの実装をMPICHからIntel-MPIに交換することで高い並列性能を引き出せました。同時に、GbEの限界もみえてきました。(8CPUコア機の登場で多コアのクラスタ導入にかかわるハードルが急激に低下しています。)そこでInfiniBandのテストをするためQuad-Core Xeon 8node 64CPUコアをInfiniBand接続した試作機を用意しました。(システムの詳細はページ下部に記載しています。)　このシステムの基本性能を確認するため、MPIの基本的な通信性能を確認できる「systest.c」というMPIによるネットワーク通信性能確認用のテストを用いて予備テストを行いました。このテストは２ノードだけを用いて行いました。

２ノード２プロセスで、基本的なノード間通信性能を確認、(各コンフィグレーションで実施)

２ノードを用いて、各ノードの1CPUコアだけを使った２プロセスでsystestを実行しノード間通信でのMPIテストを行う最も基本的なテストを行いました。グラフ赤色はIntel-MPI + InfinaBandです。通信性能がきれいに出ています。10GbpsのInfinaBandの理論値に近い1GB/sが出ていることが確認できました。比較のために行っているグラフ水色のGbE + Intel-MPIや、グラフ空色のGbE + MPICH TCPもきれいです。1GbpsのGbEの理論値に近い100MB/sが出ていることが確認できました。なお、ピンク色グラフのOpen MPI (InfiniBandスイッチに付属のMPI) は部分的に少し性能が落ちている箇所がありますが、出荷ではIntel-MPI + InfiniBandを使用するので、これは参考値です。

１ノード２プロセスで、基本的なノード内通信性能を確認

１ノードを用いて、2CPUコアだけを使った２プロセスのsystestを実行し、ノード内通信でのMPIテストを行いました。ノード内通信のためメモリ経由のMPI通信となり、MPIの実装によるノード内通信性能差が良く出るテストです。グラフ赤色はIntel-MPI + InfinaBandです。ノード内の通信性能がきれいに出ています。ところが比較のために行っているグラフ空色のGbE + MPICH TCPはノード内通信であるにもかかわらず、Intel-MPIの半分程度しか性能が出ていません。大きな通信オーバーヘッドがあるようです。MPICHではSMP機やマルチコア機では性能が出ないことがわかりました。

１ノード８プロセスで、実践的なノード内通信性能を確認

１ノードの8CPUコアを全て用いた８プロセスのsystestを実行しました。このテストもノード内MPI通信のためネットワークは使用していません。グラフ赤色はIntel-MPI + InfinaBandです。ノード内の通信性能がきれいに出ています。ところが比較のために行っているグラフ空色のGbE + MPICH TCPはノード内通信であるにもかかわらず、Intel-MPIの半分程度しか性能が出ていません。大きな通信オーバーヘッドがあるようです。さらに512バイト以下の領域では性能が極端に落ちています。

２ノード１６プロセスで、実践的なノード内通信性能を確認

InfinaBand接続した２ノードでの16CPUコアを全て用いた、１６プロセスのsystestを行いました。グラフ赤色がIntel-MPI + InfinaBandです。ノード内通信とノード間通信の双方を使用していますが、その性能はきれいに出ています。比較のために行っているグラフ水色のGbE接続のMPICH TCPは512バイト以下の領域では性能が極端に落ちています。

(参考) MPICH TCPを用いて１ノードでプロセス数を変えて、ノード内通信性能を確認

１ノードの8CPUコアを全て用い、８プロセスのsystestをMPICH TCPを利用して行いました。２プロセスではきれいに出ていた通信性能が、プロセス数を増やした途端に512バイト以下の領域で急激に劣化しています。

まとめ

Quad-Core Xeon ２ノード１６コア InfiniBand接続機を用いてのsystest.cによる予備テストにより、Intel-MPI + InfinaBandスイッチは良い性能を発揮することが確認できました。そこで、８ノード 64CPUコアの全てを用いて、実際のソフトを動作させての本テストを開始します。(素晴らしい性能が確認され始めています。

シスコシステムズのInfinaBandスイッチをテスト

高い信頼性が期待できるシスコシステムズ性能InfiniBandスイッチを用いてテストを行います。写真はテストに用いるインフィニバンドスイッチです。

システムは安定している

システムは全く不安定な挙動を見せることが無く、安定して動作しています。ハードウェアの安定稼動こそ、新しいチャレンジングには必須の要素です。

テストに使用したシステム

Quad-Core Xeon 8CPUコア機、8nodeで構成された合計64CPUコアのInfiniBandクラスタが構築されました。

HPC-ProServer DPe1950 8ノード 64コア InfinaBandクラスタ

計算ノードのスペック
CPU: Xeon (Clovertown) X5355 2.66GHz/2x4MB cache
FSB1333MHｚ 2CPU 8CPUコア
Memory: DDRII-667 FB-DIMM 8GB
System HDD: SATA 250GB 7200rpm x2
OS: RedHat EL WS4 Update4 EM64T
Kernel: 2.6.9-42
開発環境: Intel-MPI 3.0, MPICH 1.2, Intel Compiler

スイッチ
Cisco SFS7000 24ポートスイッチ１台
2ポート PCI-Express Infiniband HCA ８枚
InfiniBand Cable ８本

写真は準備中のQual-Core Xeon 2.66GHz 8node 16CPU 64CPUコア Intel-MPI InfiniBandクラスタです。上段にはシスコのInfinibandスイッチが写っています。

参考

■ Quad-Core Xeon InfiniBand + Intel-MPIの並列性能をVaspにより評価
■ Cisco SFS7000P InfiniBand サーバスイッチ

InfiniBand + Intel-MPI Quad-Core Xeon 64CPUコア機の予備テスト

はじめに 予備テストとしてsystest.cを実施