電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
HPC-ProSwitch DPc6224
(24x GbE Port, 2x Combo Port (Dual 10GbE, Stack Module))
HPC-ProSwitch DPc6248
(48x GbE Port, 2x Combo Port (Dual 10GbE, Stack Module))
GbEポートを24個持つDPc6224と、48個持つDPc6248をラインナップ
2基のコンポポートを持ち、10GbEモジュールあるいはスタック接続モジュールを搭載可
10GbEコンポモジュールにはDual 10GBASE-T、Dual 10GBASE SFP+をラインナップ
コンボポートにスタック接続用モジュールを搭載すれば12台のスイッチをスタック接続可
無期限ベーシックハードウェア保障付き(センドバック)
安心の翌営業日交換品発送保守サービス付き(3年間)
オプションにて24時間365日の当日4時間オンサイト保守にも対応
GbE-10GbEスイッチ
HPC-ProSwitch DPc6200シリーズの概要
24個あるいは48個のGbEポートを備えた1Uスイッチ
HPC-ProSwitech DPc6200シリーズは、24個のGbEポートを備えたHPC-ProSwitech DPc6224と、48個のGbEポートを備えたHPC-ProSwitech DPc6248の、２機種をラインナップした、1Uサイズのネットワークスイッチです。
２基のコンボポートを備えていることで、
スイッチの10GbE化と、スイッチのスタック接続を実現
HPC-ProSwitech DPc6200シリーズが他のスイッチよりも優れた箇所は、背面に２基のコンボポートを備え、そこに機能拡張用のモジュールを搭載することでスイッチ機能を大幅に強化できることです。用意されているモジュールは、高速アップリンク用の10GbEポート搭載モジュールと、最大１２台のスイッチをスタック接続し500ポートを超えるGbEポート実現できるスタック接続用モジュールです。
３種類の10GbE用ネットワークに対応した拡張モジュールの紹介
背面の２基のコンボポートに搭載できる10GbE用ネットワークモジュールは、Dual 10GBASE-TとDual 10GBASE SFP+、Single 10GBASE CX4の３種類を用意しています。
- Dual 10GBASE-T (１枚しか搭載できない、２枚は搭載できない)
- Dual 10GBASE SFP+ (２枚搭載できる)
- Single 10GBASE CX4 (２枚搭載できる)
10GbE (Bonding) アップリンク
これらの10GbEネットワークモジュールを２基のコンボポートの片方あるいは両方に搭載すると、アップリンクを10GbE化することができ、最大４個の10GbEポートの総帯域は40Gbpsに達します。
この機能を使ってスイッチとファイルサーバの間のアップリンク接続を10GbE化、Dual 10GbE Bnding化、Triple 10GbE Bonding化することで、両者の間の通信性能が大幅に向上します。そのため複数のクライアント機から同時にGbE通信が発生しても、ファイルサーバとの通信で容易にボトルネックが発生せず、高速なファイルI/Oを実現できます。
10GbEバックアップ
ファイルサーバのアップリンクに10GbEを導入するのであれば、バックアップ用のサーバとの接続にも10GbEが求められます。HPC-ProSwitech DPc6200シリーズは２基のコンボポートを備えているため、Dual 10GbEネットワークモジュールを２枚搭載でき、最大で４個の10GbEポートを備えることができます。これを利用して、ファイルサーバとのアップリンク用にはTriple 10GbE Bonding構成として、残りの１本の10GbEをバックアップ用サーバとの接続用に用いることができ、バックアップ処理の高速化も可能にできます。
スタック接続用モジュール
コンボポートにスタック接続用モジュールを搭載すると、最大で１２台のスイッチをディジーチェーン接続することができます。例えば48ポートのGbEスイッチを１２台接続すると576ポートのGbEスイッチを実現できます。
しかもスタック接続用モジュールは48Gbpsの帯域を持つため、GbEスイッチとしては十分な通信帯域を確保しています。
スイッチのスタック接続は、クラスタを構築する上でもメリットがあります。複数のラックを使ったHPCクラスタでは、ネットワークケーブルの配線が複雑になります。そこでスタック接続を利用すると、各ラックにスイッチを搭載して、そこにラック内の配線を集線できます。そのうえで、ラック間の接続にはスタック接続用ケーブルを使うと、雑然としたネットワークケーブルを整然と整理できます。このようにラック間の配線を簡素化することで、ラックの移動や、クラスタの機能拡張などが簡単にできるようになります。
GbE光接続
HPC-ProSwitech DPc6200シリーズの前面には４個のSFPコンポポートがあります。ここに光ファイバー接続すると、遠距離のサーバと接続することができます。
まとめ
このようにHPC-ProSwitech DPc6200シリーズはコンパクトな1Uサイズのスイッチに２基のコンボポートを備えることで、高価な大型スイッチに匹敵するネットワーク性能を、フル10GbE化することなく、廉価なGbE-10GbE環境で実現できます。
Sandy Bridge-EPプロセッサが登場し、HPCクラスタは着実に高速大容量化しつつあります。
しかし、10GbE環境の低価格の歩みは遅く、HPCクラスタの全てのネットワークが10GbE化するまでには、まだしばらく時間がかかりそうです。そこで、それまでの中継ぎとして、HPC-ProSwitech DPc6200シリーズの活躍に期待が集まります。
GbE-10GbE環境のネットワーク性能調査
メニーコア世代のHPCクラスタで求められる10GbE環境
Sandy Bridge-EPプロセッサの登場によって、マルチコアプロセッサの普及や大容量メモリの一般化に拍車がかかり、HPCクラスタで転送されるファイルの容量が急増してきました。そのため小中型のHPCクラスタでも、高速な10GbEの導入が強く求められるようになりました。しかし、フル10GbEネットワーク環境の普及にはまだ時間がかかりそうです。
そこでこのページでは、小中型のHPCクラスタのファイルサーバを高速化するため、経済的に高速なネットワーク環境を実現出来るGbE-10GbEスイッチ「HPC-ProSwitch DPc6200シリーズ」を用いたNFSサーバ環境の構築方法を考えます。
次の表は、GbEスイッチと10GbEスイッチによるNFSファイルサーバのテスト結果です。
この表で最初に注目して頂きたい項目は、#5の"10x 10GbE (=10x GbE) to 2x 10GbE (bonding)"の結果です。これはファイルサーバとスイッチを２本の10GbEでBonding接続したうえで、スイッチに接続した１０台のクライアント機から同時に読み書きを行った場合の平均性能とスループット性能を示したものです。１０台のクライアント機による書き込みの平均性能は37MB/s、スループット性能は369MB/sを記録しています。また１０台のクライアント機による読み込みの平均性能は89MB/s、スループット性能は890MB/sを記録しています。
またこの性能は、#4の10x 10GbE (= 10x GbE) to 10GbE (no-Bonding) による同35MB/s、349MB/s、51MB/s、505MB/sの性能と比較すると、書き込みではBondingの効果は僅かですが、読み出しではBondingは大きな効果を発揮しています。この比較から、アップリンクの性能を向上させるたるには10GbE Bondingの効果あり、システムチューニングを詰めてゆけばさらに性能が向上することが期待できます。
| 番号 | ネットワーク接続 | NFS実効性能 (MB/s) | |||||
| write | read | ||||||
| serial | 10x throughput | serial | 10x throughput | ||||
| avg. | total | avg. | total | ||||
| #1 | (参考 local RAID Disk) | 441 | 60 | 600 | 800 | 66 | 655 |
| #2 | GbE to GbE | 110 | - | - | 110 | - | - |
| #3 | 10GbE to 10GbE | 253 | - | - | 514 | - | - |
| #4 | 10x 10GbE (= 10x GbE) to 10GbE | - | 35 | 349 | - | 51 | 505 |
| #5 | 10x 10GbE (=10x GbE) to 2x 10GbE (bonding) | - | 37 | 369 | - | 89 | 890 |
| #6 | GlusterFS実効性能 | ||||||
| #7 | 10x 10GbE (=10x GbE) to 10GbE | - | 32 | 319 | - | 23 | 226 |
| #8 | 10x 10GbE (=10x GbE) to 2x 10GbE (bonding) | - | 35 | 350 | - | 26 | 263 |
| #9 | NFS on QDR I/B実効性能 (参考値) | ||||||
| #10 | 40Gbps I/B to 40Gbps I/B | 400 | - | - | 400 | - | - |
| #11 | 環境 | ||||||
| #12 | 環境：
HPC-ProSever DPeR510、Westmere Xeon E5603 1.6GHz 4core 1CPU 4core 16GB Memory (3x DDR3-1066MHz 4GB)、RAID6 20TB (12x 2TB HDD)、NIC 10GbE SFP+ HPC-ProSwitch DPc8024 (24port all 10GbE SW)、CentOS6.2、NFSv4 |
||||||
次に注目して頂きたい項目は、#2の"GbE to GbE"の書き込み性能と読み出し性能が共に110MB/sという結果です。GbEのNFS性能がようやく理論性能に近い値を記録しました。少し前まではその半分程度の実効性能しか得られませんでしたが、ここに来てようやく真の性能を発揮したということです。これだけの性能が得られるなら、最新のSandy Bridge-EPプロセッサでも十分に使えます。この110MB/sという性能はクライアント機のネットワークを10GbEに変更する時期を暫く先送りにしても耐えられる性能です。
以上のことから、ファイルサーバとスイッチのアップリンク接続に複数の10GbEをボンディングして利用することで、GbEで接続したクライアント機からのNFSの実効性能は、書き込みが４台の平均値で約100MB/s、スループット性能が400MB/s、読み出しが８台の平均値で約100MB/s、スループット性能が800MB/sに達することがわかります。
これを別の視点から見ると、HPCクラスタのファイルサーバのボトルネックはアップリンク側で発生するため、そこに複数の10GbEをボンディングして利用することで、クライアント機側がシリアル通信で高い性能を求めるのでなければ110MB/sの通信帯域を持つGbEで十分だと考えられます。そしてもしプリポスト処理などで部分的に高いピーク性能を求めるのであれば、そのワークステーションに限定して10GbE環境を採用するといった構成をお勧めします。
また別に注意していただきたい項目は、#1のローカルのRAID6のスループット性能です。ここでの書き込み性能は600MB/s、読み出し性能は655MB/sです。これは2x 10GbE Bondingの性能とバランスが取れています。そのため、もしこれ以上ネットワーク性能を高くしても、RAID6側のボトルネックによって、全体の性能は向上しません。現状ではRAID6とDual 10GbE Bondingはバランスの良い組み合わせだということです。テストで利用している環境はWestmere-EPプロセッサですから、これをSandy Bridge-EPプロセッサに更新することでRAID6の性能が向上する可能性があります。
ではこれ以外に、意識しておくべき環境があるでしょうか。そこで少し注目されているInfiniBandスイッチを使った"NFS on InfiniBand"のテスト結果を#10に掲載しました。デフォルト設定 (ピーク性能を出すためのパラメーターチューニングは実施していない) でのNFSの書き込み性能は約400MB/s、読み出し性能は約400MB/sでした。ディスクボトルネックなどの影響を考えると、通常のRAID6を利用する環境では"NFS on InfiniBand"を利用する必要はありません。
また、10GbEでGlusterFSを使ったテストの結果も#7と#8に示しました。結果を見るとあまり高速ではありません。もちろん複数のサーバを組み合わせることで高速化を実現するとしても、一台のサーバでの基本性能がこの程度では魅力的ではありません。
さらに、"NFS on InfiniBand"や"GlusterFS"は、ファイルシステムの実装としては歴史が浅いため、信頼能高さに関して、NFSには到底及びません。そのため、これらのファイルシステムを利用する場合は、これらのファイルシステムとは別に、基礎ネットワークとして別にNFSシステムを導入しておく必要があります。
このように幾つかの高速ファイルシステムの実装を検討した結果、あらためてNFSによる10GbE / Dual 10GbE Bonding によるアップリンク接続を用いたGbEネットワーク環境の素晴らしさがわかりました。All 10GbEが普及するまでにはしばらく時間が必要だと思います。ここで紹介した構成はそれまでのつなぎとして十分活躍できる構成です。
最新機器を高度にシステムインテグレーション
弊社は最新プロセッサを使用したプロフェッショナル用のHPCクラスタを構築し、製品の品質とサポート内容についてはお客様から高い評価を頂いています。
ハードウェアのシングルベンダー化により
システム全他を一括保守
弊社のHPCクラスタが高品質な利用は、計算機本体から管理サーバ、ストレージ、ネットワークスイッチ、無停電電源装置、ラック環境まで、HPCクラスタで使用する全ての機器をシングルベンダー化することで異機種間で発生する障害サポートの問題を根本的に解消したことによります。もし複合的な障害が発生しても包括的な障害対応により、迅速に問題を解決します。
世界水準のオンサイト障害対応
HPCクラスタを本格的に運用すると24時間365日のオンサイト保守が求められる場合もあります。HPC-ProSwitech DPc6200シリーズそのような厳しい保守の要求水準にも応えられるプロ仕様のスイッチです。
ハードウェアは無期限保障
HPC-ProSwitech DPc6200シリーズのハードウェアには３年間のオンサイト保守とは別に、無期限のベーシックハードウェア保障が付いています。この保障によって、オンサイト保守期限が切れた後でも、センドバック保守によるハードウェア保障が継続され、システムのインフラストラクチャとしてのスイッチの役目を永続させることができます。