お問い合わせ | 導入事例 | HPC計算機 | 管理サーバ/ファイルサーバ | オプション | OS/開発環境 | アプリ | システム構築 | サポート | FAQ | ベンチ | 技術情報 | 購入案内
オプション製品 (H/W)  
イーサネット・スイッチ  
GbE-8/16/24P 1U 価格
GbE-8/16/24/48P 1U 価格
GbE-24/48P L3 1U 価格
GbE-24/48P 10GbE-4P StaL3 価格
GbE-20P 10GbE-4P StaL3Bl 価格
10GbE-24P L3 1U 価格
10GbE-24P L3 Blade 価格
2x10GBASE-T NIC  
2x10GBASE SFP+ NIC  
10GbE技術資料 (10GbEポート)  
インフィニバンド・スイッチ  
Infini/B DDR/QDR 24/36PRa 価格
Infini/B DDR/QDR 24/32PBl 価格
GPGPU  
Tesla C2050 WS (T7500)
Tesla S2050 Cluster (R410/R610)
Tesla M2050 Cluster (C410x)
Tesla M2050 Blade (M610X)
EIAラック/メタルラック  
24/42U EIA Rack 価格
MetalRack (for WS Cluster)  
無停電電源  
A-UPS 価格
D-UPS 価格
コンソール機器  
KVMコンソール 17in 1U  
KVM切替 8/16P (64/128P) 1U  
液晶モニター (各種)  
拡張カード類  
RAIDコントローラ  
(旧製品)  
InfiniBand DDR-24P  
InfiniBand SDR-24P  

c6424-6448HPC-ProSwitch DPc6224
(24x GbE Port, 2x Combo Port (Dual 10GbE, Stack Module))
HPC-ProSwitch DPc6248
(48x GbE Port, 2x Combo Port (Dual 10GbE, Stack Module))

GbEポートを24個持つDPc6224と、48個持つDPc6248をラインナップ
2基のコンポポートを持ち、10GbEモジュールあるいはスタック接続モジュールを搭載可
10GbEコンポモジュールにはDual 10GBASE-T、Dual 10GBASE SFP+をラインナップ
コンボポートにスタック接続用モジュールを搭載すれば12台のスイッチをスタック接続可
無期限ベーシックハードウェア保障付き(センドバック)
安心の翌営業日交換品発送保守サービス付き(3年間)
オプションにて24時間365日の当日4時間オンサイト保守にも対応

製品概要 | 資料 | 構成例 | 技術情報 | 価格表 | 仕様 | カタログ

GbE-10GbEスイッチ
HPC-ProSwitch DPc6200シリーズの概要

24個あるいは48個のGbEポートを備えた1Uスイッチ

 HPC-ProSwitech DPc6200シリーズは、24個のGbEポートを備えたHPC-ProSwitech DPc6224と、48個のGbEポートを備えたHPC-ProSwitech DPc6248の、2機種をラインナップした、1Uサイズのネットワークスイッチです。

2基のコンボポートを備えていることで、
スイッチの10GbE化と、スイッチのスタック接続を実現

 HPC-ProSwitech DPc6200シリーズが他のスイッチよりも優れた箇所は、背面に2基のコンボポートを備え、そこに機能拡張用のモジュールを搭載することでスイッチ機能を大幅に強化できることです。用意されているモジュールは、高速アップリンク用の10GbEポート搭載モジュールと、最大12台のスイッチをスタック接続し500ポートを超えるGbEポート実現できるスタック接続用モジュールです。

3種類の10GbE用ネットワークに対応した拡張モジュールの紹介

 背面の2基のコンボポートに搭載できる10GbE用ネットワークモジュールは、Dual 10GBASE-TとDual 10GBASE SFP+、Single 10GBASE CX4の3種類を用意しています。

10GbE (Bonding) アップリンク

 これらの10GbEネットワークモジュールを2基のコンボポートの片方あるいは両方に搭載すると、アップリンクを10GbE化することができ、最大4個の10GbEポートの総帯域は40Gbpsに達します。

 この機能を使ってスイッチとファイルサーバの間のアップリンク接続を10GbE化、Dual 10GbE Bnding化、Triple 10GbE Bonding化することで、両者の間の通信性能が大幅に向上します。そのため複数のクライアント機から同時にGbE通信が発生しても、ファイルサーバとの通信で容易にボトルネックが発生せず、高速なファイルI/Oを実現できます。

10GbEバックアップ

 ファイルサーバのアップリンクに10GbEを導入するのであれば、バックアップ用のサーバとの接続にも10GbEが求められます。HPC-ProSwitech DPc6200シリーズは2基のコンボポートを備えているため、Dual 10GbEネットワークモジュールを2枚搭載でき、最大で4個の10GbEポートを備えることができます。これを利用して、ファイルサーバとのアップリンク用にはTriple 10GbE Bonding構成として、残りの1本の10GbEをバックアップ用サーバとの接続用に用いることができ、バックアップ処理の高速化も可能にできます。

スタック接続用モジュール

 コンボポートにスタック接続用モジュールを搭載すると、最大で12台のスイッチをディジーチェーン接続することができます。例えば48ポートのGbEスイッチを12台接続すると576ポートのGbEスイッチを実現できます。

 しかもスタック接続用モジュールは48Gbpsの帯域を持つため、GbEスイッチとしては十分な通信帯域を確保しています。

 スイッチのスタック接続は、クラスタを構築する上でもメリットがあります。複数のラックを使ったHPCクラスタでは、ネットワークケーブルの配線が複雑になります。そこでスタック接続を利用すると、各ラックにスイッチを搭載して、そこにラック内の配線を集線できます。そのうえで、ラック間の接続にはスタック接続用ケーブルを使うと、雑然としたネットワークケーブルを整然と整理できます。このようにラック間の配線を簡素化することで、ラックの移動や、クラスタの機能拡張などが簡単にできるようになります。

GbE光接続

 HPC-ProSwitech DPc6200シリーズの前面には4個のSFPコンポポートがあります。ここに光ファイバー接続すると、遠距離のサーバと接続することができます。

まとめ

 このようにHPC-ProSwitech DPc6200シリーズはコンパクトな1Uサイズのスイッチに2基のコンボポートを備えることで、高価な大型スイッチに匹敵するネットワーク性能を、フル10GbE化することなく、廉価なGbE-10GbE環境で実現できます。

 Sandy Bridge-EPプロセッサが登場し、HPCクラスタは着実に高速大容量化しつつあります。

 しかし、10GbE環境の低価格の歩みは遅く、HPCクラスタの全てのネットワークが10GbE化するまでには、まだしばらく時間がかかりそうです。そこで、それまでの中継ぎとして、HPC-ProSwitech DPc6200シリーズの活躍に期待が集まります。

GbE-10GbE環境のネットワーク性能調査

メニーコア世代のHPCクラスタで求められる10GbE環境

 Sandy Bridge-EPプロセッサの登場によって、マルチコアプロセッサの普及や大容量メモリの一般化に拍車がかかり、HPCクラスタで転送されるファイルの容量が急増してきました。そのため小中型のHPCクラスタでも、高速な10GbEの導入が強く求められるようになりました。しかし、フル10GbEネットワーク環境の普及にはまだ時間がかかりそうです。

 そこでこのページでは、小中型のHPCクラスタのファイルサーバを高速化するため、経済的に高速なネットワーク環境を実現出来るGbE-10GbEスイッチ「HPC-ProSwitch DPc6200シリーズ」を用いたNFSサーバ環境の構築方法を考えます。

 次の表は、GbEスイッチと10GbEスイッチによるNFSファイルサーバのテスト結果です。

 この表で最初に注目して頂きたい項目は、#5の"10x 10GbE (=10x GbE) to 2x 10GbE (bonding)"の結果です。これはファイルサーバとスイッチを2本の10GbEでBonding接続したうえで、スイッチに接続した10台のクライアント機から同時に読み書きを行った場合の平均性能とスループット性能を示したものです。10台のクライアント機による書き込みの平均性能は37MB/s、スループット性能は369MB/sを記録しています。また10台のクライアント機による読み込みの平均性能は89MB/s、スループット性能は890MB/sを記録しています。

 またこの性能は、#4の10x 10GbE (= 10x GbE) to 10GbE (no-Bonding) による同35MB/s、349MB/s、51MB/s、505MB/sの性能と比較すると、書き込みではBondingの効果は僅かですが、読み出しではBondingは大きな効果を発揮しています。この比較から、アップリンクの性能を向上させるたるには10GbE Bondingの効果あり、システムチューニングを詰めてゆけばさらに性能が向上することが期待できます。

番号 ネットワーク接続 NFS実効性能 (MB/s)
write read
serial 10x throughput serial 10x throughput
avg. total avg. total
#1 (参考 local RAID Disk) 441 60 600 800 66 655
#2 GbE to GbE 110 - - 110 - -
#3 10GbE to 10GbE 253 - - 514 - -
#4 10x 10GbE (= 10x GbE) to 10GbE - 35 349 - 51 505
#5 10x 10GbE (=10x GbE) to 2x 10GbE (bonding) - 37 369 - 89 890
#6   GlusterFS実効性能
#7 10x 10GbE (=10x GbE) to 10GbE - 32 319 - 23 226
#8 10x 10GbE (=10x GbE) to 2x 10GbE (bonding) - 35 350 - 26 263
#9   NFS on QDR I/B実効性能 (参考値)
#10 40Gbps I/B to 40Gbps I/B 400 - - 400 - -
#11 環境
#12 環境: HPC-ProSever DPeR510、Westmere Xeon E5603 1.6GHz 4core 1CPU 4core
16GB Memory (3x DDR3-1066MHz 4GB)、RAID6 20TB (12x 2TB HDD)、NIC 10GbE SFP+
HPC-ProSwitch DPc8024 (24port all 10GbE SW)、CentOS6.2、NFSv4

 次に注目して頂きたい項目は、#2の"GbE to GbE"の書き込み性能と読み出し性能が共に110MB/sという結果です。GbEのNFS性能がようやく理論性能に近い値を記録しました。少し前まではその半分程度の実効性能しか得られませんでしたが、ここに来てようやく真の性能を発揮したということです。これだけの性能が得られるなら、最新のSandy Bridge-EPプロセッサでも十分に使えます。この110MB/sという性能はクライアント機のネットワークを10GbEに変更する時期を暫く先送りにしても耐えられる性能です。

 以上のことから、ファイルサーバとスイッチのアップリンク接続に複数の10GbEをボンディングして利用することで、GbEで接続したクライアント機からのNFSの実効性能は、書き込みが4台の平均値で約100MB/s、スループット性能が400MB/s、読み出しが8台の平均値で約100MB/s、スループット性能が800MB/sに達することがわかります。

 これを別の視点から見ると、HPCクラスタのファイルサーバのボトルネックはアップリンク側で発生するため、そこに複数の10GbEをボンディングして利用することで、クライアント機側がシリアル通信で高い性能を求めるのでなければ110MB/sの通信帯域を持つGbEで十分だと考えられます。そしてもしプリポスト処理などで部分的に高いピーク性能を求めるのであれば、そのワークステーションに限定して10GbE環境を採用するといった構成をお勧めします。

 また別に注意していただきたい項目は、#1のローカルのRAID6のスループット性能です。ここでの書き込み性能は600MB/s、読み出し性能は655MB/sです。これは2x 10GbE Bondingの性能とバランスが取れています。そのため、もしこれ以上ネットワーク性能を高くしても、RAID6側のボトルネックによって、全体の性能は向上しません。現状ではRAID6とDual 10GbE Bondingはバランスの良い組み合わせだということです。テストで利用している環境はWestmere-EPプロセッサですから、これをSandy Bridge-EPプロセッサに更新することでRAID6の性能が向上する可能性があります。

 ではこれ以外に、意識しておくべき環境があるでしょうか。そこで少し注目されているInfiniBandスイッチを使った"NFS on InfiniBand"のテスト結果を#10に掲載しました。デフォルト設定 (ピーク性能を出すためのパラメーターチューニングは実施していない) でのNFSの書き込み性能は約400MB/s、読み出し性能は約400MB/sでした。ディスクボトルネックなどの影響を考えると、通常のRAID6を利用する環境では"NFS on InfiniBand"を利用する必要はありません。

 また、10GbEでGlusterFSを使ったテストの結果も#7と#8に示しました。結果を見るとあまり高速ではありません。もちろん複数のサーバを組み合わせることで高速化を実現するとしても、一台のサーバでの基本性能がこの程度では魅力的ではありません。

 さらに、"NFS on InfiniBand"や"GlusterFS"は、ファイルシステムの実装としては歴史が浅いため、信頼能高さに関して、NFSには到底及びません。そのため、これらのファイルシステムを利用する場合は、これらのファイルシステムとは別に、基礎ネットワークとして別にNFSシステムを導入しておく必要があります。

 このように幾つかの高速ファイルシステムの実装を検討した結果、あらためてNFSによる10GbE / Dual 10GbE Bonding によるアップリンク接続を用いたGbEネットワーク環境の素晴らしさがわかりました。All 10GbEが普及するまでにはしばらく時間が必要だと思います。ここで紹介した構成はそれまでのつなぎとして十分活躍できる構成です。

最新機器を高度にシステムインテグレーション

10GbE 弊社は最新プロセッサを使用したプロフェッショナル用のHPCクラスタを構築し、製品の品質とサポート内容についてはお客様から高い評価を頂いています。

ハードウェアのシングルベンダー化により
システム全他を一括保守

 弊社のHPCクラスタが高品質な利用は、計算機本体から管理サーバ、ストレージ、ネットワークスイッチ、無停電電源装置、ラック環境まで、HPCクラスタで使用する全ての機器をシングルベンダー化することで異機種間で発生する障害サポートの問題を根本的に解消したことによります。もし複合的な障害が発生しても包括的な障害対応により、迅速に問題を解決します。

世界水準のオンサイト障害対応

 HPCクラスタを本格的に運用すると24時間365日のオンサイト保守が求められる場合もあります。HPC-ProSwitech DPc6200シリーズそのような厳しい保守の要求水準にも応えられるプロ仕様のスイッチです。

ハードウェアは無期限保障

 HPC-ProSwitech DPc6200シリーズのハードウェアには3年間のオンサイト保守とは別に、無期限のベーシックハードウェア保障が付いています。この保障によって、オンサイト保守期限が切れた後でも、センドバック保守によるハードウェア保障が継続され、システムのインフラストラクチャとしてのスイッチの役目を永続させることができます。