電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
10GbEネットワークポート対応早見表 (抜粋)
| 区分 | 機能 | 型番 | GbE (ポート数) |
10GbE UPLINK (ポート数/重複有り) |
48Gbps スタック接続 (ポート数) |
|||
| 10GBASE XFP |
10GBASE -CX4 |
10GBASE SFP+ |
10GBASE -T |
|||||
| スイッチ | GbE - GbE | DPc5424 | 24 | |||||
| DPc5448 | 48 | |||||||
| GbE - 10GbE | DPc6224 | 24 | 4 | 4 | 2 | 2 | 1 | |
| DPc6248 | 48 | 4 | 4 | 2 | 2 | 1 | ||
| Blade スイッチ |
GbE - 10GbE | DPcM6220 | 16 | 2 | 2 | (4) | 2 | 1 |
| Full 10GbE | DPcM8024 | 16 (10GbE) | 6 | 8 | ||||
| WS | Xeon 1way | T3400 | 2 | |||||
| Xeon 2way | T5400 | 2 | ||||||
| T7400 | 2 | |||||||
| Server | Xeon 1way | T100 | 2 | |||||
| T300 | 2 | |||||||
| R300 | 2 | |||||||
| Xeon 2way | 1950III | 2 | 1 | 1 | ||||
| 2950III | 2 | 1 | 2 | |||||
| 2900III (R/T) | 2 | 2 | ||||||
| Xeon 4way | R900 | 2 | 2 | 2 | ||||
| Opteron 2way | R805 | 4 | 2+2 | |||||
| Opteron 4way | R905 | 4 | 2 | 2+2 | ||||
| Blade | Xeon 2way | M600 | 2 | 2 | ||||
| Opteron 2way | M605 | 2 | 1 | |||||
| M805 | 2 | 4 | ||||||
| Opteron 4way | M905 | 2 | 2 | |||||
普及の兆しが見え始めた10GbE
2009年から2010年にかけてネットワークの10GbEの普及に拍車がかかりそうな模様です。現在はその初期段階であり、一部の製品から廉価な10GbE対応のオプションが追加されはじめています。そこで、まだ流動的な10GbEへの対応状況の中でシステム構築の目安となるようなネットワークスイッチ類やサーバ類の10GbEネットワークポート対応早見表を作成しました。さらに対応する機種やデバイスが追加された際には逐次データを更新します。
4種類の10GbEコネクタ規格
10GbEのコネクタは複数の種類が存在します。「XFP」は長距離通信にも対応する規格ですが高価でサイズも大きくHPCクラスタには不相応です。「10GBase-CX-4」はInfinoBand用のコネクタやケーブルを用いたもので比較的廉価に製品化されていますがケーブルが太いため広く普及するには至らないと考えられます。「SFP+」は新しい規格であり光を用いながらも低価格かつコンパクトなため今後の普及が期待されます。「10GBase-T」は低価格化かつコンパクトでしかも取り扱いの容易なカテゴリー6のケーブルを用いるためHPCクラスタでは大いに普及すると思われます。廉価な10GBase-T対応スイッチの発売開始待ちです。
弊社製品の10GbEへの対応状況
上記の表をみていただくと、弊社製品でのこれらの4種類のポートの対応状況がわかりますが、スイッチではGbE-10GbE製品が普及し始め、4種類のコネクタにオプションで対応可能となっています。また、10GbE-10GbEの24ポートスイッチもブレード用としては製品化されています。価格も100万円を下回っています。このスイッチが10GBase-TやSFP+に対応して低価格で製品化されると一挙に普及することでしょう。
さらに表を下に辿るとワークステーション、サーバと続いています。ワークステーションはまだ10GbEには対応していません。1way サーバも未対応です。しかし、2way以上のサーバ製品は全て10GBase-Tに対応を終えております。また一部の製品は10GBase-Tを4ポート持ち40Gbpsの広大な通信帯域を備えています。
サーバ性能の向上、メモリ容量の大容量化を活かした廉価で高性能なサーバ
10GbEを採用する際には、サーバ側の性能向上が強く求められますが、システムの価格が高騰しても困ります。幸い、サーバは性能向上と価格低下が進んでいるので、価格性能比の高いサーバシステムの設計が可能となっています。そこで10GbE世代に対応する性能ファイルサーバの構成例をご紹介しながらシステム構成のポイントをお伝えします。
通信バス帯域に注意した並行処理ファイルサーバの構成10GbE x4
4CPU 16コアを搭載するOpteron 4way機に、64GBのメモリを搭載し、4ポートの10GBase-T NICを実装し、さらに2枚の高速RAIDコントローラ (12Gbps SASポートを2ポート持ち、20Gbps PCIe x8接続) を追加実装したシステムの総額が約220万円です。この構成の素晴らしさは、4ポート搭載している各10GbEポートに対して、4コアのCPUコア、16GBのメモリ、12GbpsのSASディスクアレイ接続ポートが独占的に割り当てられていることです。その結果、この4セットの構成が相互に干渉することなく高速に平行動作することです。この特質を活かすためにはストレージにも投資が必要です。具体的には12GbpsのSASポートを備えた外付けディスク筐体DPvMD1000に1TBディスクを15個搭載し12TBのRAID6アレイを構築します。サーバ側のRAIDコントローラには4ポートのSASポートが備えられているので、4台の外付けディスク筐体を4ポートのSAS全てに接続しSAS通信帯域を稼げるようにします。費用は4台で400万円ですが、総容量は48TBと大容量かつ総通信帯域は48Gbpsと広大です。１台のシーケンシャルファイルの書き込み速度は約400MB/s程度が実現できますので、4台の総計は1600MB/sと非常に高速です。このストレージを含めシステム総額は620万円になりますが、4ポートの10GbEを活かした圧倒的な性能が得られます。もし10GbE x4の通信性能がストレージの性能よりも高くなることが予想される場合には、メモリ容量を64GBから128GBへと増加させディスクI/Oの集中を緩和させる手法が効果的です。追加費用は約40万円程となり総費用は660万円です。
◎4wayサーバの内部 (実効総書き込み速度約1600MB/s)
1. 14HDD RAID6 = 12Gbps SAS = 10Gbps PCIe (read400MB/s) = 16GB/32GBメモリ+4コア = 10Gbps PCIe 10GbE = 10GbE SW
2. 14HDD RAID6 = 12Gbps SAS = 10Gbps PCIe (read400MB/s) = 16GB/32GBメモリ+4コア = 10Gbps PCIe 10GbE = 10GbE SW
3. 14HDD RAID6 = 12Gbps SAS = 10Gbps PCIe (read400MB/s) = 16GB/32GBメモリ+4コア = 10Gbps PCIe 10GbE = 10GbE SW
4. 14HDD RAID6 = 12Gbps SAS = 10Gbps PCIe (read400MB/s) = 16GB/32GBメモリ+4コア = 10Gbps PCIe 10GbE = 10GbE SW
◎スイッチ
今後発売が期待される24ポート240Gbpsの10GbEスイッチないし48ポート480Gbpsの10GbEスイッチに接続
既存HPCクラスタ用には10GbE-GbEスイッチを採用し10GbEスイッチへ10GbEアップリンク接続
◎HPCクラスタ側
10GbE接続の新設HPCクラスタ (複数台)
GbE接続の既存HPCクラスタ (複数台)
◎効用
新設の10GbE接続の計算機は、ファイルI/Oの高速化
既設のGbE接続の計算機は、スイッチのアップリンク先の混雑が解消され、ファイルI/Oの高速化
10GbE導入の勧め
GbEが普及し始めた頃と比較すると現在では、CPUの速度は約10倍高速化し、搭載メモリ容量も約10倍増加しています。ところがシステムの価格は同水準ですからシステム導入費用に対するファイルI/O要求は10倍増加していると考えられます。もちろん利用されるアプリケーションによってファイルI/O要求は異なりますから全てを一括することはできませんが、ファイルI/Oボトルネックの確認は大切です。もしアプリケーションが動作中にファイルI/O待ちで少しでも停止していることがあるようでしたら、ネットワークの限界が近づいている兆候です。そのような場合には10GbEを利用したシステムの採用をお勧めします。
大容量メモリ搭載の勧め
今後本格的に導入が始まるマルチポート10GbE搭載サーバ世代では、サーバ上への大容量メモリ搭載が必須となります。現在普及しているGbEの転送速度は100MB/s程度です。これに対してRAIDアレイの速度は400MB/s程度ですから、ストレージの速度は十分に高速なためメモリを用いたファイルI/O集中の緩和は行うまでもなく、ボトルネックはネットワーク側にありました。ところが10GbE NICが普及し、さらにマルチポート化するとネットワーク側の速度は一挙に高速化します。単一の10GbEで500MB/s〜1000MB/sの転送速度が期待されますから、4ポート合計では2000MB/s〜4000MB/sにも到達します。これに対してリーズナブルな価格のSATAディスクを用いたストレージのI/O速度は速くても400MB/sですから、4台のストレージを用いても1600MB/sが実効ピーク性能です。I/Oがランダムになったり、I/Oが偏るとパフォーマンスは大きく低下します。これに対してNICの側はトランキングを使うことで負荷分散を行うなどして大きなパフォーマンスの低下を予防することができます。
そこで、システムの主メモリを用いてファイルI/O集中の緩和を行い、見かけ上のパフォーマンスの低下を実現する対策が効果的になります。幸い、大容量メモリ搭載が可能になっているのみならず、価格も大幅に安くなっていますから、64GBから128もの大容量メモリの搭載も十分に現実的な価格で実施できます。
メインメモリはシステム全体で共有されますから、書き込み負荷が集中し過負荷な状態にあるストレージが集中的に利用でき、メモリ容量分のデータ転送量までは10GbEの最高性能にて書き込みが可能です。しかも64GBから128GBのメモリを搭載している場合は、単一のジョブにて64GBを超える大容量のデータを一挙に出力することは稀ですから、十分な緩和効果が期待できます。読み出しについても、メモリサイズが大きいと直近の過去にアクセスされたデータはメモリにキャッシングされている可能性が高く、その場合はディスクI/Oが発生しませんから瞬時に10GbEの性能でデータを利用することができます。これ以外にもいくつかの効用が期待できます。このように大容量メモリの搭載は10GbEネットワーク時代には必須です。
堅牢なシステム構成とサポートを堅持
高速なストレージの構築を追求するあまりに斬新な技術を採用すると予期せぬリスクを背負う可能性があります。しかし、上記のシステムでは手堅い技術のみで構築しており、しかもスイッチ、サーバ、ストレージなど全てのコンポーネントをデル製の標準製品で構成していますから品質が高いのみならず、サポートも充実しており安心です。そのサポート水準も、標準で6営業日9時〜21時の当日4時間プラス対応オンサイト修理サービスが付属し、さらにオプションで365日24時間のオンサイトプラス対応保守にアップグレードできますからミッションクリティカルな業務でも安心して採用していただけます。