電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
HPC-ProSwitch DPc6224
(24-Port GbE, Combo x2 (10GbE, Stack))
HPC-ProSwitch DPc6248
(48-Port GbE, Combo x2 (10GbE, Stack))
GbEポートを24個持つDPc6224と、48個持つDPc6248をラインナップ
DPc6224は136Gbpsの帯域、DPc6248は232Gbpsの帯域を持つ
2基のコンポポートがあり、10GbEモジュールかスタックモジュールを搭載可能
10GbEコンポモジュールはDual 10GBASE-T、Dual 10GBASE SFP+をラインナップ
スタック接続用モジュールによって12台のスイッチをスタック接続可能
安心の翌営業日交換品発送保守サービス付き(3年間)
オプションにて24時間365日の当日4時間オンサイト保守にも対応
10GbE対応スイッチの基本接続テストを実施
HPCクラスタへ10GbE環境の導入をご検討される際のご参考として10GbEによる実践的なテストを順次掲載する予定です。テストでは実際の利用局面で10GbEを採用することで何が改善されるのかに焦点を当てたいと考えています。
■ 第3回レポート (速報)
10GBASE CX4 NIC (PCI Express x8) 基本接続テスト (2007.11.2)
ＨＰＣテクノロジーズで採用する10GBASE CX4 NIC (PCI Express x8対応) を用いて基本接続テストをしています。
◇ 動作環境
Server : HPC-ProServer DPe1950 ２台
CPU: Xeon X5355 2.66GHz/FSB1333/2x4MBcache 2cpu8core
Memory: FB-DIMM DDRII667MHz 8GB (8*1GB)
OS: CentOS release 4.4 (Final)
Kernel: 2.6.9-42.ELsmp
NIC:
eth2: link up, 10Gbps, full-duplex
※ 基本テストのためパラメータは初期値のままでテスト
■ Netperf による通信レート測定で6.045Gbpsを記録
一般的な指標としてピアtoピア接続によるNetperfでのテストを行いました。
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.2.7 (192.168.2.7) port 0 AF_INET
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. 10^6bits/sec
87380 16384 16384 10.00 6491.42
※ パラメータのチューニングを行わないデフォルト設定で性能が得られることが大切です。その意味でNetperfの通信レートが6.045Gbpsまで得られたということは、10GbEが熟成してきたことを示しています。
■ FTPによるファイル転送テストで450MB/secを記録
ストレージの速度を超えるため、ピアtoピア接続によるメモリtoメモリでのFTPテストをデフォルトパラメーターで行い、450MB/secの転送性能を確認しました。
■ まとめ
10GbE NICはデフォルトパラメーターでも一定の性能が確認できるようになっています。9月に行った他のNICのNetperfテストでは約2.5Gbpsだったものが、今回の新しいNICのテストではデフォルトのパラメーターで約6Gbpsと大きく向上しています。
■ 第2回レポート
10GbE対応スイッチ「HPC-ProSwitch DPc6224」を用いた基本接続テスト (2007.9.25)
10GbE対応のGbE 24ポートスイッチ「HPC-ProSwitch DPc6224」と10GbE NICを用いて、10GbEスイッチ経由の基本接続テストを行いました。右写真はテストに用いた機器の一部です。写真の上からNFSサーバヘッドDPe1950、次がSAS接続ディスクエンクロージャDPm1000、そして一番下のスイッチが10GbE対応スイッチDPc6224となっています。これ以外にNFSクライアント用サーバと10GbE NIC搭載のワークステーションを用いています。各機器の構成内容は以下の通りです。
◇ テスト用計算機 (10GbE対応のRAID0搭載NFSサーバ) : DPr690
・ CPU
: Dual-Core Xeon 3.0GHz 2CPU 4CPUコア
・ メモリ : 8GB
・ 10GbE NIC :
Intel 82597EX 10Gbit Ethernet Controller (PCI-X、CX4)
・ ストレージ構成 : H/W RAID0 (RAIDコントローラ PERC5/e、500GB SATA x5)
・ Filesystem : ext3
・ OS : Cent OS
◇ テスト用計算機 (GbE対応のno-RAID兼、RAID1兼、RAID10搭載NFSサーバ) : DPe1950
・ CPU
: Quad-Core Xeon 2.66GHz 2CPU 8CPUコア
・ メモリ : 8GB
・ GbE NIC : オンボード
・ ストレージ構成 : no-RAID (250GB SATA x1)
・ ストレージ構成 : H/W RAID1 (RAIDコントローラ PERC5/i、250GB SATA x2)
・ ストレージ構成 : H/W RAID10 (RAIDコントローラ PERC5/e、500GB SATA x6)
・ Filesystem : ext3
・ OS : Cent OS
◇ テスト用計算機 (NFSクライアント) : DPe1950
・ CPU
: Quad-Core Xeon 2.66GHz 2CPU 8CPUコア
・ メモリ : 8GB
・ GbE NIC : オンボード
・ Filesystem : ext3
・ OS : Cent OS
◇ その他
・ 接続方法 :
10GbE対応スイッチHPC-ProSwitch DPc6224と10GbEカード間はCX4ケーブルで接続
・ 10GbE to GbEテスト接続 :
DPr690 - HPC-ProSwitch DPc6224 - DPe1950
・ GbE to GbEテスト接続 : DPe1950 - HPC-ProSwitch DPc6224 - DPe1950
・ テストでのファイルサイズ : 20GB
テスト内容は、NFSサーバ側のストレージ上にある容量20GBのファイルをGbEポートを持つクライアント側のサーバからNFS経由でシーケンシャルにライトとリードを行った際の転送速度の測定結果です。
テスト結果 (HPC-ProSwitch DPc6224使用)
| File System | Network | ストレージ構成 | NFS Version | Write | Read |
| ext3 | GbE to GbE | no-RAID 250GB SATA x1 | Ver. 3 | 34MB/s | 57MB/s |
| Ver. 4 | 45MB/s | 58MB/s | |||
| RAID1 250GB SATA x2 | Ver. 3 | 33MB/s | 58MB/s | ||
| Ver. 4 | 34MB/s | 58MB/s | |||
| RAID10 500GB SATA x6 | Ver. 3 | 65MB/s | 105MB/s | ||
| Ver. 4 | 64MB/s | 104MB/s | |||
| GbE to 10GbE | RAID0 500GB SATA x5 Local I/O : W-316MB/s, R-210MB/s |
Ver. 3 | - | - | |
| Ver. 4 | 69MB/s | 110MB/s |
・ NFS Version3とVersion4の双方をテストしているのはシステムの整合性に配慮してです。
・ 最初のno-RAIDの250GBディスクによる性能はGbEでのベースラインとなる速度です。
・ 次のRAID1の250GBディスクによる性能も、GbEでのベースラインとなる速度です。
・ さらに次のRAID10 500GB SATA x6による性能は、高速ディスク速度でのGbEでのベースラインとなる速度です。
・ GbE to 10GbEの基本性能です。ディスクはRAID0なので十分高速です。GbEの最高の性能が得られています。
◇ このスイッチはGbEのスイッチとして良い性能が出ています。
◇ このスイッチはGbEから10GbEにアップリンクした場合にもGbEで良い性能が出ています。
■ 第１回レポート
10GBASE CX4によるピア to ピア接続テスト (2007.9.11)
２枚の10GBASE CX4 NICとLinuxワークステーションを用いた下記の環境で、10GbEのピア to ピア接続テストを行いました。
10GbE接続テストに用いたシステム
写真はテストに用いたHPCワークステーションでNFSサーバとしてDPr490 (左)、NFSクライアントとしてDPr690 (右) を準備しました。台の上にはSAS接続のディスクエンクロージャDPm1000があり、500GB SATAディスクを搭載し、DPr490に搭載されたRAIDコントローラPERC5/EとSAS接続されRAID10と見立てたRAID0を構成し、NFS v4でのサービスが提供されています。下の写真は背面を撮ったもので、10GbE NICとCX4ケーブルが写っています。写真奥のワークステーションからは12Gbpsの転送速度で動作するSASケーブルが接続されており、上のディスクエンクロージャのディスクをRAID0で利用できるようになっています。
◇ テスト用計算機 (10GbE NFS サーバ側) : DPr490
・ CPU
: Duad-Core Xeon 3.0GHz 2CPU 4CPUコア
・ メモリ : 8GB
・ 10GbE NIC :
Intel 82597EX 10GbE Ethernet Controller (PCI-X、10GBASE CX4)
・ ストレージ構成 : H/W RAID0 (RAIDコントローラ PERC5/e、500GB SATA x5)
・ Filesystem : ext3
・ OS : Cent OS
◇ テスト用計算機 (NFS クライアント側) : DPr690
・ CPU
: Duad-Core Xeon 3.0GHz 2CPU 4CPUコア
・ メモリ : 8GB
・ GbE NIC : オンボード
・ Filesystem : ext3
・ OS : Cent OS
◇ その他
・ 接続方法 :
10GbEカード間をCX4ケーブルで直結 (ピアtoピア接続)
・ NFS : NFS Ver. 4
・ テストでのファイルサイズ : 20GB
■ ローカルディスクI/O速度 (シーケンシャル)
10GbEでのテストをする前に、DPr490でのローカルなRAID0ディスクでの、20GBファイルによる実効I/O速度のテストを行いました。実際の運用ではRAID10を利用しますが、テストでは手軽なRAID0で行うので、その性能確認としてのテストです。
・ Local 20GB Write : 316MB/s
・ Local 20GB Read : 210MB/s
■ FTP性能確認
10GbEで性能が出ているのかをFTPによって予め確認をしました。RAMディスク (/dev/shm) に3.5GBのデータをダウンロードする際のFTPでの実効転送速度を測定しました。10GbEのデフォルトパラメータでの速度は約120MB/secでした。これはGbEと同じ程度の速度です。そこでジャンボフレームなどのパラメータチューニングを行い再度測定し、GbEを超える性能を確認しました。
・ FTP : 約240MB/sec
■ Netperf による通信レートの測定
一般的な指標として、Netperfによるテストも併せて行いました。
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to p690.10g (192.168.1.2) port 0 AF_INET
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. 10^6bits/sec
10000000 10000000 10000000 10.02 2492.22
・ Netperf : 約2.5Gbps
■ NFS性能測定 (シーケンシャル)
10GbEを用いてNFSの実効I/Oテストを20GBのファイルを用いて行いました。テストの内容は、クライアント機のDPr690からサーバ機のDPr490にNFSを介してWriteとReadを行うというものです。WriteとReadともにGbEの性能を越えていました。NFS v4、ext3を利用しRAID0によるストレージ環境です。
テスト結果 (ピア to ピア接続)
| File System | Network | ストレージ構成 | NFS Version | Write | Read |
| ext3 | GbE to GbE | RAID0 500GB SATA x5 | Ver. 4 | 64MB/s | 85MB/s |
| 10GbE to 10GbE | RAID0 500GB SATA x5 | Ver. 4 | 113MB/s | 151MB/s |
■ まとめ
初回の接続テストでGbEの性能を越え、10GbEとして機能していることが確認できました。テスト内容としては実運用に近いシステム構成でテストを行いました。今後は、NICをPCIe (PCI-Express) 対応の製品のテスト、10GbEスイッチを用いてのテスト、２台のスイッチ間を10GbE接続してのテストなど、順次実用的なテストを実施してゆく予定です。
■ 参考
弊社で行った関連性のある他のテストです。
http://www.hpc-technologies.co.jp/benchmarks-storage/Benchmarks-Storage-Test.html