RAID基本性能テスト

RAID0 (73GB SAS 2.5inch 15krpm x5)
Write: 450MB/s Read: 490MB/s (09.5.28)

6基の2.5inch SASドライブを搭載できる1Uサーバ

　右上写真はXeon (Nehalem) 4node 8CPU 32core計算機と、１台の高速ファイルサーバを追加した5台構成のクラスタシステムです計算機のノードにはコンパクトな1UサイズのHPC-ProServer R610を用いており、5Uサイズのスペースしか占有していません。

　この5台のサーバの内の最上部の1台が高速共有ワーク領域をサービスするストレージノードです。下はその拡大写真です。搭載できるディスクは、2.5inchのSAS 15000回転 73GBディスク、あるいは2.5inchのSAS 10000回転 73GB/143GB/300GB/などを最大6基まで搭載でき、その内の5基をRAID構成とすることで多様なストレージを構成できます。

5基の2.5inchディスクで500MB/s弱のRead/Write性能を達成

　今回は最高速度の追求として、2.5inch SAS 15000回転 73GBディスクを5基用いて内蔵RAIDコントローラによるRAID0による性能測定を行いました。性能報告を下表で行います。速度の測定ではメモリをフラッシュして行っているので、搭載メモリの影響は無いはずですが、念のためシステムに搭載している12GBのメモリを挟んで10GBのファイルサイズでの測定と20GBのファイルサイズでの測定を行っています。

　テストの結果、Writeで450MB/s、Readで490MB/sの性能が確認できました。2.5inch 15000回転のディスクの単体性能は100MB/sを越えていますから、5基のRAID0で500MB/s弱の性能は納得の行く値です。

システム	RAID種類	ディスク数	実効容量	ローカル I/O速度 (MB/s)
				10GB ファイルサイズ		20GB ファイルサイズ
				Write	Read	Write	Read
Xeon (Nehalem) X5570 2.66GHz 2CPU 8core DDR3 133MHz 12GB Memory HBA: SAS6iR 73GB/2.5inch/SAS/15krpm/16MBcache x5 RAID0 XFS	RAID0	5基	365GB	476	487	451	486

超高速ファイルサーバの実現

　Xeon (Nehalem) は非常に高速なノード内並列性能を持ちます。さらに、計算ノードに搭載するメモリサイズも２～４倍へと増加しています。そのため、計算機のファイルI/O要求は数倍に増加すると考えられます。ストレージ性能もこれに追従する必要があります。ストレージの高速化を行うにはストレージを構成する幾つかの要素を平行して高速化する必要があります。

　その基礎はRAIDによるディスクボリュームの高速化を行い1000MB/sを目標とします。そしてこの高速ストレージを10GbEや40Gbps InfiniBandで接続して実現する1000MB/s級のNFSシステムです。そしてさらに、この高速NFSサーバを並列化して構築する分散型NFSサーバシステムにより実現する10GB/s級のファイルサーバシステムの提供が最終的な目標になります。

RAID6はライトバック・キャッシュが劇的な効果 (08.10.16)

RAIDコントローラ上のキャッシュメモリの動作モード

RAIDコントローラにはキャッシュメモリが搭載されており、ライトスルー動作か、あるいはライトバック動作を選択できます。ライトスルー動作では、書き込まれたデータのディスクへの書き込みが完了してからホスト側に書き込み完了の信号が送られます。これに対してライトバック動作では、書き込まれたデータはキャッシュへの書き込みが完了した時点でホスト側に書き込み完了の信号が送られます。キャッシュに保存されているデータは適切なタイミングまで待ってディスクに書き込まれます。そのため、データのキャシュへの書き込みが完了してからディスクへの書き込みが完了するまでの間に障害が発生すると、データの一貫性が失われる場合があります。もちろん、RAIDコントローラにはバックアップ用のバッテリーが搭載されているので、電源が切られても即座にデータが失われるわけではありません。

RAID6をライトバックキャッシュ動作に設定してテスト

弊社が標準で採用しているRAID10はライトスルーでもライトバックでも十分な書き込み性能が得られるため、より安全なライトスルー動作を標準設定と定めています。ところが、RAID6をライトスルー動作に設定にしてテストすると期待した性能が得られませんでした。そこでライトバック動作に設定を変更して性能評価を行いました。

HPCではライトバックでも大丈夫

実はHPCではディスクキャッシュの設定をライトバック動作にしても問題が発生するとは考えられません。なぜなら大きなI/Oの発生するHPC用途では書き込み性能を向上させるためホスト機のメモリバッファを利用する設定を標準としています。HPCで利用するファイルは計算中に障害が発生してファイルが破損しても、再計算することでファイルを再現させることが可能です。この特性があるため、メモリバッファを動作させ多少の信頼性の低下を容認しても、その代償として得られる性能向上により全体的なスループットを向上させるという判断が受け入れられています。

テストの方法

Qual Core Xeon 1CPU 4core構成の計算機に8GBのメモリを搭載したホストサーバに、PERC6/E RAIDコントローラを搭載し、1TB SATA 7200rpmディスクを15基搭載した外付けディスクエンクロージャを接続したシステムを用い、8GBと20GBのシーケンシャルファイルによるWrite/Readテストを実施しました。

RAID6ではライトバック動作に設定すると書き込み速度が劇的に改善された

RAID6でのライトバック設定とライトスルー設定で性能の比較を行ったところしたところ、ライトバック動作に設定するとWrite性能が劇的に改善されました。

読み出しでのキャッシュの効果

読み出しに対するキャッシュの効果は、キャッシュサイズに対してデータサイズが大きい場合は効果は期待できません。

システム	RAID種類	ディスク数	実効容量	キャッシュ設定	ローカル I/O速度 (MB/s)
					8GB ファイルサイズ		20GB ファイルサイズ
					Write	Read	Write	Read
Q/C Xeon 2.66GHz 1CPU 4core 8GB Memory 1TB SATA 7.2krpm PERC6/E 512MB XFS (y81014)	RAID6	15基	13TB	ライトバック	563	194	423	188
				ライトスルー	75	185	-	-

テスト環境
Platform: HPC-ProServer DPeR300 (PowerEdge R300)
CPU: X3350 Quad-Core Xeon 2.66GHz/FSB1333MHz /6MBcache x2 1CPU 4core
Memory: DDR2-667 8GB
OS: CentOS 4.6 (EM64T)
Kernel: kernel 2.6.9-67.0.15.plus.c4largesmp x86_64
RAID I/F: PERC6/E 512MBcache
HDD (RAID): 1TB x15 (SATA 7200rpm) (DPvMD1000ディスクエンクロージャ)
RAID: RAID6
Filesystem: XFS

10GbEに向けた課題

GbE上のNFS用にRIAD10とRAID6を用いる場合は、約200MB/s水準の性能があれば容認できます。ところが、10GbEが普及するとさらに高速なRAIDが求められます。そのために効果のある変更箇所は、ディスク回転速度、ディスク接続規格、RAIDコントローラ、RAIDポリシー、CPU速度、メモリ容量のどこが効果的なのテストが求められます。

RAID6の特徴と、特徴を意識したHPC分野での利用方法

RAID6には運用上の特徴があり、その特徴を意識した利用方法が求められます。RAID10とRAID6の大きな違いはディスク障害後の再構築時にRAIDが処理しなければならないデータのサイズにあります。RAID10であれば１台のディスクに書き込まれたデータを新しいディスクに複写するだけの単純かつコンパクトな処理だけで修復動作は完了します。これに対してRAID6では全てのディスクに書き込まれたデータを読み出しパリティー計算後に新たなディスクに書き出す処理を行う必要があります。この大きく時間が掛かる処理を、システムの運用を継続したまま実行することはリスクがあります。そのため、障害が発生すると可能な限り早く運用を停止させ、慎重に修復する必要があります。さらに万一に備えて修復を開始する前にフルバックアップを実施するとなるとさらに時間が掛かります。ですからRAID6はシステムの瞬間的なダウンを防止し、安全な停止を実現させる観点からは有効なRAIDポリシーですが、修復に関しては負担の大きなRAIDポリシーです。

標準ファイルサーバでのRAID6, RAID10, RAID0の性能測定 (08.8.27)

Quad-Core Xeon 1CPU 4core構成の計算機に8GBのメモリを搭載したホストサーバに、PERC6/E RAIDコントローラを搭載し、750GBディスクを15基搭載した外付けディスクエンクロージャを接続したシステムを用い、10GBのシーケンシャルファイルによるWrite/Readテストを実施しました。

RAID10は実用上十分な速度が得られている

RAID10はGbEで利用するなら十分な速度が得られています。GbEでNFS利用するには100MB/s以上の性能は必須であり、トラフィックの増大を考慮すると理想的には200MB/s水準の性能が望ましいです。

RAID6はWrite性能が少し劣る

RAID6は複雑な処理を伴うため、単純なシーケンシャルファイルの読み書きでも理想的な性能を得ることができませんでした。

Readは約200MB/sで壁

Readに関しては約200MB/sで壁にあたっている気配です。

システム	RAID種類	ディスク数	RAID容量 (実効容量)	キャッシュ設定	ローカル I/O速度 (MB/s)
					10GB ファイルサイズ
					Write	Read
Q/C Xeon 3.16GHz 1CPU 4core 8GB Memory 750GB SATA 7.2krpm PERC6/E 512MB XFS (y80718)	RAID6	15基	9.75TB	ライトスルー	112	201
	RAID10	14基	5.25TB		454	252
	RAID0	15基	11.25TB		348	238

テスト環境
Platform: HPC-ProServer DPeR300 (PowerEdge R300)
CPU: X5460 Quad-Core Xeon 3.16GHz/FSB1333/2x6MBcache 1CPU 4core
Memory: DDR2-667 8GB
OS: CentOS 4.6 (EM64T)
Kernel: kernel 2.6.9-67.0.15.plus.c4largesmp x86_64
RAID I/F: PERC6/E 512MBcache
HDD (RAID): 750GB x15 (SATA 7200rpm) (DPvMD1000ディスクエンクロージャ)
RAID: RAID6
Filesystem: XFS

RAIDの基本性能テスト

RAID0 (73GB SAS 2.5inch 15krpm x5) Write: 450MB/s Read: 490MB/s (09.5.28)