電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
HPC-ProFS DPeT610
最新鋭デバイスをフル活用し圧倒的な性能を実現したペデスタル型ファイルサーバ
高速なQuad Core Xeon (Westmere-EP) と25.6GB/sのDDR3メモリを搭載
流麗なシャシに最大2TB x8基 計16TBのディスクと96GBメモリを搭載可能
6Gbps SAS 2TB HDDとPCIe2.0対応RAIDコントローラを採用
RAIDコントローラはRAID6でR700MB/s、W1000MB/sに到達
新設計シャシにて冷却の最適化と低騒音化、ツールレス化、ケーブルレス化を推進
Linuxファイルサーバ構築、オンサイト設置サービス、既存サーバからの移行支援を実施
システム統合管理ツールとメールによる障害通知機能を搭載
3年間当日4時間オンサイト保守、障害予兆検出、部品先出、早期予防部品交換実施
高性能マスターサーバ
HPC-ProServer DPeT610
高いデータ処理能力が与えられた新Xeon (Westmere-EP)
新しいXeon (Westmere-EP) はCPUアーキテクチャの半分が刷新されています。CPUコア部は小幅な改良ですが、CPUの外部インターフェース部は大幅に改良されました。この改良によりシステムのデータ処理能力は格段に向上しました。改良された箇所は次の２箇所です。
１箇所目の改良点は、メモリコントローラをCPU上に直接搭載したことです。この改良により次のような効果が得られるようになりました。
- 3チャンネルのメモリインターフェースをCPU毎に搭載
- DDR3規格のメモリを採用し高速化が可能
- CPU毎に最大32.0GB/sの帯域幅を実現
- メモリコントローラが独立したことで他の干渉を受けない
- CPU数に比例したメモリ帯域幅を実現
- CPU数に比例したメモリ容量を実現
２箇所目の改良点は、QPI (QuickPath Interconnect) と呼ばれる25.6GB/sの通信帯域を持つ高速システムインターコネクトを採用し、CPUとPCI Express間の接続ならびにCPUと他のCPU間の接続を、独立した専用のQPIにより行えるようにしたことです。この改良により次のような効果が得られるようになりました。
- CPUとPCI Express間の接続を大きな帯域幅を持つ専用のQPIによりを独立して行い、複数のI/F カードを使用する場合でも高速なデータ転送を実現
- CPUとCPU間の接続を大きな帯域幅を持つ専用のQPIにより独立して行い、グローバルメモリを利用する場合や、他のCPUとの動作を取る場合にも高速な通信を実現
Xeon (Westmere-EP)のブロック図
Xeon (Westmere-EP) のブロック図で新しいプロセッサの概要は把握していただけたと思います。しかし、実際にサーバとして運用する場合のメリットはどのようなものなのでしょうか。そこで、この図を別の視点から模式図にまとめました。また、従来のXeonと新Xeon (Westmere-EP)との比較も可能なような図にしました。
従来XeonのFSBボトルネック
従来のXeonは、CPUとメモリシステム間の通信、CPUとCPU間の通信、およびCPUとPCI Express間の通信の全てを、単独のFSB (帯域幅10.8GB/s) で処理するように設計されていました。そのため多数のデータ処理が同時に求められるようになり、各処理がFSBを奪い合うことで処理待ちによるボトルネックが発生し、スループット向上の壁となっていました。特に高速処理が求められる10GbEや高速RAIDサブシステムの利用を考えられる場合は処理性能の向上は必須です。
旧Xeonにおける I/O集中によるFSBボトルネックの模式図
約8倍も高速化された新Xeonの内部システムインターコネクト
新しいXeon (Westmere-EP) は3基の独立した内部システムインターコネクトすなわち、メモリコントローラ (帯域幅32GB/s)、QPI-CPU (帯域幅25.6GB/s)、QPI-PCIe (帯域幅25.6GB/s)を備えています。広帯域のインターコネクトを独立して動作させることで、複数のデータ処理が同時に求められても、処理待ちのボトルネック発生が抑えられます。高速処理が求められる10GbEや高速RAIDサブシステムを利用する場合には新Xeon (Westmere-EP)の利用は最善策です。
新Xeon (Westmere-EP)における独立した高速・内部インターコネクトを用いた
通信の平行処理によるI/O分散の模式図
最新のシステムはI/Oハブを強化しデータ処理のオフロード化が進んでいます。そのため全てのデータがCPUに転送されるわけではありません。しかし、処理を制御するための多くの情報がFSB経由でCPUと通信しています。CPUがI/O処理を行っているだけなら耐えきれます。しかしマスターサーバでは、他の多くの処理も平行して行っています。その結果はFSBには高い負荷が与えられています。実際のボトルネックはこのようにしてい発生します。
これに対して、新Xeonでは複数の処理が同時に発生しても、通信経路が分散されているため、局所的なI/O集中が抑えられボトルネックが発生しにくくなります。
重い処理を行うHPCクラスタの「マスターサーバ」
しかし、「HPCクラスタの「マスターサーバ」では、本当にFSBボトルネックを発生させるような高い負荷が発生しているのだろうか」と疑問に思われる方も少なくないと思います。この点を少しご説明します。
HPCクラスタの快適な利用環境を実現するため、マスターサーバ上では多くのシステムサービスが稼働しています。その主なサービスを以下にリストアップします。
【ファイルサーバ系サービス】
- ファイルサーバ
- バックアップサーバ
【管理サーバ系サービス】
- ログインサーバ
- アプリケーションサーバ
- コンパイルサーバ
- ジョブ管理サーバ
- ネットワーク管理サーバ
- ライセンス管理サーバ
もしマスターサーバがダウンするとシステムの利用は大きな制限を受けます。その理由を整理します。
- 全てのユーザはマスターサーバにログインしてシステムを利用する
- ファイルサーバに全てのファイルが保存されている
- ほとんどのシステム情報はマスターサーバに保管されている
停止や不安定な動作に陥ることが許されないマスターサーバ
このよう基幹的な役割を担うマスターサーバは停止することが許されません。さらにマスターサーバは不安定な動作に陥ることも許されません。例えばシステムに過大な負荷が掛かりサーバの処理能力が不足すると、システムの応答速度が低下し、連鎖的に他のサービスにも影響が及び、マスターサーバ全体が不安定になります。もしマスターサーバが不安定になると、クラスタシステム全体も影響が連鎖し、システムの利用が困難になります。
このようなシステム障害を予防するためには、サーバの処理の処理能力が充分に確保されていることが大切です。そのためには性能の高いマスターサーバの導入が必要です。
「HPC-ProServer DPeT610」は高性能なXeon (Westmere-EP)を搭載し
マスターサーバに最適の計算機
「HPC-ProServer DPeT610」は高い処理能力を持つXeon (Westmere-EP) を搭載しており、このようなミッションクリティカルな役割を負うマスターサーバに最適の高性能計算機です。
HPC-ProServe DPeT610
RAID6で高速、高信頼ストレージを実現
8基のホットプラグ対応2TBディスクに対応
「HPC-ProServe DPeT610」は8基のホットプラグ対応ハードディスクベイを搭載しています。また、容量2TBの高品質ハードディスクにも対応しています。これらを活かした推奨構成をご案内します。
信頼性の高いRAID6 8TB構成
信頼性の高いRAID6によるストレージの構成例を提案します。ストレージ領域用にはSAS 5400rpm 2TB HDDにより8TBのRAID6を構成し、システム領域用にはSAS 7200rpm 500GB HDDによる500GBのRAID1を構成したRAIDシステムを推奨します。RAID1による独立したシステム領域を設けることで、万一RAID6の側のストレージが故障してもシステムは動作を継続できます。
RAID6の性能
最新のRAID6はコントローラが改良され、ディスク6個で構成されたRAID6の書き込み性能が400MB/sを記録しました。十分に高速です。RAID6は2個のパリティーディスクを持つため書き込み時の負担が大きく、書き込み性能の低下が心配されていましたが、完全に解消されています。
RAID6の信頼性
RAID6は2個のパリティーディスクを用いた２重の冗長化を用いています。1個のディスクが障害を起こしても冗長性は保持されています。そのため、ディスク交換作業中に異なるディスクが障害を発生させても、まだデータを正常に読み出すことができます。
RAID6の高い可用性
RAID6の長所は可用性の高さです。RAID6の冗長性は３重化のため１個のディスクが障害を起こした後も冗長性が維持されています。そのため運用を継続することができます。最適のタイミングでディスクを交換できるよう準備することができます。完全なバックアップの実施も可能です。完全なバックアップが実施されているなら、システムを停止させずにディスクを交換しバックグラウンドでRAID6を再構築することも可能です。
RAID5やRAID10の可用性
RAID5やRAID10の可用性は高くありません。これらのRAIDの冗長性は２重化のため、1個のディスクが障害を起こすと冗長性が失われます。そのため、ディスクが障害を起こすとすぐにシステムの運用を止めなければなりません。マスターサーバとして運用している場合はクラスタ全体を停止させなければなりません。システムを再び再起動できる時期は復旧が完了してからです。
【RAID5とRAID10の可用性と復旧について】
RAID10 自動スペアディスク付き構成は、可用性が高い、無停止も可能
RAID10の自動スペアディスク付き構成はRAID6と同水準の可用性の高さを持っています。システムを停止させることなくディスクの交換が可能です。具体的には、ディスクに障害が検出されると自動的にRAIDの再構築が始まります。再構築が完了すると冗長性は復活します。その後ならシステムを停止させることなく障害を起こし既に切り離されたディスクを安全に交換することができます。
RAID10 自動スペアディスクが無し構成は、可用性は低いが、復旧は早い
RAID10で自動スペアディスクが無い場合は可用性が低くなります。しかし運用停止時間は短いです。具体的には、ディスクに障害が検出されたら可能な限りシステムの利用を控えてください。ディスク交換の準備が出来たらシステムの運用を停止し、迅速な再構築が行われるように配慮してくだい。ただし、RAID10はRAIDの再構築時間が速いので運用停止は短時間です。
RAID5 は可用性が低く、復旧も遅い
RAID5の可用性が低く運用の再開までにも長い時間が掛かります。具体的には、ディスクに障害が検出されたらすぐに運用を停止してください。次いでバックアップの収得を確認してください。RAID5は復旧中に他のディスクの障害が発生するとRAID構成が失われ回復不可能な障害に発展する可能性が高いためです。このようにRAID5はバックアップと再構築という時間が掛かる処理を２種類順番に行う必要があるため、復旧には長い時間が掛かります。まとめると、RAID5は突発的なシステム停止を予防には効果的ですが、可用性は実現されません。
RAID6の実績
RAID6は広く利用されるようになってから5年以上の年月を経て実績を積み重ねています。現在では優れたRAIDポリシーとして広く利用されています。
高い信頼性を持つ特別仕様ハードディスクを採用
サーバに採用しているハードディスクは高い信頼を持った特別仕様の製品です。信頼性を向上させるため、時には１年以上の開発期間をかけて徹底的なテストと改良を施しています。この改良は、ハードディスク自身に対して行うのみならず、SASインターフェースカードやRAIDコントローラ、ディスクエンクロージャ、サーバ本体、各デバイスのファームウェア、各種ドライバ類に至るまで、システム全体についての一貫した動作テストを行い実施されています。
自動ディスク調査、データ修復、代替セクタ割り当て、劣化警告
ディスクの信頼性をさらに向上されるための仕組みが定期的なディスクの自動検査です。RAIDコントローラにはディスクの自動検査ツールが搭載されていて、定期的にディスクの全ての物理メディアの読み取り検査を自動的に行っています。もし正常な読み取りが困難なセクタを発見するとデータ修復と代替セクターの割当を行いディスクの正常化とデータの保護が行われます。もし、不具合の発生頻度が閾値を超えると、大きな障害の予兆が検出されたと判別されメッセージが発信されます。
ディスクの障害予兆検出
自動でデータの修復が行われたとしても、ディスクにエラーが発生したことには変わりありません。そこでエラー検出され自動修復された情報はシステムに記録されます。さらにある閾値を超える頻度でエラーが記録されると、そのディスクは障害の予兆が出ていると判断され、総合システム管理ツールから警告が発せられます。この警告を受けて危険度合いが増したディスクを早期部品交換することでRAID障害を未然に予防することができます。
部品の品質管理を製造時からサポート完了まで一貫して実施
使用しているハードディスクはもとより、RAIDコントローラ、ディスクエンクロージャ、サーバ本体、ファームウェア、ドライバなど関連するコンポーネント類は全てDell純正品を採用しています。そのため、システムは細部に至るまで厳しいバリデーションを通過した部品だけが採用されています。さらに導入した頂いた後の修理サービスで使用する部品に関しても、一貫した品質管理が継続して適用されています。導入してただいてから5年間にわたり高い品質の修理用部品が供給されます。
全国展開する修理部品配送サービス
高品質な修理部品を迅速にお客様手元にお届けするため、全国各地に修理部品の配送拠点を構築しており、連絡を頂いた日に修理部品をお客様サイトにお届けするサービスを3年間無償で実施しています。
当日4時間で訪問するオンサイト保守サービス
修理サービスについても迅速な訪問体制を実現しています。連絡をいただいた当日4時間以内に技術スタッフがお客様のサイトに駆けつける、迅速なオンサイト保守サービスを実施しています。このサービスにより、急いでディスクを交換する必要のあるストレージでも、お客様に待っていただくことなくジャストインタイムでの部品交換サービスを行います。
大容量メモリを利用した負荷分散によるRAID6の高速化
RAID6の書き込み性能はディスク8基の構成で約600MB/sです。これに対して主メモリによるディスクキャッシュの書き込み性能は2000MB/sに達しています。そこで「HPC-ProServe DPeT610」は標準でも12GBのメモリを搭載し、最大で96GBまで拡張可能です。これは従来の同クラス機と比較すると約6倍の容量です。大容量メモリは10GbEの性能をより高く引き出すために有効だと考えられます。また、多数の計算ノードから同時にファイル書き込みが発生しても、高速なメモリが一時的にデータをバッファリングするためレスポンスの低下が防げます。
3種類の10GbEネットワークを提供
3種類の10GbEネットワークカードを標準サポート
 |
|
 |
|
 |
|
 |
「HPC-ProServe DPeT610」は3種類の10GbE用のネットワークをサポートしており、多種類の10GbEスイッチに対応できます。これらのカード類は純正品を採用しているため、サーバ本体やスイッチ類まで含めたシングルベンダー構成による包括的サポートを得られます。長期に亘る安定した利用を目指すには、サポート内容の充実が重要な選択ポイントとなります。
10GBASE-T Single Port (本命)
10GBASE-Tは10GbEの本命として幅広い普及が期待されてきました。しかし、チップの消費電力の大きさから、低価格で高密度なスイッチの開発に時間がかかっており、爆発的な普及までにはまだ暫くの時間が掛かりそうです。(消費電力の大きさはカード上に搭載されているファンからも推察できます。) しかし、10GBASE-Tは既存の1GBASE-Tと互換性があり使い易いため、高性能なチップが開発されればすぐにでも低価格製品が市場に投入されると予想されます。すると普及に火が付き一気に10Gb化へ移行すると考えられます。この点を見据えた場合は10GBASE-Tを現在の段階から選択しておくことは将来への良い選択です。
10GBASE-SFP+ Dual Port
10GBASE-SFP+ Dual Portのネットワークカードは高速、低価格、低消費電力と三拍子揃った優れた製品です。2個の10GBASE SFP+ポートにより20Gbpsの通信帯域を持ち、圧倒的な通信速度を実現しています。SFP+は高い実装密度を目指した規格化で、コンパクトなサイズを持ち、低消費電力化にも成功した優れた規格です。また２個の10GbEポートを用いてネットワークの冗長化やバックアップ専用ポートとして利用も可能です。
取り扱いの容易なSPF+ Passive Cable
SFP+の接続には"SFP+ Direct Attached Cable (Twinaxial)" と呼ばれるリンク距離が最長で10mの銅ケーブルが用いられます。(弊社は標準で3mのケーブルを提供しています。) HPCクラスタでアップリンク接続に用いる場合は3mのケーブル長でも十分です。このケーブルはCX4のケーブルよりも細くしなやかで取り扱いも容易です。
10GBASE-SR XFP Single Port
10GBASE-SR XFPは光ファイバーを用いるNICで300mのリンク距離をサポートしています。距離が離れたクラスタや基幹システムとの接続には便利です。また古いスイッチ製品は10GBASE-SFP+や10GBASE-Tに対応していない製品もあります。しかし10GBASE-SP XFPには大抵の製品が対応しているため接続先の幅が広がります。
10GBASE-CX4
「HPC-ProServe DPeT610」では10GBASE-CX4は標準ではサポートしていません。今後発売されるスイッチについてもCX4のサポートは減ってゆくと考えられます。
DPeT610のハードウェアの特徴
ダクトを利用した効率良いクーリング
 |
|
 |
|
 |
|
 |
|
 |
|
 |
サーバでは優れたクーリングシステムの搭載が重要です。「HPC-ProServe DPeT610」は、発熱量の大きなCPUとメモリ全体を巨大なエアダクトで覆っています。このエアダクトの左端から吸入された冷気はダクトにより無駄なくメモリとCPUに吹き付けられ、効率よく熱を奪った後に、右端に実装された4基の冗長ファンにより外部に排気されます。
ヒートパイプ方式の大型ラジエター
CPUの冷却にはヒートパイプ方式の大型ラジエターを採用しています。ヒートパイプを利用することで、CPUで発生した熱を素早く広大な冷却フィンに伝導でき効率の良い冷却を実現しています。より少ない冷気でも十分に冷却できるので低騒音にも貢献しています。さらにヒートパイプ方式は液冷方式のように機械的な動作部が無いため信頼性にも優れています。
アイドル時36dBと低騒音を実現
大型エアダクトとヒートパイプ方式の大型ラジエターにより冷却効率が高いため少ない送風量でも十分な冷却性能が得られます。さらに温度を監視しながらファンの回転数をきめ細かくコントロールしています。その結果、ファンの風切り音が抑えられ驚くほどの低騒音を実現しています。アイドル時の騒音は36dBと非常に静粛です。
ケーブルレス化
主要なケーブル類はワイヤーハーネス化されており、各モジュールとはソケットで接続する仕様なっています。そのため、配線に関するトラブルが予防できます。また保守性にも貢献しています。
冗長化構成
高い可用性を実現するためには経年劣化する部品の冗長化は欠かせません。「HPC-ProServe DPeT610」は要所を冗長化し高い可用性を実現しています。
電源はホットプラグ対応の冗長化電源を採用し、電源障害が発生しても運用を継続することができます。冷却ファンも冗長化された二重反転ファンを各CPU毎に搭載し合計4基のファンで冷却しています。ネットワークもGbEを２ポート搭載しており２重化ネットワークが可能です。さらにオプション化されている10GbEについても10GBASE-SFP+ NICについてはDual Port構成となっており10GbEでの冗長化構成も可能です。
当日4時間で駆けつけるオンサイト修理
これらの部品は故障の連絡を受けると、全国の拠点で待機している当日4時間のオンサイト修理スタッフが迅速に駆け付けます。同時に修理部品の先出し発送も実施します。修理スタッフによるお客さまのサイトの訪問と同期して修理部品も届けられます。その連携により迅速な部品交換を行います。ホットプラグ対応の部品はシステムを停止させることなく交換でき運用を継続できます。
LCDパネル
サーバは発生した障害を迅速に把握できることが大切です。システムの前面には青色に輝くLCDパネルを搭載しており、異常が検出されると、LCDパネルがオレンジ色に輝き、異常発生をわかりやすく知らせてくれます。さらに、LCDパネルにはエラーコードとエラー発生場所が表示されるため障害箇所が一目でわかり、迅速なサポート対応に貢献します。
統合管理ツールの搭載
システムにはブラウザからの操作ができる統合管理ツールを搭載しています。このツールは、システム構成の把握、システム構成の変更、障害箇所の確認、障害履歴の表示など豊富な管理機能を備えており、複雑なシステム管理を簡単に行うことが可能です。さらにこのシステム管理ツールは他のサーバとも共通化されており、大規模なクラスタでも機器の一元的管理が可能です。
障害の予兆検出
総合管理ツールにはメモリのECCエラー履歴などを含む障害履歴が記録されており、障害発生頻度が閾値を越えた場合は、致命的な障害の予兆として警告が発せられます。これを受けて該当する部品を早期に予防交換することで、システムダウン以前に計画的に障害サポートを実施することができ、障害を未然に解決できます。
ラック搭載が可能
「HPC-ProServe DPeT610」はラック搭載も可能です。ラック搭載を希望される場合は、その旨ご指示をいただくと、EIAラック搭載用の前面フレームとスライドレールを組み付けて納入いたします。当初からラック搭載も念頭に入れて設計されているのでレールの動作もスムーズで、効率的な保守を実現できます。
最高品質の製品を製造
最高品質のサーバを採用
「HPC-ProServe DPeT610」は最高品質のサーバを採用し高度なシステムインテグレーションを施して製品化しています。使用しているサーバは、初期設計段階から徹底的なバリデーションが行われ、厳しいテストに合格した部品が使用され、上位機種に品種を絞り込み、最先端工場の大量生産によりコストを吸収した、工業的にも優れた製品です。製品はアモイの工場で生産され、完成すると即座に弊社工場に向けて出荷されます。
出荷前のエージングを徹底的に実施
弊社工場に製品が入荷すると即座にLinux OSをインストールし負荷試験により品質確認を行います。安定動作が確認されると本格的にRAIDアレイを構築し長期負荷テストを開始します。もし初期不良を起こす可能性を持つ部品が含まれていても、大部分はこの長期負荷テストで洗い出されます。部品に不具合が検出されると直ぐに正常品と交換しシステムの完成度を向上させます。この工程を経ることで納入後の初期不良は発生は皆無に近くなっています。そのためシステム構築から立ち上げまでの工程が計画通りに進むようになり、すぐに本稼働が開始できます。
システム設計
周辺機器までトータルにご提案
ご提案する範囲はファイルサーバにとどまらず、ご要望に応じて補助サーバ類やネットワーク、EIAラック、無停電電源装置などの幅広い提案を行います。クラスタの計算ノード増強やジョブスケジューラの導入などをご希望される場合も柔軟に対応します。
シングルベンダー構成を追及
これらの周辺機器もシングルベンダーでの提案を基本とし、一元的なサポートサービスが維持できるように工夫をいたします。万一シングルベンダー化が難しい場合には、その旨をお客様にお伝えし、幾つかの代案をご提案します。
ワークステーション型クラスタとの接続
「HPC-ProServe DPeT610」は静かな縦型サーバのため、ワークステーションを用いた、床や棚に置かれたタイプのクラスタで利用するファイルサーバとして利用できます。ワークステーションはHPCクラスタの計算ノードとして利用する分には申し分のない機能と性能を持っていますが、ファイルサーバや管理サーバとして利用するには信頼性、保守性などの面で機能不足であることを否めません。そこでタワー型のサーバをマスターノードとして追加することで機能的にもラック搭載型のクラスタ水準に近づくことができます。弊社ではこのような構成のご提案も行っています。
大規模システムではファイルサーバと管理サーバの分離で可用性を向上
大規模なシステムを設計する場合は予期できない高い負荷が突発的に発生することがあります。その対策としては、ファイルサーバと管理サーバの分離が勧められます。両者を分離させると、ファイルサーバ系の負荷が高くなっても、管理サーバ系が独立しているため影響を受けること無く安定した動作を期待できます。さらに、管理サーバにバックアップ用のストレージを搭載しておくと、２台のサーバを用いたバックアップが実現でき、安心して利用できるマスターサーバシステムを構成できます。
設定・設置サービス
工場で主なシステム設定を完成
手間のかかる初期設定作業は、事前にお客様に記入していただいた設定指図シートに基づき、RAID設定のみならずネットワークのカスタム設定などまで社内で完成させてテストを行ってから出荷します。また間違えやすいサーバやケーブルのナンバリングなども工場で行い確認してから出荷しています。
オンサイトでの設置
お客様からのご要望に応じて、オンサイトでの機器の据え付けやネットワーク接続から、既存クラスタへのファイルシステムの導入などまで、HPCクラスタに関する技術サポートもきめ細かく実施します。
オンサイトでの利用説明を実施
初めてLinuxのファイルサーバを立ち上げられるお客さ様でも安心して導入していただけるように、オンサイトでの機器の利用説明を実施します。