電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
HPC-ProFS DPeT610
最新鋭デバイスをフル活用し圧倒的な性能を実現したペデスタル型ファイルサーバ
高速なQuad Core Xeon (Westmere-EP) と25.6GB/sのDDR3メモリを搭載
流麗なシャシに最大2TB x8基 計16TBのディスクと96GBメモリを搭載可能
6Gbps SAS 2TB HDDとPCIe2.0対応RAIDコントローラを採用
RAIDコントローラはRAID6でR700MB/s、W1000MB/sに到達
新設計シャシにて冷却の最適化と低騒音化、ツールレス化、ケーブルレス化を推進
Linuxファイルサーバ構築、オンサイト設置サービス、既存サーバからの移行支援を実施
システム統合管理ツールとメールによる障害通知機能を搭載
3年間当日4時間オンサイト保守、障害予兆検出、部品先出、早期予防部品交換実施
小・中型HPCクラスタ用マスターサーバ
導入が活発化する小型HPCクラスタ
HPC計算の利用範囲が広がり共同利用される大型HPCクラスタの構築が各地で進む一方で、小グループで利用される小型HPCクラスタの導入も活発化しています。その理由として、大型HPCクラスタでも全ての計算に対応できないことと、共同利用環境を利用できない方がいることなどを挙げることができます。このような状況を追い風とし小型HPCクラスタは大型HPCクラスタを補完する形で発達を遂げ、多様化するHPC計算ニーズに柔軟に対応するソリューションを形成しています。
高性能マスターサーバを必要とするマルチコア搭載クラスタ
小型クラスタに高性能なマスターサーバは必要なのでしょうか。少数の計算機を管理するだけなら低価格なサーバでも任に耐えるのではないでしょうか。しかし小型HPCクラスタは大幅な性能向上を果たしています。4〜16ノードの小型HPCクラスタと謂えどもマルチコア化の恩恵を受け、その内部は32〜128コア構成となっており、マスターサーバに対して大きな負荷を与えるようになっています。エントリー級の低価格サーバでは対応が難しくなっているのです。
使い易さが求められる小型HPCクラスタ
単体ワークステーションを個人で単純に利用する場合は簡単なリソース管理でも問題ありません。しかし複数の計算機を多人数で共同利用する場合は、その規模に応じた適切なリソース管理が必要です。さらに小型クラスタであっても高度な管理を行うことで使い勝手をさらに向上させることが可能です。もし管理が不十分だとクラスタの利便性は大きく低下します。
リソース管理の中枢を担うマスターサーバ
リソース管理を一手に引き受ける装置が『マスターサーバ』です。マスターサーバには次のようなリソース管理機能が動作しており、これらを利用するとでHPCクラスタの使い勝手は格段に向上します。
- ファイルサーバ
- バックアップサーバ
- ログインサーバ
- アプリケーションサーバ
- コンパイルサーバ
- ジョブ管理サーバ
- ネットワーク管理サーバ
- NTPサーバ
- ライセンス管理サーバ
便利なマスターサーバ
マスターサーバを導入したHPCクラスタでは全ての作業をマスタサーバ上の自分のアカウント内で行うことができ操作が容易になります。具体的には手元の端末からマスターノード上の自分のアカウントにログインし、そこから移動することなくジョブスケジューラを用いてジョブ投入するだけで複雑な構造を持つHPCクラスタ全体が透過的に利用できます。もちろん計算機の利用状況や、他のユーザの利用状況、アプリケーションの保管場所、ソフトウェアライセンスの状況、ストレージの状況などを意識する必要は殆どありません。これらの管理は全てマスターサーバ側で自動処理しています。ユーザは何時でも何処からでもジョブを自由に投入でき、処理状況も簡単にモニターでき、帰ってくる結果を待つだけです。
操作の簡素化により誤操作を予防
複雑なHPCクラスタを手動で操作すると誤操作のリスクが伴います。例えば、フル稼働している計算機に新たなジョブを投入しハングアップさせてしまったり、複雑化したファイルサーバを整理している最中に大切なファイルを操作ミスで消去してしまうような経験は多の方が味わうものです。マスターサーバを導入し操作の簡素化と自動化を実現することで誤操作のリスクを低減させることができます。
システム利用ルールの定着
紳士協定によるシステムの利用はきめ細かなルールの定着が難しいため、各ユーザに計算機を割り当てるような単純な運用ルールに到着しがちです。しかしこのような運用ルールはシステムの利用効率を大きく低下させる可能性が高いです。このような運用に対して、マスターサーバを採用してきめ細かな運用ルールを自動的に適用できるようにすると、公平なリソースの運用が可能となり快適かつ高効率な利用環境が保たれます。その便利さを実感すると多くの利用者がマスターサーバの利用を支持するようになり、利用ルールの定着がより促進されます。
高い可用性が求められるマスターサーバ
HPCクラスタの可用性はマスターサーバが担っていると言っても過言ではありません。なぜなら計算ノードの障害は局所的かつジョブリスタート機能により無害化できます。ところがマスターサーバの障害はシステム全体に波及し全体の停止に直結します。そのためマスターサーバは堅牢な設計にしておくことが肝要です。さらに万一の障害に備えて迅速確実に復旧できることも大切です。
堅牢なマスターサーバ
HPC-ProFSシリーズのマスターサーバ製品は、HPCでの利用経験に裏付けされた製品選択眼を活かし、特に安定動作しているサーバ製品をベースに、さらに注意深いシステム選択と設定を行い、圧倒的な安定稼働を実現させています。さらに、システム構築時に十分な負荷テストを行い、初期不良の洗い出しを徹底的に行い、不安定な製品の出荷を行わないようにしています。
高い保守レベルの適用
さらにマスターサーバに適用している保守レベルは「6営業日、9時〜21時、当日4時間、部品先出し、オンサイト障害切り分け」という高水準なサービスを選択しています。これは計算ノードに適用している「6営業日、翌日オンサイト保守」よりも2ランクも上位レベルです。もちろんシステム全体の保守レベルを高く設定すれば良いのですが、そうするとコストが跳ね上がってしまいます。そこでシステムの要となるマスターサーバのみサポートレベルを高くし、高い可用性を持つマスターサーバが全体の信頼性を維持するための機能を担うことで高いコストパフォーマンスを実現しています。
オールインワンタイプのマスターサーバ
小型HPCクラスタはオールインタイプのマスターサーバを採用することが一般化しています。これが実現できた背景には安定した2TBハードディスクの市販とRAID6の熟成があります。これらを組み合わせることで少ない部品点数で高速に安定稼働する8TBのRAID6ボリュームを構成できるようになりました。これだけの容量をサーバに内蔵できるのなら外部ストレージは要らなくなります。さらに、サーバ筺体の価格と外部ストレージ筺体の価格を比較すると、サーバ筺体の価格の方が安くなっており、コスト面からもオールインタイプが有利になっています。
システム構築
最新の標準的デバイスの選択
HPCクラスタの構築で大切な点は、最新の標準的な製品を上手に利用することです。また、システム全体の負荷を意識し局所的なボトルネックを回避する設計が大切です。さらに、シンプルに構造に設計することも重要です。このような考え方で設計したシステムは簡潔かつ透過的に仕上がります。
利用者が求める性能をシンプルに実現
利用者が求める性能をシンプルに実現するためには、最新の標準的な製品の特性を具体的かつ詳細に理解していることが前提になります。また、アプリケーションの特性も同様に理解している必要があります。これらの情報を組み合わせることで、的確なシステム構成をイメージでき予算に割り当てながら実際の積算を行うことができます。
性能が格段に向上したXeon (Westmere-EP) 搭載サーバ
Xeon (Westmere-EP) を搭載したサーバは、内部のデータ転送性能が従来の機種より約5倍も向上し、メモリ容量も約5倍に拡大、ネットワークも10GbEへとアップグレード、RAID性能と容量も向上しているなど、全体的にバランス良く性能向上しています。外観こそ洗練されたPCサーバに見えますが、その内実はエンタープライズ級サーバに匹敵するモンスター機に変貌しています。この高性能化したXeon (Westmere-EP)機を贅沢にもマスターサーバに採用することで計算ノードの性能向上に釣り合う構成が実現します。
10GbEの採用
マスターサーバはサーバ本体が高速なだけでは性能が不十分です。トータル性能この向上には高速ネットワークの採用が不可欠です。幸いにも10GbE NICの低価格化と、10GbEアップリンク対応スイッチの低価格化がようやく軌道に乗りだしています。このシステムでは3年間のオンサイト保守付き10GbE対応スイッチを導入していただきやすい価格帯でご案内しています。今後のファイルサーバは10GbEアップリンクでのご導入をお勧めします。
高速RAID6ストレージ
高速な10GbEネットワークを活かすためには高速なストレージの搭載も必須です。HPC-ProFS DPeT610では400MB/s級の高速I/O処理を実現した内蔵のRAID6ボリュームを搭載しており、10GbEが求める性能に追従する高速ストレージをご用意しています。
大容量メモリの搭載
10GbEの性能をフルに発揮させるためには、大容量メインメモリの搭載もお勧めです。メモリによるディスクキャッシュでは2000MB/sにも達するI/O性能が確認されており、一度に集中したI/Oをキャッシュ効果により分散させることで、高いレスポンスの維持に効果が期待できます。またジョブスケジューラは投入ジョブ数が増えるに従い多くのメモリを必要としてます。またファイルシステム上のファイル数が増加しても同様にメモリを消費します。このように多くのサービスを提供するマスターサーバでは大量のメモリ搭載が理想です。
ジョブスケジューラ
計算機のリソース管理はジョブスケジューラが担います。ジョブスケジューラは計算機のCPUやメモリなどの利用状況を常に監視しています。同時にユーザから受け付けたジョブ・リクエスト情報も保持しています。ジョブスケジューラはこれらの情報に基づき、計算機リソースを最適なスケジュールで利用できるように調整を行うミドルウェアです。調整方法はジョブ投入ポリシーとしてあらかじめ設定しておくことができます。さらに複雑に動作する並列処理アプリケーションについても適切なジョブ投入を自動的に行います。ジョブスケジューラはマスターサーバから利用し、全ての計算ノードを透過的に利用できるサービスを提供しています。ジョブスケジューラはHPCクラスタにとっては必須のミドルウェアです。
ネットワーク設定
HPCクラスタを構築する際に知識と経験が求められる作業がネットワーク設定です。HPCクラスタは、グローバルアドレスを持つホストサーバとサブネットアドレスしか持たないローカルサーバで構成され、複雑なネットワークを構成します。そこで使いやすさと性能を高めるためNIS、NAT、NTP、NFSなどの設定が求められます。
アプリケーションサーバ
マスターサーバはアプリケーションサーバ機能を持っています。アプリケーションサーバがHPCクラスタ内部で動作していることで、何れの計算ノードからも同一のアプリケーションを利用することができ均質な計算結果が得られます。もちろん、各ノード毎にアプリケーションをインストールしておく必要がなくなります。
ライセンスサーバ
ライセンスサーバはクラスタ内部に構築するかあるいはクラスタ外部のアプリケーションサーバを利用するかで設定が異なります。しかし、内部あるいは外部を問わずライセンスサーバを利用できる設定にしておく必要があります。
開発環境
開発環境の一元化は大切です。ソースコードとメークファイルが同じでも、開発環境が異なると性能が異なったり、正常にコンパイルできない場合があります。そこでマスターサーバ上に開発環境を搭載し、システム全体で共有することで均質な開発環境を全員で利用することが可能です。
ノードの拡張性
マスターサーバを設定することでノードの追加が容易になります。複雑なHPCクラスタに関する設定や各種サービスはマスターサーバに集約されており、計算ノードは計算処理だけに専念しているだけなので、難しい設定の必要はありません。
ヘテロジニアスな環境
多様化する計算課題に対応するため実践的なHPCクラスタは、計算の種類に応じたヘテロジニアスな計算機構成を採用去る場合が少なくありません。もちろんジョブ投入についても不均一な投入パターンで運用される現場が一般的です。
システム調査・設計サービス
弊社技術者がお客様サイトを訪問し、実際のシステムを直接調査し、調査結果に基づいて最適なシステム設計を提案します。
可用性
安定した構成の実現
単純に高性能な計算機を求めるだけなら最近の市販計算機は随分品質が向上しており決して悪くはありません。しかし、システムレベルでの長期安定動作を求めるには、システムとしての信頼性獲得が重要なファクターとなります。多くのコンポーネントを組み合わせて構成するクラスタでは、個々のコンポーネントの完成度だけでなく、システム全体が整合性の保たれた動作をすることが非常に重要です。
徹底した初期不良対策
HPCクラスタは高負荷運転を長期間連続して行うため高い耐久性を持つシステムが必要です。そこでシステムに対して高い負荷を与えるテストを実施し、通常の負荷テストでは検出できない潜在的障害を出荷前に洗い出し、徹底的な予防部品交換により障害箇所を根こそぎ改修します。この作業により、納入後の初期不良発生の可能性が大きく低下しています。
冗長化による経年劣化対策
初期不良対策では対応が難しい障害原因が経年劣化です。回転部品を用いたコンピュータ部品などは経年劣化を起こしやすい部品の典型です。これらの部品については冗長化とホットスペアの採用により、万一故障が発生してもシステムの運転を継続したまま部品交換が可能です。
ECCによるデータエラー対策
メモリなどで発生するソフトエラーと呼ばれる障害にはECC機能で対応します。さらに、ECCエラーが頻発する障害については、システム管理ツールが保持しているエラー情報の自動解析によりシステムが警告を発することを受け、予防的な部品交換を実施します。
徹底したバリデーションの実施
システムレベルでのバリデーションを完了させるためにはある程度の月数が必要です。半導体メーカーが市販を開始したからといって翌日から製品化できるわけではありません。慎重を期して複合的テストを網羅的に繰り返し、ハードウェアレベルだけでなく、ファームウェアやドライバレベルについても、実際に製品を組み合わせて動作させながら、タイミングの最適化作業を行い、安定した設定で製品化を行います。このバリデーション作業が一定のレベルに達するまでは受注には入れません。
信頼性
バックアップの徹底
ファイルサーバのバックアップは大切です。マスターサーバにはバックアップ機能を搭載しており、バックアップ用のストレージを導入して頂くと、バックアップの仕組みも併せて提供しています。もちろん、万一のストレージ障害時のレストアについても親身な技術サポートを実施します。
システム全体のクローン作成
しかし同容量の別のファイルサーバを用意し、定期的にバックアップを行うことも検討してみてください。サーバの価格が低下している現在、マスターサーバ全体のクローンを作成し、万一障害が発生した場合はサーバ全体を待機している方に切り替え運用を継続する方式も決して贅沢ではありません。この場合の制御はWorkgroupクラスのクラスタであれば手動切り替えでも十分に意味があります。
UPSの接続
マスターサーバの信頼性を妨げる要因の一つに電源障害が数えらます。いくら安定したサーバでも瞬停にさらされるだけで落ちてしまいます。そこでシステムの基幹を構成するマスターノードとスイッチにはUPSとの接続をお勧めします。瞬停だけなら稼働を継続できますし、大きな停電では正規のシャットダウン処理を自動で行いますから、ファイルシステムに関連する障害の発生を予防することが可能となります。
セキュアなクラスタの実現
ログイン・ノードを一台に限定しセキュリティー設定を適切に施すことでHPCクラスタのセキュリティーを向上させることができます。
障害の通知
自動運転しているシステムでは不具合箇所の早期発見と修復が大切です。そこで総合管理ツールを搭載し異常発生を常時監視しており、万一異常が発生するとメールにより警告を通知します。この警告を受けると弊社に連絡していただければ即座に対策ほ講じます。