構成例 1
4TFLOPS (8 Fermi)
ブレード筺体1台とマスターサーバを
24Uラックに搭載した構成例

　ブレード型サーバを用いた高機能なGPGPUクラスタの基本となる構成例をイラストによってご紹介します。

　ラック中段にブレード筺体を搭載しています。ブレード筺体の前面には８枚のサーバブレード (ホスト機) を搭載しています。各サーバブレードには１枚のGPGPUカード (Tesla M2050 (Fermi) と２個のQuad-Core Xeonプロセッサ、１枚のDual-Port 10GbE NIC、１枚のQDR InfiniBand HCAを搭載しています。

　GPGPUとホスト機の間はPCI Express Gen2.0 x16で接続され片方向8GB/sの帯域幅を実現しています。ホスト機にはクロック速度が低めのQuad-Core Xeonプロセッサを２個搭載しています。このプロセッサを採用することにより高スループットと低コストを両立できます。ホスト機に搭載するメモリの容量は利用するアプリケーションに応じて増減させます。このホスト機は最大で192GBのメモリを搭載することができるので、大きなメモリ空間を必要するアプリケーションにも十分対応できます。

　ホスト機には2.5インチのディスクドライブを２個搭載することができます。利用できるドライブはSAS 2.5インチ 15000回転 146GBドライブ、SAS 2.5インチ 10000回転 146GB /600GBドライブ、SSD 50GB /100GB /149GBドライブなどから選択できます。もし高速な一時ファイルを必要とするアプリケーションを使用される場合は２基のSSDドライブをRAID0によって高速化することができます。SSDストレージはランダムアクセスであっても約300MB/sの実効転送性能が期待できます。

　ブレード筺体の背面側には10GbEスイッチ、InfinBandスイッチ、GbEスイッチ、KVMスイッチを搭載することができます。ブレード型サーバによる実装の長所は、このような多くのデバイス類まで含めて、僅か10Uのスペースに全てを搭載できることです。内部のケープリングはプリント基板上に実装されています。外部に出るケーブルは５本の電源ケーブルと各１本のGbEケーブル、10GbEケーブル、KVMケーブルのみです。

　ラックの下部にはマスターサーバと外付けのRAID筺体、ネットワークスイッチ、無停電電源装置を搭載しています。これらがマスターサーバ部を構成しています。マスターサーバにはログインサーバ機能、ネットワーク情報管理機能、アプリケーションサーバ機能、ファイルサーバ機能、ジョブスケジューラ機能、開発環境などを搭載しています。

　マスターサーバの働きによって複雑なGPGPUクラスタの物理的な構造が抽象化され、ユーザからは単純なシングルシステムイメージ (一台のサーバ) として認識できるようになります。ユーザはリモートの端末からマスターサーバにログインし、マスターサーバ上で全ての作業を行うことができます。ジョブの実行はジョブスケジューラに対してジョブを投入する形になります。ジョブスケジューラによって各ユーザは相互に隠蔽されるため相互に意識する必要はなくなります。投入されたジョブは予め決められたルールに従って順番が決められ、ジョブにマッチした計算機 (プロセッサコア) が空くと自動的に順序良く投入されます。

　マスターサーバには外付けRAID筺体が接続されています。このRAID筺体には2TBディスクが最大12基搭載できます。RAID6構成にすると約20TBの実効容量を確保できます。ストレージの信頼性を維持するためには定期的なバックアップが欠かせません。HPC分野の場合は通常のIT分野と比較して桁違いのデータが発生します。そのような場合にネットワーク越しのバックアップでは長い時間が掛かってしまいバックアップが非現実的になります。その対策として簡単かつ高速な方法はがあります。それは外付けRAID筺体とRAIDコントローラを新たに一組マスターサーバに追加する方法です。すなわちマスターサーバにのPCI Express2.0 x8スロット上に２枚のRAIDコントローラが搭載されその先に２基の外付けRAID筺体が接続されます。この構成の場合はバックアップによるデータ転送はマスターサーバのPCI Express2.0 x8上で行われるため通信ボトルネックの発生することな高速なバックアップが実現します。　　 　

　マスターサーバ部はUPSによって安定した電源が供給されています。万一の電源事故が発生してもシステムを安全に停止させることができます。

　24Uラックの高さは約1200mmです。通常の研究室などではラックの設置場所の床荷重や地震の際の店頭などを考えると重心の低いラックが適しています。また24Uラックは移動も容易です。

構成例 2
8TFLOPS (16 Fermi)
ブレード筺体2台を24Uラックに搭載した
システム拡張用の構成例

　構成例２は上記のマスターサーバを搭載した構成例１のシステムの演算性能を強化するため、GPGPUクラスタの部分だけを追加するためモジュールです。24Uラックに２台のブレード筺体を搭載し16基のGPGPUを内蔵しています。

　この構成はマスターサーバを搭載していません。マスターサーバは構成例１のシステムに搭載しているマスターサーバを利用することを想定しています。そのためもしファイルのI/Oが多いとファイルサーバボトルネックを引き起こす可能性があります。その際に気をつけるべきことは次の点です。現在のファイルサーバに搭載しているストレージは十分に高速です。さらにファイルサーバに十分な容量のメモリを搭載していると書き込み時にもライトキャッシュとして機能するためさらに性能が向上します。実際のファイルサーバのボトルネックはネットワーク転送の部分で発生します。その対策として10GbEを利用することや、複数の10GbEをポートを利用することをお勧めします。

　もしそれでも帯域幅が不足する場合は技術相談を承っています。ファイルサーバの高速化については複数のファイルサーバを並列動作させる並列ファイルシステムの導入が可能です。この実装を利用するとファイルサーバのI/O速度をスケーラブルに向上させることが可能です。

構成例 3
8TFLOPS (16 Fermi)
ブレード筺体3台とマスターサーバを
42Uラックに搭載した構成例

　右イラストに示した構成例３は上記の構成例１と構成例２を一緒にして42Uラックに搭載したものです。その特徴は設置効率の高さです。僅かな床面積に膨大な演算能力を設置できます。

　この設置効率の高さを裏で支えるものが、ブレード型サーバが備える保守性と信頼性の高さです。ブレード型サーバは全てのモジュールがホットスワップに対応し、大部分の配線がプリント基板上に実装されています。そのためイラストの実装のような高密度実装を行っても、システムの外観は整然としています。ハードウェアの障害が発生しても不具合箇所をカセット式に交換するだけで簡単に復旧します。ブレード型サーバはシステムの規模が大きくなるに従ってその可用性を高めます。

　42Uラック構成の課題は、この構成のように実装密度を高くした場合に、システムの重量や消費電力、発熱量が大きくなることです。そのため床の耐荷重、部屋の電源容量、空調の能力が求められます。

構成例 4
8TFLOPS (16 Fermi)
ブレード筺体4台を42Uラックに搭載した
システム拡張用の構成例

　右のイラストは、42Uラックにブレード型サーバだけを４台搭載し、演算性能の向上に特化したGPGPUクラスタです。その内部には３２台のサーバ、６４個のプロセッサ、２５６個のプロセッサコア、３２基のGPGPU (12 TFLOPS) が実装されています。これは計算センターのサブシステム級の構成です。

　このシステムはマスターサーバを搭載した既存システムに追加して、サブシステムとして利用します。既存のジョブスケジューラの管理下に組み入れるため、利用者は新しいシステムを意識することなく自然に利用できます。

　しかしこれだけの性能を持つシステムを既存機のサブシステムとして追加すると、ファイルサーバへの過負荷が生じます。それを回避するため、例えばネットワークの10GbEへのアップグレードなど、基幹システムの強化対策を施す必要があります。

　さらに将来に目を転ずると、NAS型のファイルサーバの限界が見えます。この１０年間で計算機の性能向上は約１００倍に達しています。この勢いは今後も続くと思われます。これに対してネットワークの性能向上は約１０倍でしかありません。そのためNAS型ファイルサーバの利用は早晩おおきなボトルネックなると考えられます。

HPCクラスタで使用するファイルサーバの性能限界

　過去１０年間、計算機は順調に性能を向上させています。１０年前にリリースされたPentium4の理論性能は約４ギガフロップです。これに対して現在のXeon ２ソケット機の理論性能は１６０ギガフロップスに達しています。さらに近い将来この性能は倍増すると考えられます。約１０年で計算ノードの理論性能は４０倍から８０倍にも向上しています。これに対してネットワーク性能はGbEから10GbEへと約１０倍しか向上していません。しかも10GbEの普及にはまだ時間がかかりそうです。このように計算機とネットワークの間の性能ギャップは大きくなりつつあります。

　計算機が高速化するとファイルサーバとの間のファイル転送量も増えます。その結果、一台のファイルサーバが対応することのできる計算ノードの台数は反比例してゆくことになります。例えば、Pentium4による８０ノードのクラスタをGbE接続のファイルサーバが対応できていたとします。ところがXeon ２ソケット機を用いると８ノードしか対応できなくなります。

　アップリンク側に10GbEを採用することで５倍程度の高速化は可能です。しかし、次世代サーバの登場によってその効果もすぐに打ち消されることでしょう。HPCクラスタで使用されるファイルサーバの性能限界がすぐ近くまで来ています。

並列ファイルサーバの可能性

　計算機の性能向上が並列処理によって実現されたように、ファイルサーバの性能向上も並列処理によって実現できます。クラスタで利用するNAS型ファイルサーバの並列化は簡単です。クラスタに新しいNASを追加し設定を変更するだけの作業で並列化できます。利用の方法もこれまでと同じです。

　NASは簡単に並列化できるにもかかわらず、並列化NASはあまり普及していません。そこにはなにか理由があるのでしょうか。そこで少し調べるとシステムの運用管理の面で次のような課題が潜んでいることがわかりました。

• 並列化NASは、各NASの使用量に偏りが生じる
• 並列化NASは、NAS間のデータ移動に時間が掛かる
• 並列化NASは、バックアップやリストアなどの保守・管理が煩雑
• 並列化NASは、場所が必要、コストも掛かる

　これらを実際に運用しているシステムで行うことは大変そうです。ましてこれらが複合するともっと大変そうです。

　この観点からすると現在主流のDASを用いたNASシステムによる集中型ストレージシステムは、高い性能を持ち、十分な容量を実現し、構造がシンプルなため保守が容易、信頼性が高い、コストパフォーマンスも高い、など非の打ちようがありません。しかしこの素晴らしいシステムの利用に限界が見えてきているということこそが今の課題なのです。

　議論を整理します。すなわち並列化NASは問題ありません。NASに用いられている DAS (Direct Attached Storage (ダイレクト・アタッチド・ストレージ)) の部分に問題が潜んでいるようです。　

DAS型ファイルサーバの課題

　DASを用いたNASとはストレージとホスト機の間をダイレクトに "一対一" 接続したNASのことです。この接続方式ではストレージを複数のサーバで共有できません。そのため並列NASを構築する場合は、ホスト機と同じ台数のストレージが必要になります。

　これらのストレージ同士は相互に切り離されています。そのためストレージ間でデータを転送する場合はNFSサーバを経由したオーバーヘッドの大きな転送になります。しかも一般ユーザが利用するNFSサーバに割り込んで処理を行うため、ユーザにとっては迷惑な話です。これは先に挙げた並列化NSAが普及していない要因と同じものです。

　高性能な並列NASシステムを構築する場合に、この "一対一" 接続が性能低下や、保守性の悪化、コストの上昇などをもたらしていることが理解していただけると思います。

　実はこの問題は大型計算センターにおいては古くから問題になっていました。そこで、この問題を解決するため、一般のユーザが利用するネットワークとは別に、ストレージ専用のネットワークを敷設してサービスの向上を図ることが考えられてきました。すなわち SAN ストレージエリアネットワークです。またその実装のひとつが２０年ほど前に開発された "FiberChanel" です。そして新たな実装が１０年ほど前に開発された "iSCSI" です。

　SANを利用すると、ストレージとホスト機を "多対多" の関係で接続することができます。この "多対多" の接続によって実現できる主なことは次のふたつです。ひとつ目は、一台のストレージ上に複数のディスクボリュームを作成し、それらを複数のサーバにストレージとして提供できることです。ふたつ目は、複数のストレージ間のディスクボリュームをSANを経由して転送できることです。しかもこれらの転送は専用のストレージエリアネットワークを経由して行うため、これまでのDASを用いたNASのように一般のユーザが利用するEthernetに出てゆきませんから迷惑を欠けることもありません。

　計算センターで育まれたストレージエリアネットワークは非常に便利な技術であるため、FiberChanelという実装によって業務システムにおいて広く使われるようになりました。しかしストレージエリアネットワークが普及したといっても、業務用のシステムのため低価格化には限度がありました。そのため大量のストレージを必要とするHPC分野では高嶺の花でした。ストレージエリアネットワークを利用できる場所は大型センターなどに限られていました。

　しかし、マルチコアプロセッサを用いたHPCクラスタの普及によって、どの研究室でも一昔前の大型計算機センター水準のHPCクラスタを独自に設置できるようになっています。それらのシステムではこれまではDADを用いたNASによる単独のファイルサーバでも十分に機能していると考えられます。しかし、さらに計算機性能が向上する今後は、ファイルサーバのボトルネックが発生すると考えられます。

　しかし、ストレージエリアネットワークを導入することでファイルサーバのボトルネックを解消できるとして、コストの障壁があり導入することは容易ではありません。

iSCSIの低価格化

　ここに "iSCSI" (Internet SCSI (アイスカジー)) と呼ばれる新世代のストレージエリアネットワークがあります。iSCSIの特徴を一口で述べると、FiberChanelと同等の機能と性能を備えながら、それよりも安い価格を達成した新世代のストレージエリアネットワークということになります。

　業務用に開発されたハイエンドのiSCSI筺体の価格は、RAIDコントローラと４基のGbEポートを備えたコントローラ装置付きで約１００万円程度です。これが基幹部分の費用であり、あとはディスクの増設費用だけです。サーバに搭載するiSCSI対応オフロードエンジンを搭載したDual-Port GbE NICもポート単価が1万円程度と廉価です。システムのカギとなるGbEスイッチは非常に廉価です。

　このようにiSCSIストレージシステムはDASを用いたNASよりも少し割高です。しかし、後の拡張性まで考えれば同水準と考えることができます。さらに、保守運用の容易さ、信頼性の高さ、万一の障害時の耐障害性の高さなどを総合的に判断すると、すでにコストパフォーマンスでもDASを用いたNASを超えています。

　以上簡単に説明してきましたが、iSCSIを利用した分散NAS型サーバは、ストレージの集約の長所と、分散NASの長所を併せ持った理想的なストレージを、従来のNAS型サーバの価格帯で実現できる優れたソリューションです。