物理容量41TBのファイルサーバへの4.5TBのDAS増設

はじめに

お客様は大規模な化学計算を行われている研究者の方です。大型計算機を利用されており、そこから出力される膨大な計算結果の保管を目的としてＨＰＣテクノロジーズ製のファイルサーバをご利用していただいております。ファイルサーバの構築法として、最初から大きな容量を導入するのではなく、容量が必要になったら外付けのSAS接続ディスクエンクロージャを逐次追加するスタイルをとられています。

写真でのご紹介

右の写真は先日ディスクエンクロージャを１台追加させて頂いた際に撮影させていただいた最近の状況です。新たに追加された左ラックの最上段に設置されているエンクロージャです。この写真左側のラックの構成をご紹介させていただきますと、ラックの真ん中に1Uサイズの筐体があり、これがサーバ本体です。このサーバの中にSAS RAIDコントローラが搭載されており、SAS接続ポートが２ポート出ています。この２つのポートには合計で６台のディスクエンクロージャが接続でき67.5TB (750GB x15 X6)の物理容量まで接続可能となっています。

過去の増設のご紹介

▼ お客様のこれまでのご導入の過程を別ページにご紹介させていただいております。

１台のサーバに多数のDASを接続する構成の長所と短所

弊社のファイルサーバは、サーバにSAS接続のRAIDコントローラ搭載し、そこにSAS接続の外付けディスクエンクロージャ (DAS) を多数カスケード接続することで、最大物理容量 67.5TBのストレージを容易かつ安全に実現できます。この構成は素晴らしいです。このポイントと新たな課題を整理してみます。

◇ DAS接続のファイルサーバの良い点
⇒ デルのストレージを使うことで品質とサポートを格段に向上させながら低価格を実現
⇒ SAS RAIDコントローラとSASディスクエンクロージャで大量のディスクが搭載可能になった
⇒ SAS接続は高速化 (12Gbps) していて価格も安くなっている
⇒ 上記の構成で内部のI/O速度も非常に高速になった
⇒ ストレージを高速化しても、内部のバックアップなどは高速化している
⇒ Dual-Core Xeon 2/4コアで、サーバの内部処理も高速になった

◇ 新たに顕在化してきた課題
⇒ ストレージが大容量化すると、１つのサーバに (１つのネットワークに) アクセス集中する
⇒ サーバはネットワークの速度でI/O速度が律速される

要するに、安心して利用できる大容量のストレージが廉価に実現されたことで、こんどはより高速なネットワークのが必要性が高くなったということです。

お客様はこの点を理解されて利用されていた

お客様はこの点を良く考えられておられました。お客様に教えていただいたことを整理してみます。

◆ 大容量ファイルサーバの活用方法
⇒ １台のサーバに大容量のストレージを搭載した構成はアーカイバとして便利に利用する
⇒ ディスクベースのアーカイバなのでテープなどと異なり欲しい時にすぐデータを使えて便利
⇒ 容量の追加はディスクエンクロージャだけなので廉価で簡単迅速

実際に大容量のファイルサーバに複数のI/Oを集中させると単一のネットワークポートにアクセスが集中することが主因となり、分散したファイルサーバに分散I/Oを行うよりも、応答が遅くなることが起こっているそうです。ことは尤もなことで、この特性を理解していれば、研究データのアーカイバとしての用途などには適しているとのことでした。

◆ 高速ファイルサーバの構成方法
⇒ 高速ファイルサーバは低価格化する24/48ポートのGbEスイッチの活用がポイント
⇒ 複数のNASをGbEスイッチに接続して用いるとNASの台数分だけネットワークI/O速度が増加する
⇒ この場合もシステム利用は面倒にならない

ストレージ１つに対してネットワークを１つ持つNAS型のファイルサーバではネットワークが分散しているため、１個のネットワークにアクセスが集中する確率が低く、ネットワークの総合帯域が大きくなるので高速に使えるとのことでした。

用途によってストレージの使い分け

お客様の研究室では２種類の異なる構造を持ったストレージをグループ化し、巧みに使い分けているということでした。

こ提案した構成

● ディスク: SATA 7.5krpm 500GB x 9 １台
● RAID構成: 2TB (RAID10 + スペアディスク)

追加導入であるため従来の構成と同じものです。

受注と製造/設定/納入

製造/設定/納入は全て順調に進み、オンサイトでの設置もスムーズに行われました。

低価格化した48ポートのGbEスイッチを前提としてシステム設計

オンサイトで設置にお伺いした際に、またお客様にお話を聞かせていただくことができ、お客様がお考えのシステムの様子をイメージすることができました。そのポイントは以下のようなことだと思いながらメモをまとめました。

⇒ GbEの多ポートスイッチは低価格化しており、この活用がポイント
⇒ マルチコア計算機が主流になると、1CPU機が主流の時代のようにネットワークポートを消費しなくなった
⇒ 多ポートスイッチに計算機やファイルサーバやNASをフラットに接続でき、通信ボトルネックが起こりにくい
⇒ マルチコア計算機のコア数が増えてゆくのでノード内の並列計算が主流になる
⇒ 大規模並列計算でも４～８ノードのInfinBand接続で３２～１２８並列の実行が上限になる
⇒ InfiniBandのネットワークはGbEのネットワークとは別構成になる
⇒ ファイルサーバはGbEの速度が律速するため分散化される
⇒ 並列計算を行うクラスタのジョブのI/OをするNFSサーバはI/O速度を求める
⇒ たまった大量のデータは専用のデータアーカイバに蓄積

物理容量41TBのファイルサーバへの4.5TBのDAS増設【導入事例】