ファイルサーバの機能強化

ファイルサーバについての導入後の機能強化を考えてみます。ファイルサーバは利用状況によっては、空き容量が予想以上に減っていたり、機能を向上させる必要性を感じられることがあると思います。このような場合はファイルサーバの機能強化を検討されてはいかがでしょうか。コンピュータは技術革新が速いので、これまで技術的あるいは費用的に難しかったことも、ある日突然出来るようになっていることがあります。

(1) ファイルサーバの容量拡張

ファイルサーバの容量不足

HPC計算では取り扱うデータ量が予想以上に増えてしまい、ファイルサーバの空き容量が驚くほど減少していることがあります。ファイルサーバの空き容量が少なくなるとシステムが不安定になることもあります。このような場合は容量の追加をおすすめします。

容量拡張のポイント

ファイルサーバの容量拡張で気をつけるポイントはデータの取り扱いです。HPC計算機はシステム全体のファイルシステムがファイルサーバからNFS経由で共有され、一貫したデータ利用と一元化されたファイル管理により、HPCクラスタのシングルシステムイメージが実現され、簡単な操作でHPCクラスタを自在に利用できるようになっています。このように便利に利用できるHPCクラスタ程、その背後では緻密なシステム設定がなされています。ファイルサーバの容量拡張でもこの点に留意する必要があります。

/home の取り扱い

ファイルサーバの容量拡張は/homeの扱いがカギとなります。この扱いは二通りあり、基本的には/homeのサイズが2TB以下か以上かで対応が分かれます。2TB以下であれば容量不足となった/homeを大きくすることで解決できます。しかし2TBを超えてしまいそうでなら/homeはそのままにして、新たに/home1を追加する方法を選択することになります。

/home の容量を拡大 (小型クラスタ向き)

容量が2TBまでなら/homeの拡張でも大丈夫です。しかし/homeを拡張するにはデータを一旦バックアップしてからRAIDを解体し、そこに新しいディスクを追加して大きな/homeを再構築し、そこにバツクアップしておいたデータをリストアし、利用を再開する一連の作業を必要とします。この作業は大変ですが、システム設定は変更する必要がありません。なお、/homeの容量は2TBが上限のため注意が必要です。

/home, /home1, /home2と分割して運用 (大規模クラスタ向き)

/homeはそのままにしておき、別に新たな/home1を作成し、/homeと/home1を合わせて利用する方法です。新しい利用者は/home1を利用したりするなど、運用を工夫して利用します。このように/homeを追加してゆくやり方では、それまで使用していた領域は継続して使用するためデータの移行作業を必要としません。また/homeは何個でも作成できますから容量の上限がありません。RAIDのボリュームサイズの実際的な上限は2TBですから、大規模なシステムでは最初から複数の/homeを分割利用する方法が基本となります。

利用しないデータや利用者不在のデータを "/home1" に移動 (小中規模クラスタ向き)

/homeは不足の対策として/home1を新規追加、利用しないデータや不在者のデータを/home1に移動し、/homeに空きを作るようにします。各自の/homeの容量管理は自分で行ってもらうようにします。システム設定は変更する必要がありません。これは/homeのサイズが2TB以下で、使わなくなったデータはアーカイブしても運用に支障が無いようなHPC計算機に適しています。小中型クラスタの多くはこのような運用でも十分に対応が可能だと考えられます。

ファイルサーバの容量拡張の実際

それでは具体的な容量の増設をみてゆきます。弊社のファイルサーバの多くは内蔵ディスクや外付けディスクエンクロージャの追加が可能です。これらを用いて以下のように増設します。

空いているディスクベイにハードディスクだけを追加

導入済みサーバや外付けディスクエンクロージャでの空いているディスクベイにハードディスクだけを追加して容量を拡張します。直接のコストは低いですが、容量拡張の余地は小さいです。注意点としては、同じRAIDコントローラに接続するため追加するHDDは容量や回転数、種類が同じ製品を追加しなければなりません。

Type1: RAIDアレイの再構築 (/homeの拡張)
運用中のRAIDアレイを壊し追加ディスクを組み込んだ大容量のRAIDアレイを新たに作成します。この場合は既存のRAIDアレイのデータをバックアップしてから作業を行い、最後にデータをリストアする必要があります。

・データ量によってはバックアップは一日では終わらない場合がある
・ RAIDの初期化も一晩程度が目安
・リストアにも時間がかかる
・ /homeはそのままなので運用方法や各種設定は変更しない
・既設のハードディスクに規格を合わせなければならない
・容量の上限は2TBまで

Type2: 追加したHDDで新たなRAIDアレイを構築 (/home1の追加)
運用中の/homeを搭載するRAIDアレイは活かしておいて、追加ディスクにより別のRAIDアレイを新規作成します。バックアップは必須ではありません。コストは比較的安価です。

・ RAIDの初期化は一晩程度が目安
・ /home + /home1となるので運用方法や各種設定に変更が必要
・既設のハードディスクに規格を合わせなければならない
・容量の上限が少ない、さらに拡張する場合は外付け筐体などの利用にも発展しやすい

ディスクエンクロージャの追加 (最大容量15TB x12)

外付けディスクエンクロージャはディジーチェーン接続によってディスクエンクロージャそのものの追加接続が可能です。注意点としては、追加するHDDは容量や回転数、種類が同じ製品を追加しなければなりません。さらに、ディスクエンクロージャのディジーチェーン接続は3台までに制限されています。この制限を超える場合には、サーバ機に搭載しているRAIDコントローラPERC6/EのSASポートに空があれば、そのSASポートに新たに3台まで追加接続することもできます。RAIDコントローラPERC6/EのSASポートが2ポートとも使用済みであったり、I/O性能や信頼性の向上を希望される場合には、RAIDコントローラPERC6/Eとディスクエンクロージャの追加が可能です。オンサイトでRAIDアレイの構築・設定作業が必要となり、この作業は翌日までかかることがあります。

・運用中の/homeを搭載するRAIDアレイは存続させることができる
・ /home + /home1となるので運用方法や各種設定に変更が必要
・既存のRAIDコントローラに接続する場合は既設のハードディスク規格と合わせる必要がある
・ RAIDコントローラも新設する場合には、ハードディスクの選択に制約はない
・ RAIDの初期化は一晩程度が目安
・容量の上限が少なく最大で180TBまで拡張が可能

新たなファイルサーバの追加

既存のファイルサーバに新たなファイルサーバを追加し2台のファイルサーバで運用する方法もあります。この方法のメリットは機器構成の自由度が高いことです。また、最新の機器をできるためシステム全体の性能向上も実現します。ファイルサーバのセットアップ作業は弊社社内で完成させてから納入するためオンサイトでのRAID構築は必要ありません。しかしクライアント側では設定作業が発生します。また、設置スペースや電源なども余分に必要です。この方法はバックアップサーバの増設と併せて行うこと効果的です。２台のファイルサーバを時期をずらして交互に更新しながら、容量の拡張、バックアップの実現、性能の向上を連続的に実現することができます。このような運用をされる場合には、別途管理サーバを設けておくことでスムーズな運用が実現します。

(2) バックアップ環境の導入

データの安全性を高めるバックアップ環境

計算機のデータ保管は自己責任だとしても、データが急増するHPCでは個人レベルでのテープや光磁気メディア、リムーバブル・ハードディスクなどへのバックアップには容量や速度などに限界があります。現状ではデータ管理の最後の砦は手元のHPC計算機のファイルサーバに頼らなければなりません。そこで手元のファイルサーバの安全運用を達成するバックアップ環境の導入をお勧めします。バックアップ環境を用いて定期的な差分バックアップを行えば、障害により消失したりヒューマンエラーなどでの削除や更新してしまったデータの復元が可能となります。

バックアップのメリット

障害により消失したりヒューマンエラーなどでの削除や更新してしまったデータの復元が可能

rsyncによる差分バックアップ

Linuxのrsyncコマンドによるバックアップは実績があり信頼されており処理も高速です。rsyncによるバックアップはLinux機で共通であり安心です。ドキュメントもネットワーク上に豊富に公開されています。

高速なバックアップサーバを導入

バックアップ処理の負荷は決して低くはありません。そのため高性能なサーバの導入を考えてください。また、ネットワークやRAID構造も負荷を意識した仕組みを導入してください。

ディスクバックアップならデータを直ぐに利用できる

テープや磁気メディアによるデータのフルリストアは、状況によっては非常に手間がかかったり、完全な復旧が難しい場合があります。その点でバックアップサーバによるディスクバックアップはそのままでもデータを利用できるので安全でかつ現実的です。

バックアップ環境の導入の実際

弊社のファイルサーバの多くは内蔵ディスクや外付けディスクエンクロージャの追加が可能です。具体的には以下のようなバックアップサーバの導入が可能です。

空のディスクベイにHDDを追加しバックアップ用として利用

導入済みサーバや外付けディスクエンクロージャの空のディスクベイにHDDを追加します。コストは低めですが、容量の拡張余地は小さいです。注意点としては、同じRAIDコントローラに接続するため追加するHDDは容量や回転数、種類が同じ製品を追加しなければなりません。さらにオンサイトでRAIDアレイの構築・設定作業が必要となり、この作業は翌日までかかることがあります。

ディスクエンクロージャの追加

外付けディスクエンクロージャはディジーチェーン接続によってディスクエンクロージャそのものの追加接続が可能です。注意点としては、追加するHDDは容量や回転数、種類が同じ製品を追加しなければなりません。さらに、ディスクエンクロージャのディジーチェーン接続は3台までに制限されています。この制限を超える場合には、サーバ機に搭載しているRAIDコントローラPERC6/EのSASポートに空があれば、そのSASポートに新たに3台まで追加接続することもできます。RAIDコントローラPERC6/EのSASポートが2ポートとも使用済みであったり、I/O性能や信頼性の向上を希望される場合には、RAIDコントローラPERC6/Eとディスクエンクロージャの追加が可能です。オンサイトでRAIDアレイの構築・設定作業が必要となり、この作業は翌日までかかることがあります。

新たなバックアップサーバの導入

既存のファイルサーバに新たなファイルサーバをバックアップ用として追加する運用方法もあります。メリットはディスクの増設と比較して、機器構成の自由度が高くなり、予算に応じて多彩な機器構成が選べます。また、バックアツプサーバのセットアップ作業は、予め弊社社内で完成させてから納入するためオンサイトでのRAID構築は行いません。運用上のメリットとしては、バックアップサーバに最新の機器を用いておいて、動作が安定期に到達した段階で、メインのサーバとバックアップサーバを交代させは、スムーズな世代交代が実現できます。さらに、ファイル数が多いサーバなどの負荷が高いバックアップ処理に際しては、バックアップ処理をバックアツプサーバ側で実行することで、ファイルサーバ側の処理負担を低減させることができます。