ファイルサーバ/管理サーバのバックアップ用、RAID10サーバのご導入

はじめに

お客様は大学の研究者の方で、バイオインフォマティスクの研究をされています。計算機はセンターのシステムを利用されていますが、利用されるデータベースや計算結果は研究室のファイルサーバに保存されています。ところが現在利用されているファイルサーバは導入されてから時間が経っていることもあり、容量、運用、保守を含めて今後の計画を考えていらっしゃいました。

一般的なファイルサーバの更新について

弊社では、お客様からファイルサーバ更新のご相談を頂くことが増えています。その際に課題となるのが、ファイルサーバ/管理サーバの安全な更新方法です。新しいファイルサーバに一挙に移行できれば良いのですが、現実には運用上のマージンを確保するため時間をかけ、手順に注意しての移行計画が必要です。

新サーバを導入し、既存のサーバからのファイルの定期バックアップを新サーバに行い始める
適当な時期にファイルサーバの運用を、既存のサーバから新サーバに移管する
既存の管理サーバの役割の中から、新サーバに移管できるものは移管する
最後には既存のサーバに残る機能は、新サーバに移行できない機能だけとなる (OSの制約などで)
負荷の低下した既存のサーバを末永く大切に利用する

このようなことを念頭にシステム提案を開始しました。

お客様のファイルサーバ/管理サーバを更新するには

お客様は、ファイルサーバと管理サーバを２台の計算機で個別に運用されています。そのファイルサーバの特殊性としては1、000万個以上の膨大な数のファイルが保存されていることです。この２台のサーバを更新する際のポイントを整理しました。

オンサイトにて機器の設置と導入作業を行う
既存のファイルサーバ上の1000万個以上のファイルを新ファイルサーバへ定期バックアップする
管理サーバの機能を、新ファイルサーバへ移管する
運用上の課題に対するサポートと問題解決を行う
長期間の迅速な当日4時間オンサイト保守と部品供給 (最長５年)

このようにポイントを整理したうえでお客様に、「このような課題をクリアするシステム提案を、魅力的な価格でご提案させていただけないでしょうか」と申し出ました。

ご提案したファイルサーバ/管理サーバ

ファイルサーバ : HPC-ProFileServer DPe2900FS (2way)
CPU : Quad-Core Xeon 1.6GHz (1CPU 4コア)
Memory : 8GB (FD-DIMM 667MHz)
Storage : 2TB (RAID10 + スペアディスク (500GB x9))
RAIDコントローラ : PERC5/i
OS : CenOS
サポート : ３年間の当日4時間オンサイト保守/修理パーツ提供
諸サービス :
オンサイトでの機器設置
定期バックアップの仕組みを設定
運用上の課題に対するサポートと問題解決
デルサポートと協調したWサポート

既存マシンから1260万個のファイルを定期バックアップするパワフルな仕様

システム構築の焦点は、既存ファイルサーバにある1260万個のファイルの定期バックアップ実施です。このバックアップの実現がシステム構築の要となります。上記のシステムはこのような課題に対応するシステムです。

1260万個のファイルを持つファイルサーバの定期バックアップの課題
バックアップ対象のOSやrsyncのバージョンが古いと、rsyncに非常に時間がかかることがある
片方でもサーバのリソースに不足が生じると、メモリのスワップアウトが発生することがある
CPUの処理能力が不足すると処理に長い時間がかかることがある
バックアップの負荷は重いため、古いファイルサーバでは、動作不安定の原因となることがある
対策 ⇒ バックアップの負荷を新ファイルサーバ側で吸収
rsyncに関わる処理は全て新サーバ側で実施する
既存サーバのOS、rsync、CPU、メモリなどのリソースを極力使わない構成にする
新サーバに搭載するコア数を増やす (4コアを搭載)
新サーバに搭載するメモリ容量を増やす (8GBメモリ)
新サーバはCPUとメモリに余力があり、既存サーバが故障してもファイルサーバと管理サーバ機能を引き受けられる

上記のようなシステム構成とサービス内容でご提案をいたしました。

システム構築

お客様が高く評価された点は、既存ファイルサーバからのデータバックアップ作業と技術サポートを含んだサービス提案でした。さらに機器の信頼性や３年間の当日4時間オンサイトサポートなども高く評価していただきました。

初期不良の徹底スクリーニング

完成したシステムレベルでの初期不良対策を徹底的に実氏することは重要です。そこで弊社では、計算機に対してはLinpack HPLを連続動作させ、システムやメモリ周辺の初期不良を可能な限りスクリーニングし、障害の予兆が表面化した部品は早期部品交換により悉く良品と交換します。さらにストレージの場合は、ファイルシステムを構築してからファイルの読み書きテストをLinux OS上から行い、こちらもシステムレベルでのスクリーニングを行い、早期部品交換を行います。このようして社内でシステムの完成度を高めてから出荷します。その結果、システム稼動開始初期の障害を最小化しています。実際には初期不良は皆無に近くなります。

システムの導入とバックアップの実施

社内でシステムを完成させ十分なテストを行い、ファイルサーバとして安定動作を確認し、準備万端でオンサイト作業に臨んでいるため、システムは即座にファイルサーバとしての本格稼動が可能でした。そこで直ちに懸案のバックアップ作業に取り掛かることができました。バックアップを開始するとデータサイズこそ840GBでしたが、ファイル数は1260万個という膨大な数でした。しかし、今回のシステムは、rsyncが行う全処理を4コアと8GBのメモリを搭載する新サーバ側で行うため、既存のファイルサーバに掛ける負荷が最小に抑えられており、安定した作業を実施できました。

管理サーバの移行

新たに導入していただいたサーバにはXeon 1CPU 4コアと8GBメモリという強力なシステムリソースが搭載されており、性能には大きな余裕があります。そこで、管理サーバも併せて移行してしまうことになりました。

運用開始

全ての作業が完了し、無事に運用が開始されました。

さいごに

多くのデータが蓄積され利用が最盛期を迎えたファイルサーバは、他方で導入から時間が経ち、容量、性能、信頼性などで運用の限界に近づいています。特にHPC分野は、計算機の処理性能が加速度的に向上しているため、ファイルサーバへのリソース要求も加速度的に高まります。

しかし、ファイルサーバの更新では、単に最新のサーバを導入すれば課題が自動的に解決するわけではありません。システムの効果的なりようを目論見システムの集約を果たすに従い、ファイルサーバや管理サーバの役割は複雑化し、その移行にも高度なシステムインテグレーション技術が持ちめられるようになっています。

HPCテクノロジーズではこのような高度化するHPCでのシステムインテグレーション課題に対して、高品質なデルのサーバとサポート体制を上手に利用することで、最良のソリューションをご提供しています。

□ 参考リンク:

>> GbE Bonding によるNFSとFTPのロードバランシング
 >> HPC-ProFileServer DPe2900FS

ファイルサーバ/管理サーバのバックアップ用、RAID10サーバのご導入【導入事例】