STAR-CDによる1,000万メッシュ以上の計算の高速並列処理

はじめに

お客様は高度技術製品の研究開発を中心に行われている企業の研究グループ様です。研究開発では大規模な流体計算も行なわれており、流体計算の商用ソフトウェアであるSTAR-CDは以前から使用されているそうです。さらに1,000万メッシュ以上の流体計算を日常的に実行されているとのことでした。そして、さらに高精度の計算を行なうべくメッシュの数を増やした計算を目指されているとのことでした。

ところが既存の計算機では、さらに大きな計算を実行するために大きなメッシュを切ってゆくと、CPUパワー不足で計算に長い時間が掛かったり、メモリ容量が不足して計算が出来なかったりするそうです。また、既存の計算機には不具合もあるとのことでした。さらに大きな騒音にも困られていました。そのため、新しい計算機システムの導入を考えられていました。そこで弊社にもお客様のご要望を満たすようなシステムをご提案するチャンスを与えていただきました。

お客様のご要望

お客様のご要望は以下のような内容でした。

◇ プリポス機と演算機を別に構成すること
◇ プリポス機には64GBメモリが必要
◇ プリポス機には高速グラフィックスが必要
◇ 現在は4CPU機なので、STAR-CDを倍の8コアで性能が出る構成
◇ 計算機はDual-Core Xeon 3.0GHz 2node 4CPU 8コア並列機
◇ 計算機のメモリは各ノード32GBでトータル64GB必要
◇ 現在のマシンは騒音に辟易しているので、静かな計算機
◇ 導入して直ぐにSTAR-CDの並列計算が動くようにする
◇ ソフトベンダーと協力してプリインストールとテストを行なってから納入してほしい
◇ ネットワークやOSの設定をビシッとしてから納入すること
◇ ジョブスケジューラの導入と設定は必須
◇ 安定稼動する計算機を納入すること
◇ 納期を守ってきちんと納められること
◇ ３年間の迅速なオンサイト保守は必須
◇ サポートは責任を持って一次受けを行なってほしい

このご要望に沿って以下のようなシステムをご提案

ご提案したSTAR-CD用計算機システムは次の内容のシステムです。

● 管理ノード兼プリポス用の計算機
お客様の既設の計算機は動作音が非常に大きく辟易されているということを伺いましたので、動作音の少ないワークステーションタイプのDPr690を候補としました。DPr690はメインメモリを64GB搭載できるため、大きなメモリを必要とするプリポスのPro-STAR専用機としても適しており、1,000万メッシュ以上のモデルを作成できるようになります。さらに、DPr690シリーズに標準搭載のグラフィックカードはNVIDIA Quadroシリーズなので、プリポストでのOpenGLによる描画も軽快な動作が期待できます。

管理ノード兼プリポス用ノード: DPr690
CPU: Quad-Core Xeon 2.66GHz 1CPU 4コア
メモリ: 64GB (4GB FB-DIMM 667MHz x16)
ディスク: 250GB (２重化)
OS: RedHat EL4
グラフィック: NVIDIA Quadro NVS285

● ソルバー専用の計算機
お客様が所有されているSTAR-CD (STAR-HPC) のライセンスは8並列が可能なものです。このSTAR-CD (STAR-HPC) の8並列ライセンスを最大限利用可能として、高い性能を実現できるような構成を考えました。計算速度を実現するため、クロック速度が3.0GHzのDual-Core Xeon 2CPU 4Cコア搭載の計算機２台によるネットワーク並列機の構成としました。さらにメモリサイズは各計算機に32GB搭載し、合計で64GB使用できるようになっています。メモリ容量だけを見れば数千万メッシュのモデルを実行しても十分な仕様となっています。

ソルバー専用ノード: DPr690 2台
CPU: Dual-Core Xeon 3.0GHz 2Node 4CPU 8コア
メモリ: 32GB + 32GB (2GB FB-DIMM 667MHz x16 x2)
ディスク: 250GB (２重化)
OS: RedHat EL4
ネットワーク: ギガビットイーサネット

● 計算機の導入
また、計算機の導入に際してお客様はSTAR-CDのセットアップから、バージョンの切り替えなどの作業は事前に済ませたシステムの導入を希望されており、導入時は使用方法のご説明やご質問にお答えするなどのお客様にとって有意義な時間に充てたいと考えられていました。さらに、ＨＰＣテクノロジーズのオンサイトセットアップと同じ日に、CDAJのエンジニアスタッフによるセットアップから動作確認、細かい操作説明なども依頼されました。また、導入後の充実したサポートにも対応できる提案としました。

サポート: ３年間の当日オンサイト保守、３年間の部品保証、３年間の障害一次受け付け
アプリケーション: 弊社工場にてプレインストール
オンサイトサービス: オンサイトでの動作確認と導入説明

このうよなご提案を行なったところ、快くご発注をしていただくことができました。

導入

ＨＰＣテクノロジーズの工場にてシステムとして完成させてから搬入を行ないました。オンサイトでのセットアップ作業でＨＰＣテクノロジーズのエンジニアスタッフがクラスタシステムの開梱から設置、動作確認を午前中に行いました。午後になるとすぐにCDAJのエンジニアスタッフがSTAR-CDのセットアップ、STAR-CDの２つのバージョンのインストールと切り替えの仕組み、動作確認などを行いました。その後に　ＨＰＣテクノロジーズのエンジニアがLSFからのSTAR-CDのソルバーの実行と、ジョブスケジューリングができることまでの確認を行いました。

ＨＰＣテクノロジーズの説明が終わると、次にCDAJのエンジニアがSTAR-CDがプリポス、ソルバー、コンパイラ、ユーザーサブルーチン、並列動作、バージョンの切り替えができることの説明を行い、プリポスの使用方法などの細かい操作方法のレクチャを行いました。

その後再び、ＨＰＣテクノロジーズのスタッフがシステムの運用管理、メンテナンス、STAR-CDのLSFによるジョブ管理の利用方法のレクチャを行いました。

予めシステムを完成させての導入であったため、オンサイトでは手際の良い作業ができました。

お客様のご感想

オンサイトセットアップを行った後にお客様から次のようなご感想を頂きました。

◇ 新しいCPUにしたので、既存計算機システムからの性能向上を期待している
◇ メモリサイズを非常に大きくしたので、1,000万メッシュ以上の精度の高い計算を行う
◇ メッシュ数は大きければ大きいほど精度の高い計算ができるが、その反面、計算時間が指数関数的に増大するので、メッシュ数をバランスも探りたい
◇ ソルバーの実行はメッシュ数が大きいので計算時間が長くなるが、パラメータやモデルを変更した複数のジョブがあっても、それらをジョブ投入するだけで、LSFがスケジューリングして順次実行されていくので、計算機資源の有効活用ができ大変便利だ
◇ STAR-CDのセットアップとHPCクラスタのセットアップに関して、同じ日に双方のエンジニアがオンサイト作業で対応してもらったため、STAR-CDのセットアップに伴うクラスタシステムへのマッチングに関しても、ＨＰＣテクノロジーズのエンジニアのサイドで吸収して対応してもらえたため、即日稼動が可能であったので助かった

STAR-CDによる1,000万メッシュ以上の計算の高速並列処理【導入事例】

はじめに

お客様のご要望

このご要望に沿って以下のようなシステムをご提案

導入

お客様のご感想