電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
45nm Quad-Core Xeon 2CPU 8コア機によるLS-Dyna用計算機調査
大規モデルに対応したLS-Dyna用計算機の調査
はじめに
お客様はこれまでUNIX並列マシン上でLS-Dynaを利用されてこられました。この計算機のリースアップに伴うリプレースのため新しい計算機の調査をされていました。調査項目は、可能な計算規模、計算速度、計算機構成の幅、信頼性、保守やサポート状況などです。そこで弊社の「HPC計算機テストセンター」を利用してLS-Dynaによる実インプットファイルを用いたベンチマークテストを希望されていました。
お客様のご要望
並列計算方式の検討 (ノード内並列計算 VS ネットワーク並列計算)
LS-Dynaの並列計算方式としては、ノード内並列計算かあるいはネットワーク並列計算の選択が重要です。開発現場ではスケジュール厳守のため高速性と信頼性の両立は必須です。信頼性はノード内並が高く、速度はネットワーク並列が高速です。しかしネットワーク並列は部品点数が多いため信頼性は低下します。そこで、運用方針としてはノード内並列を基本とし、複数マシンで冗長化を実現したうえで、必要に応じてネットワーク並列も利用可能な構成が理想的です。ネットワーク並列では、GbEかInfiniBandの選定も大切です。
LS-Dyna開発元が指定するシステムの構築
商用アプリケーションを利用する場合には、アプリケーション開発会社が指定する動作環境を忠実に選択し構築する必要があります。指定された環境と異なる環境で利用していると、万一不具合を起こした場合には適切なサポートが受けられない場合があります。この作業をユーザ側が完全に行うには手間とコストが掛かります。そのため業者の側で適切に構築したシステムを納入してもらすことが基本となります。導入の事前調査では、この点の確認も必要とのことでした。
テストジョブによる正常動作の確認
システムが適切に構築されているか否かを最終的に確認するためには、LS-Dynaをインストールした後、規定のテストジョブを動作させ、正常終了を確認する必要があります。さらに、最大規模の計算を実行させその挙動を確認することも大切です。
実用的なシステム構築
コンピュータを動作させている限りは、何らかの不具合が発生することがあります。このような不測の事態に至っても、業務を継続できる仕組みを実現したシステム設計が求められます。この点についての提案と設計についての動作と実績の確認も重視されていました。
管理サーバ
複数の計算機が稼動するHPC計算機システムでは、計算ノードのみならず、管理サーバの品質も重要なポイントです。
システムの完成度の確認
計算機の事前確認では性能だけでなく、システムの完成度のチェックも重要です。「HPC計算機センター」には実際に納入する水準のシステムを設置していますから、システムのチェックも可能です。さらに、製造途中の多くのシステムも目にすることが可能であり、これらも参考にして頂けます。
ハードウェアの品質確認
製品開発などの業務用途の計算機では、価格の安さは大切ですが、それ以上に大切なポイントとして、計算機の品質や信頼性、保守水準などの高さを挙げることができます。これらはカタログやWEBだけでは判別しにくい面があります。実際に直接見たり触ったりすると多くのことが判ります。この確認も大切です。
保守サービスと部品保証
次のリースアップまでの長い期間、安定して動作することが求められるHPC計算機では、保守サービス体制と部品保証体制の充実は重要ポイントです。
ご来社されてのテスト
実機によるLS-Dynaでの大規模計算の動作確認
「HPC計算機センター」にてテスト用にご用意した環境は、Quad-Core 45nm Xeon 2CPU 8コアと、48GBのメモリを搭載した計算機です。この計算機上にご指定のRedHat OSをインストールし、さらにLS-Dynaもインストールし、予め規定のテスト計算を完了させて準備万端に整えました。そのためすぐに、お客様がお持ちになられたLS-Dynaの大規模解析テスト用のインプットファイルで試し計算を動作させることに成功しました。計算は大きなメモリを使いながら無事に動作しました。さらに2CPU 8コア計算機で並列処理を行い、計算機の特性の理解も感触が得られたとのことでした。
TopCrunchの公開結果を参考にした並列計算手法の検討
LS-Dynaを利用する場合、ノード内並列で利用するか、あるいはネットワーク並列で利用するかの選択は、計算機選定だけでなくライセンスにも関わり重要です。この選択に際して、LS-Dynaでは「TopCrunch project」という充実したベンチマークテストがネットワーク上に公開されています。この結果を検討を、実機によるベンチマークテストと併せて行うことで、合理的なシステム選定が可能となります。お客様はもちろんTopCrunchも参考にされているとのことでした。そこで、このベンチマークテスト "neon_refined_revised" でのポイントを抜書きしました。
Dual-Core Xeon 3.4GHz 1node 2CPU 4並列 → 2071秒 (素晴らしい)
Quad-Core Xeon 3.0GHz 1node 2CPU 8並列 → 1462秒 (性能の飽和がみられる)
⇒ ノード内並列計算は、信頼性は高い、価格は低い、4並列でも高速
Dual-Core Xeon 3.4GHz 2CPU 2node InfiniBand 8並列 → 1091秒 (リニアに性能向上)
Dual-Core Xeon 3.4GHz 2CPU 4node InfiniBand 16並列 → 631秒 (引き続き高性能)
⇒ InfiniBandネットワーク並列機は、信頼性は普通、価格は高い、16並列でも高速
Dual-Core Xeon 1CPU 4node GbE 8並列 → 約1400秒 (Xeon SMP 2CPU 8コアと同水準の性能)
Core 2 Duo 3.0GHz 1CPU 8node GbE 16並列 → 1039秒 (通信性能飽和)
⇒ GbEネットワークは、信頼性は普通、価格は低い、GbEネットワークのメリットは少ない
※GbE接続のベンチマークは1way機のためノード数が多さが通信飽和の要因である事に注意。
これらの情報を元にお客様の導き出された方針
SMP機は十分に高速
最良のSMP機を選択
無停止構成を検討
利用環境の高品質化
実機の確認、技術担当者との情報交換
実際にご来社され、高品質なDellの計算機をベースにしたクラスタを直接に見ていただくことができました。
現場で活躍している弊社技術スタッフから計算機利用の実際の様子をお伝えさせていただくことがてきました。
製品品質やサポート品質についてお客様にその実態を説明し、ご納得し、安心してていただくことができました。
高速ワークステーションの提案 (速度、容量、信頼性の同時実現)
お客様と議論を重ねシステム設計が完成しました。システムの構成は、計算機部と管理サーバ部で構成されています。計算機部は2CPU 4コアのサーバ２台で構成し、プロセッサはFSB1600MHzタイプ、メモリは高速大容量なDDR2 800MHz FB-DIMMを64GB搭載してまいす。筐体は高速CPUと大容量メモリを搭載するため電源容量と冷却性能に余裕がある大型ワークステーションを採用しました。
大容量キャッシュに魅力
お客様と議論を重ね、Quad-Core Xeonを2コアで利用する際にコア毎のキャッシュ容量が12MBに増えることを考え、当初のDual-Core XeonからQuad-Core Xeonに変更し、2コアのみを利用する方針へと変更しました。
堅牢な管理サーバの提案
管理サーバ部は、信頼性重視のタワー型サーバ機を採用しています。サーバ計算機は信頼性を実現するため、ハードウェアによるシステム監視機能を搭載し、さらに障害の自己診断プログラムや、それらと連動するシステムの総合管理ツールを備え、高い信頼性と保守性を持っています。
そのうえで、管理サーバ部を計算機部から独立させることで、システム負荷が分散とシステムの冗長化が達成され、万一の障害に対する耐性が向上しています。管理サーバ部で引き受ける機能としては、ファイルサーバのみならず、ジョブの自動スケジューリング、LS-Dynaのライセンス管理、ユーザ情報の管理などがあります。これらを動作が安定した管理サーバの側で集中管理するため、HPC計算機側の１台が故障しても影響を局所化することが可能で、縮退運転できるので機能は停止にはなりません。
管理サーバ部 : タワー型サーバ1台構成
System : HPC-ProServer DPeT300
ストレージ : 1TB H/W RAID1
CPU : Qual Core Xeon 1CPU
Memory : 4GB管理サーバ用
LS-Dynaライセンスサーバ
ジョブ管理システムLSFホスト機能
ログインサーバLS-Dyna大規模HPC計算機 : ワークステーション計算機 2台で構成
System : HPC-ProServer DPrT7400
CPU : FSB1600MHz Quad-Core Xeon 2CPU 8コア
Memory : DDR2 FB-DIMM 800MHz 64GB
OS : RedHat Linux提供されるサービスなど
システム構築サービス
(OSセットアップ、ネットワークセットアップ、アプリケーションセットアップ)
オンサイト設置サービスその他
GbEスイッチ/ケーブル類付属
保守サービスと部品保証
次のリースアップまでの長い期間、安定して動作することが求められるHPC計算機では、保守サービス体制と部品保証体制の充実は重要ポイントです。弊社が採用するDell製品は、ハードウェアの品質が高いだけではありません。HPCに精通した弊社が窓口を努め、Dell側の指令センターと連携しながら、全国展開する保守サービス部隊と、要所に展開する部品倉庫+部品急送部隊が有機的に連携し、責任を持って迅速なシステム復旧を実現します。
無償サポート
３年間の当日/翌日対応オンサイト保守サービス
３年間の部品保証サービス
３年間の技術相談サービス
まとめ
実用的なシステムの設計は、ベンマチークや調査などに基づきダメを拾って行く地道な作業です。