電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
HPC-ProServer DPeR900
Xeon 4way、2/4/6コアCPU、24core構成の大並列HPCサーバ
45nmプロセス採用の高性能Xeon MP採用
最大16MBの共有L3キャッシュ搭載
CPU毎に独立したFSB1066MHzを採用
DDR2 667MHz x4 (32GB/s)の高速メモリシステム搭載
256GBの大容量メモリ搭載 (8GB-DIMM x32)
実績Linux (CentOS) 搭載、LSF搭載、システムセットアップ、管理ツール搭載
3年間保守を無償実施
(当日4時間オンサイト部品交換 + 技術相談/運用支援) (最長5年まで延長可)
24コア、256GBメモリ搭載、高速・大容量HPCサーバ
大型UNIX並列計算機を代替する本格的HPCサーバ
大型UNIX並列計算機は使い勝手が良く、PCクラスタ全盛の現在でも評価は下がっていません。この大型UNIX計算機の長所と、Linux計算機の利点を兼ね備えた本格的HPCサーバが「HPC-ProServer DPeR900」です。
・ 最大24コアを搭載したSMP計算機
・ 最大256GBのフラットなメモリ空間
・ 完成度の高い64bit Linux環境
・ 充実したIntel 64bit開発環境
・ 洗練された自動負荷分散ソフトウェア搭載
・ 高度なシステムインテグレーション提供、技術・運用サポート実施
・ 当日４時間オンサイト保守の実施 (部品先出、障害オンサイト切分け)
Xeon 7200/7300/7400番台プロセッサの特徴
「HPC-ProServerDPeR900」には2/4基の4way用Xeonプロセッサを搭載できます。搭載するプロセッサはDual-Core Xeon 7200番台、Quad-Core Xeon 7300番台、Quad/Hexa-Core Xeon 7400番台があります。これらのプロセッサを用いることで最大24スレッド処理が可能です。Xeon 7400番台プロセッサには新たに大容量の共有L3キャッシュが搭載されるようになり、大規模並列処理でのメモリI/Oボトルネックの軽減に期待されています。
メモリ性能/容量とコストを両立する「Intel 7300 Chipset」
最大24並列をも実現する「HPC-ProServerDPeR900」では高速なデータ入出力が求められます。これまでの大規模並列機が高価だった理由は高速大容量のメモリシステムにコストが必要だったからでもあります。「HPC-ProServer DPeR900」は高密度接続を可能とするFB-DIMMを採用した「Intel 7300 Chipset」を利用することで性能とコストの両立を実現しています。
・ CPUは独立した4本のFSBで接続
・ FSBは1033MHz動作し8.5GB/s帯域を持つ
・ 4チャンネル接続のFSBにて総合帯域は34GB/s
・ 大容量のL3共有キャッシュを搭載
・ 独立した4本のチャネルでメモリと接続
・ 各チャネルの帯域は8GB/s
・ 総合帯域は32GB/s
・ DDR2 667MHz 8GB FB-DIMMをサポート
・ 最大256GBのメモリ容量を実現
品質とサポートに優れた大メーカー製の計算機と弊社のHPC技術サポート
多くのコア数と大容量メモリを搭載する主力計算機の障害は仕事に大きな影を落とします。そのため主力計算機こそは、品質が高く充実したサポートを持つ大手メーカー製のハードが望まれます。そこで弊社は、品質が高く良いサポートを持つデル製の計算機を採用し、そこに弊社の高度なHPC技術にシステムインテグレーションと技術サポートを行い、満足度の高い製品を提供しています。
大手メーカー製の計算機は、開発段階から始まる厳しいバリデーションテストに続き、生産段階での品質管理、そして弊社工場での幾重にもわたる検査により、完成度の高いシステムを製造し納入しています。さらに、納入後は３年間無償の当日４時間オンサイト保守と修理部品保証、技術・運用支援などを実施しています。
SPECfpで判断するDPeR900に適した分野
DPeR900の長所は搭載コア数の多さです。これを活かせると良いわけですが、逆に高い並列度がメモリボトルネックを誘発する場合もあるため用途の選択には注意が必要です。いくら並列計算が高速でも、メモリI/Oが追従できなければCPUは失速します。このような傾向の調査にSPEC CFP2006は役立ちます。使い方のポイントは、単一スレッド処理での経過時間を計測しているSPECfpと、最大ジョブ数での並行処理の経過時間を計測するSPECfp rateの双方の結果をアプリケーション毎に比較すると個々のアプリケーションのDPeR900への適性が判明します。CPU処理が重くメモリI/Oが軽い計算にはR900は適しています。これは量子化学計算のgamess、MD計算のgromacs、namd、可視化のpovray、構造解析のcalculixなどです。24ジョブを同時実行させても速度の低下は僅かで高いスループットを発揮しています。これに対して、CPU側の処理が軽くメモリI/Oが重い計算にはDPeR900は適していません。これは流体計算のbwaves、leslie3d、lbm、wrf、電磁界解析のGemsFDTDなどです。複数ジョブを同時実行させると、メモリ競合が発生しているようでスループットが向上しません。以上は一般論ですが、実際の測定結果をみると同じ計算分野でも特性は大きく異なっています。その様子を詳しく把握するために以下に表を掲載しました。
(資料) ２４コア搭載機での１ジョブ処理と２４ジョブ処理の場合の経過時間の比率
| CPU番号 | X7460 | |||
| CPUクロック(GHz) | 2.66GHz | |||
| CPU数 | 4CPU | |||
| コア数/CPU | 6-core/CPU | |||
| コア数/システム | 24-core | |||
| 測定内容 | 経過時間 (秒) | 経過時間の比 | ||
| SPEC種類 | SPECfp | SPECfp-rate | SPECfp | SPECfp-rate |
| 計算種類/ジョブ投入数 | 1-job | 24-job | 1-job | 24-job |
| bwaves: (Fortran) Computational Fluid Dynamics |
287 | 5198 | 1 | 18.1 |
| gamess: (Fortran) Quantum chemical computations | 1117 | 989 | 1 | 0.9 |
| milc: (C) Physics/Quantum Chromodynamics | 808 | 3172 | 1 | 3.9 |
| zeusmp: (Fortran) Physics/Magnetohydrodynamics | 495 | 1579 | 1 | 3.2 |
| gromacs: (Fortran and C) Chemistry/Molecular Dynamics | 404 | 463 | 1 | 1.1 |
| cactusADM: (Fortran and C) Physics/General Relativity | 73 | 1927 | 1 | 26.4 |
| leslie3d: (Fortran) Computational Fluid Dynamics | 608 | 4072 | 1 | 6.7 |
| namd: (C++) Classical Molecular Dynamics Simulation | 553 | 563 | 1 | 1.0 |
| dealII: (C++) Adaptive Finite Element Method | 481 | 1096 | 1 | 2.3 |
| soplex: (C++) Simplex Linear Program (LP) Solver | 703 | 2899 | 1 | 4.1 |
| povray: (C++) Computer Visualization | 243 | 242 | 1 | 1.0 |
| calculix: (Fortran and C) Structural Mechanics | 423 | 537 | 1 | 1.3 |
| GemsFDTD: (Fortran) Computational Electromagnetics | 413 | 5147 | 1 | 12.5 |
| tonto: (Fortran) Quantum Crystallography | 694 | 1171 | 1 | 1.7 |
| lbm: (C) Computational Fluid Dynmaics | 441 | 8812 | 1 | 20.0 |
| wrf: (Fortran and C) Weather Forecasting | 643 | 2859 | 1 | 4.4 |
| sphinx3: (C) Speech Recognition | 744 | 4163 | 1 | 5.6 |
注) 平行処理での評価であり、並列処理での前処理/後処理/通信処理のオーバーヘッドは含まれていません。
(参考) 製能と技術のページにSPEC CFP2006から必要箇所を抜粋しています。
SPECfpによるアプリ別、Xeon 16コアとOpteron 16コアの比較
1wayや2way機ではXeonないしXeonクラスタはOpteronに対して優位な場合が多いです。ところが4way機になると現行のXeonではメモリボトルネックの影響を受けやすいアプリケーションに関してはOpteronが優位になっています。下の表では、gamess、gromacs、namd、dealII、povrayはOpteronよりも高速ですが、それ以外ではOpteronが優れています。しかしだからといってOpteronが圧倒的に高速なわけでもありません。
| CPU | Xeon | Opteron | Xeon | Opteron |
| CPU番号 | X7350 | 8360SE | X7350 | 8360SE |
| CPUクロック(GHz) | 2.93GHz | 2.5GHz | 2.93GHz | 2.5GHz |
| CPU数 | 4 | 4 | 4 | 4 |
| コア数/CPU | 4 | 4 | 4 | 4 |
| コア数/システム | 16 | 16 | 16 | 16 |
| 測定内容 | 経過時間 (秒) | 経過時間の比 | ||
| 計算種類/ジョブ投入数 | 16-job | 16-job | 16-job | 16-job |
| bwaves: (Fortran) Computational Fluid Dynamics |
4009 | 1849 | 1 | 2.2 |
| gamess: (Fortran) Quantum chemical computations | 952 | 1279 | 1 | 0.7 |
| milc: (C) Physics/Quantum Chromodynamics | 3109 | 1404 | 1 | 2.2 |
| zeusmp: (Fortran) Physics/Magnetohydrodynamics | 1291 | 858 | 1 | 1.5 |
| gromacs: (Fortran and C) Chemistry/Molecular Dynamics | 421 | 619 | 1 | 0.7 |
| cactusADM: (Fortran and C) Physics/General Relativity | 1577 | 1134 | 1 | 1.4 |
| leslie3d: (Fortran) Computational Fluid Dynamics | 3747 | 1697 | 1 | 2.2 |
| namd: (C++) Classical Molecular Dynamics Simulation | 525 | 698 | 1 | 0.8 |
| dealII: (C++) Adaptive Finite Element Method | 816 | 862 | 1 | 0.9 |
| soplex: (C++) Simplex Linear Program (LP) Solver | 2556 | 1356 | 1 | 1.9 |
| povray: (C++) Computer Visualization | 230 | 343 | 1 | 0.7 |
| calculix: (Fortran and C) Structural Mechanics | 636 | 556 | 1 | 1.1 |
| GemsFDTD: (Fortran) Computational Electromagnetics | 4217 | 1873 | 1 | 2.3 |
| tonto: (Fortran) Quantum Crystallography | 1098 | 801 | 1 | 1.4 |
| lbm: (C) Computational Fluid Dynmaics | 6814 | 2294 | 1 | 3.0 |
| wrf: (Fortran and C) Weather Forecasting | 2253 | 1066 | 1 | 2.1 |
| sphinx3: (C) Speech Recognition | 3530 | 2368 | 1 | 1.5 |
【参考】 Opteron 4way 16コア機のメモリボトルネックの傾向を把握
Opteron 4way 16コア機のメモリボトルネックの発生状態を確認するため、SPECfpとSPECfp-rateを用いての比較表を作成しました。実はOpteronは1wayでも4wayでもこの比率は大きく変化しません。これはメモリボトルネックがCPU毎に発生しているからです。
| CPU | Opteron 83xxシリーズ | |||
| CPUクロック(GHz) | 2.5GHz | 2.3GHz | 2.5GHz | 2.3GHz |
| CPU数 | 4CPU | |||
| コア数/CPU | 4-core/CPU | |||
| コア数/システム | 16-core | |||
| 測定内容 | 経過時間 (秒) | 経過時間の比 | ||
| SPEC種類 | SPECfp | SPECfp-rate | SPECfp | SPECfp-rate |
| 計算種類/ジョブ投入数 | 1-job | 16-job | 1-job | 16-job |
| bwaves: (Fortran) Computational Fluid Dynamics |
487 | 1849 | 1 | 3.8 |
| gamess: (Fortran) Quantum chemical computations | 1384 | 1279 | 1 | 0.9 |
| milc: (C) Physics/Quantum Chromodynamics | 690 | 1404 | 1 | 2.0 |
| zeusmp: (Fortran) Physics/Magnetohydrodynamics | 725 | 858 | 1 | 1.2 |
| gromacs: (Fortran and C) Chemistry/Molecular Dynamics | 651 | 619 | 1 | 1.0 |
| cactusADM: (Fortran and C) Physics/General Relativity | 111 | 1134 | 1 | 10.2 |
| leslie3d: (Fortran) Computational Fluid Dynamics | 1012 | 1697 | 1 | 1.7 |
| namd: (C++) Classical Molecular Dynamics Simulation | 870 | 698 | 1 | 0.8 |
| dealII: (C++) Adaptive Finite Element Method | 762 | 862 | 1 | 1.1 |
| soplex: (C++) Simplex Linear Program (LP) Solver | 959 | 1356 | 1 | 1.4 |
| povray: (C++) Computer Visualization | 388 | 343 | 1 | 0.9 |
| calculix: (Fortran and C) Structural Mechanics | 600 | 556 | 1 | 0.9 |
| GemsFDTD: (Fortran) Computational Electromagnetics | 587 | 1873 | 1 | 3.2 |
| tonto: (Fortran) Quantum Crystallography | 761 | 801 | 1 | 1.1 |
| lbm: (C) Computational Fluid Dynmaics | 1103 | 2294 | 1 | 2.1 |
| wrf: (Fortran and C) Weather Forecasting | 608 | 1066 | 1 | 1.8 |
| sphinx3: (C) Speech Recognition | 1647 | 2368 | 1 | 1.4 |
DPeR900ハードウェアの紹介
4基のCPUを搭載
「HPC-ProServer DPeR900」は4基のプロセッサが搭載できます。このCPUを効率良く冷やすため、筐体前部には大口径のファンが搭載され多量の冷気を取り入れることができます。取り入れられた冷気はCPUカバーにより効率良くCPUヒートシンクに導かれます。写真の黒いカバーがCPUカバーです。このヒートシンクはヒートパイプを採用した大表面積のタイプで、高い効率でCPUを冷却できます。
256GBの大容量メモリを搭載
「HPC-ProServer DPeR900」は32基のFB-DIMMソケットを備えており、8GBメモリモジュールの登場による256GBのメモリ容量も実現可能です。このような大容量メモリを搭載するシステムを安定稼動させるためには、メモリシステムの安定動作が課題です。「HPC-ProServer DPeR900」は筐体の左右のケースにメモリが収まり、ケース後部のファンによりメモリの熱は強制的に排熱される設計がなされています。また、搭載するメモリはデルの純正品を採用することで、システムと一体で保証されており安心です。
高信頼性のHPC計算機を実現するECCメモリー、障害予兆検出、早期部品交換、予防部品交換
大容量メモリーを搭載した計算機を長時間連続動作させ結果を求めるHPC計算では、安定した計算機の稼動を実現するためメモリーエラー対策が必須です。その対策を考えるため代表的な３種類のメモリーエラーを示します。１種類目は「初期不良」によるメモリーエラーです。これは半導体ウエハ処理工程で発生した欠陥や不具合が、半導体メーカーのスクリーニングを通り抜け潜在的不良として残されたまま製品化され、その潜在的不良が使用開始後に顕在化しメモリーエラーを引き起こしているものです。２種類目は「経年劣化」によってメモリ不良が発生しメモリーエラーを引き起こしているものです。３種類目は「ソフトエラー」と呼ばれるメモリーエラーです。これは宇宙線が原因で偶発的にメモリー値が反転する非破壊的なシングルビットエラーです。
「初期不良」メモリをスクリーニングする最良の手段は、組み立てが完了したHPC計算機上でLinpack HPLなどの負荷の高い計算を連続動作させ、メモリエラーが発生しやすい条件で十分な試運転を行うことです。試運転中にメモリエラーが発生するとエラーはECCメモリにより自動修復され、同時にエラー情報として記録に残されます。この記録を検査し、もし閾値を超える回数のエラー情報が記録されたメモリーモジュールが発見されると初期不良メモリと判断し、早期部品交換を行い計算機の信頼性を回復させます。
何ヶ月も安定動作していた計算機のメモリが突然エラーを発生させることがあります。このような場合でもECCメモリを使用しているとエラーは瞬時に訂正され動作は継続されます。同時にエラー情報として記録に残されます。この記録を検査し、もし閾値を超える回数のエラー情報が記録されたメモリーモジュールが発見されると不良メモリと判断し、致命的な障害を起こす前に早期部品交換を行います。
「ソフトエラー」と呼ばれる宇宙線が原因で非破壊的にメモリ値が反転するシングルビットエラーも稀に発生するようです。このような「ソフトエラー」対策としてはECCメモリの搭載が最善です。ECCめもりによりシングルビットエラーが発生しても何事も無かったように動作が継続され実害は発生しません。
高速なSASディスクを搭載
本体には4個のSASディスクを搭載できます。ご提供できるディスクの最大容量は300GB (15000回転) です。このディスクを搭載することで、Gaussianなどで多用されるアウトコア計算で必要となる高速なスクラッチディスクを内蔵することが可能です。実効容量は、300GB x4 =1.2TBになります。速度に関しては、この15000回転の高速なSASドライブをRAID0 (ストライプ化) し、さらに適切なシステムチューニングを施し、最大速度が得られるように仕上げます。
高速な各種I/Fカードを7枚まで実装可能
PCI-Expressスロットは合計7基搭載しています。構成はPCI-E x8が4基、PCI-E x4が3基です。対応するI/Fカードは以下のものが用意されています。
・ InfiniBand
・ RAIDコントローラ
・ 10GbE NIC
・ GbE NIC (1port、2ports、4ports)
100V電源で動作
「HPC-ProServer DPeR900」は一般の100V電源に対応していますので設置場所を選びません。もちろん冗長化電源です。
音のため居室への設置は難しい
耳障りな金属音ではありませんが居室への設置は可能な限り避けてください。
CentOSの標準搭載 (HPC向け最適化済み)
ＨＰＣテクノロジーズの経験によりHPCに最適化したCentOSを搭載しています。(標準的なLinux OSはHPC利用を考慮していません。) 最適化作業としては、HPCで必要となるパッケージの追加、HPCで不要なデーモンやサービスの停止、HPCで必要なデーモンやサービスの起動、開発環境などとのマッチング、アプリケーションの動作検証などです。
■ CentOSとRedHat
■ LinuxでのHPCチューニングの必要性
RedHatにもオプションで対応
商用アプリケーションなどではLinux OSのディストリビューションを指定されることがあります。そこでRedHatにオプション対応しています。もちろん、コンパイラなどの緻密なバージョン指定にも対応しています。
マルチコアでの効率良いジョブ管理を実現するPlatform LSFを推奨
24CPUコアを搭載するシステムを共同利用する際には、利用効率と利便性を向上させる負荷分散システムの搭載が必須です。そこで、大型のUNIX並列計算機で圧倒的な動作実績を誇るPlatform LSFの搭載を推奨しています。LSFは適切なジョブスケジューリングを、並列度、CPU負荷、メモリ利用状況、ライセンス状況、他ノードの負荷状況などを考慮したうえで実施します。これらの要素への配慮に関してLSFの完成度は圧倒的な高さを持っており、他のスケジューラとは比較になりません。
開発環境の選択とインストール
最新のハードウェアを利用するには、適切な開発環境の選択と、整然としたインストールが必須です。標準的なインテルコンパイラのみならず、お客様のご用途に合わせてIntel-MPI、Inte-MKL、パフォーマンス・チューニングツール類、PGIコンパイラなどの最適なインストールサービスも実施します。もちろん、ライセンスサーバにも対応します。また、GbEやInfiniBandにも適応した開発環境のカスタマイズも実施します。
アプリケーションのサポート
24並列計算が可能になったことで、ネットワーク並列では対応できなかった計算の並列度を向上させることができます。また、256GBの大容量メモリを必要とする計算にも対応できます。このような計算環境を要求するアプリケーションの搭載と運用をサポートする予定です。
安心のOSリカバリDVD
ディスク障害や誤操作などによりOSが正常に利用できなくなるようなトラブルに際して、OSの復旧を簡単かつ確実に行えるように「OSリカバリDVD」を添付しています。弊社の「OSリカバリDVD」は、弊社工場でお客様に納入する計算機のカスタム設定が完了した時点で、そのシステムイメージをフルコピーするものです。そのため、「OSリカバリDVD」を用いると出荷時の状態に確実に復旧できます。さらに導入後のシステム設定変更やアプリケーション追加をされた場合にも、簡単に新たな「OSリカバリDVD」を作成できるように、簡単なコマンド操作で任意のタイミングの「OSリカバリDVD」のISOイメージを作成することが可能です。
総合管理ツールの搭載
システムには「Dell OpenManage」という総合システム監視/管理ツールが搭載されています。このツールは、計算機本体にとどまらず外部接続されたDASストレージの内部ディスクドライブまで、一元的に監視したり操作できます。また、強力な障害解析機能を持ち、障害箇所が交換部品のレベルにまで細かく切り分けて表示されます。また、障害の履歴も残ります。例えば、メモリがECCエラーとを起こすと、どのスロットのメモリがエラーを起こしたかまで判ります。しかもECCでエラーが自動修復されていても、履歴が残っているので簡単に参照できます、なお、このツールはリモートからブラウザ経由でも利用できます。
親切な導入相談を実施
「HPC-ProServerDPeR900」はエンタープライズ級サーバとしてのシステム構築が期待されます。そこで、弊社ではお客様の計算機や開発環境、オプションツール類、アプリケーション類などの導入調査などを可能な限り行い、快適な利用環境の実現に努めます。これらのインテグレーション作業をお客様が単独で実施されるには手間と時間が必要です。ＨＰＣテクノロジーズはこのようなお客様のご要望に応えるべく対応していす。
徹底的なバリデーション、３重の製品検査、迅速なオンサイト改修
一般に大手ベンダー製サーバは市販サーバに比べて量産開始判断が慎重です。実はこのタイムラグこそ品質管理の最後の砦であり、徹底的なバリデーションなどが行われている期間です。全ての問題がクリアされた製品は、生産を一挙に立ち上げることができます。そして弊社工場では実運用レベルのテストと改修を行い、さらに仕上には納入後の動作確認、不具合箇所の特定、迅速なオンサイト改修までを一連の工程として実施しています。
安心の３年間の当日４時間オンサイト保守
「HPC-ProServerDPeR900」は、標準で３年間の当日4時間オンサイト保守が無償実施されます。しかもそのサポート水準は「シルバー４時間プラスサポート」という上位ランクの対応を標準としています。、「シルバー４時間プラスサポート」なら、お客様の手を煩わせることなく、オンサイト訪問する技術スタッフと、ＨＰＣテクノロジーズの技術スタッフが協力して障害切り分け作業を行い、迅速かつ確実な復旧を実現します。