電話 03-6410-6070、FAX 03-6410-6073 電子メール ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用)
HPC-ProServer DPrT7500
Xeon 5600番台 (Westmere-EP) のプロセッサを2個搭載できるワークステーション
1333MHzのDIMMモジュールを搭載でき、32GB/sのメモリ帯域を実現
低騒音筺体を実現し研究室に設置可能
GPGPU Teslaを標準オプション化し3年間のオンサイト保守を実施
2TB 3.5インチHDDを最大4台搭載でき、8TBのディスク容量を実現
3年間オンサイトサポートを実施
最高峰のHPCワークステーション
「HPC ProServer DPrT7500」はIntel (R) Xeon (R) (Nehalm) プロセッサを2基搭載し、システム全体で8個のコアがNUMA構造のメモリ上で動作する並列計算機です。計算機の筺体が大きく、電源も大容量なものを搭載しているため、高速CPU、大容量メモリ、大容量ハードディスク、高機能拡張カード類などを同時に複数搭載しても余裕で対応できます。ディスクサイドで利用されることの多いワークステーションであるため、作動音も驚くほど小さく抑えられています。弊社ではお忙しいお客様でも完成度の高い計算機システムを身近で利用していただけるように高度なHPC環境構築サービスを行っています。「HPC計算機おまかせ設定」を承りますと、導入直後から電源を投入するだけで快適なHPC環境を利用できるようにシステムを仕上げてからお届けします。導入後のサポート・サービスについても標準で3年間の当日オンサイト保守サービスを行います。さらに弊社のHPC技術サポートも付属していますから安心してご導入していただけます。
Xeon (Nehalem)の性能特性を活かす利用法
アーキテクチャが改良されたXeon (Nehalem)
Xeon (Nehalem) プロセッサの特徴は、CPU上の4個のコアが8MBの大容量3次キャッシュを共有し高速なデータI/Oを実現していること、CPU上にメモリコントローラを搭載し従来より3倍も高速なメモリI/O速度を実現していること、CPUコア内部のスパースカラー性能の向上により処理性能が高速化していること、などを挙げることができます。このような高速化技術の積み重ねにより、「メモリ性能律速型アプリケーション」では最大で約3倍の性能向上、「CPU性能律速型アプリケーション」でも１〜２割程度の性能向上が達成されています。
「メモリ性能律速型アプリケーション」では約３倍の性能向上
Xeon (Nehalem) プロセッサは各CPU上に搭載されているメモリコントローラが3チャンネルのメモリ接続チャネルを持ち、ここに高速なDDR3メモリを搭載することで最大32GB/s/CPUのメモリ帯域幅を実現しています。この速度は従来のXeonが持っていた12.8GB/sのFSB帯域幅の約3倍の性能です。その結果、従来のXeonではメモリ帯域不足から並列/平行処理性能が向上しなかった「メモリ性能律速型アプリケーション」の処理性能が大幅に改善し、アプリケーションによっては約3倍の性能向上が確認されています。
「メモリ性能律速型アプリケーション」用システムの選定ポイント
「メモリ性能律速型アプリケーション」での処理能力はメモリクロック速度に強く影響を受けます。CPUクロック速度の影響は僅かです。そのためシステム選定はメモリクロック速度を重視して決める必要があります。「HPC ProServer DPrT7500」で選択できるメモリ速度は800MHz、1066MHz、1333MHzの3種類です。
1333MHzメモリ搭載機の選択
「メモリ性能律速型アプリケーション」を動作させるための1333MHzメモリ搭載機を導入される場合は次の注意が必要です。Xeon (Nehalem) 搭載機で1333MHz動作のメモリシステムを利用する場合は、
- DDR3 1333MHzメモリを選択
- QPI速度が6.4GT/sのCPUを選択
- 各CPU毎に3枚のメモリを選択し、各メモリチャネルに1枚つづ接続
(システムよってはCPU毎に6毎、各メモリチャネルに2枚づつの場合もある) - メモリ律速の場合は、CPUクロック周波数は低い方を選択しても問題は無い
1066MHz / 800MHz メモリ搭載機の選択
大容量メモリを必要とされる場合は、構成によっては1066MHzもしくは800MHzのメモリしか選択できない場合があります。このような場合は選択可能メモリ周波数の範囲内で低いCPUクロック速度を選択すること、コストパフォーマンスの良い選択が可能です。
「CPU性能律速型アプリケーション」での性能向上
新しいXeon (Nehalem)は従来のXeonと比較すると、Linpack HPLによるシングルジョブの性能向上は僅かです。すなわち、コア性能はあまり改善されていないことになります。ところが、ノード内でり8並列計算では約3割の性能向上が確認されました。この並列性能の向上は、CPU内の4個のCPUコアが8MBの共有キャッシュを搭載していることと、CPU間の通信で利用しているQPI (QuickPath Interconnect)などにより、総合的な通信オーバーヘッドが低減されており、その差が顕在化しています。
「CPU性能律速型アプリケーション」用システムの選定ポイント
「CPU性能律速型アプリケーション」はCPUクロック速度に比例して性能向上しますから、より高いクロック速度のCPUを選択することが大切です。またメモリクロック速度は演算性能にあまり影響しませんから高価な高速メモリを搭載する必要もありません。経済的な1066MHzメモリでも十分です。
今後のCPU性能向上について
従来のXeonから新Xeon (Nehalem) へアーキテクチャが刷新されましたが、「CPU性能律速型アプリケーション」については僅かな性能向上に留まっています。今回のアーキテクチャ刷新ではCPUの外部インターフェース部の改良が主でした。しかし、CPUの外部が改善され、さらに低消費電力化、高集積化、歩留まりの改善などの課題がクリアされており、次のステップであるコア数の増大への準備は万端です。搭載コア数の増大や、コア内部アーキテクチャの改良による性能向上にも十分に対応できます。
Xeonのアーキテクチャ
CPU毎にメモリコントローラを搭載し高速メモリを実現
Xeon (Nehalem) の特徴はCPU上に直接メモリコントローラを搭載し、3チャンネルのメモリ接続ポートを持ち、最高で32GB/s (1333MHz x3ch.) の帯域幅を実現していることです。しかも各CPUは独立したローカルメモリを搭載しており、CPU間でのメモリI/O競合が発生しません。CPU数が増えるに従いスケーラブルにメモリ帯域が向上します。
QPIにより高速なNUMA構造を実現
CPUとCPUの間はQPIと呼ばれる25.6GB/sの通信帯域を持つリンクで接続されており、他のCPU上のリモートメモリも共有メモリ空間として認識できます。これはNUMAと呼ばれる非対称型メモリ共有アーキテクチャが実装されているためです。その結果、並列化が容易なOpenMPでの並列計算や、並列化数値演算ライブラリを利用した並列計算などが実現できます。ただし、リモートのメモリ通信速度はローカルメモリと比較すると半分程度に低下しているため、ローカルメモリを主体に利用することに注意してください。
96GBの大容量メモリ空間を廉価に実現
各CPUがメモリコントローラを直接搭載できるようになった成果として、メモリソケット数を増やすことが可能となりました。「HPC-ProServer-DPrT7500」でも12基のメモリスロットを持ち、廉価になった8GBメモリを利用することで96GBもの大容量メモリ空間を安価に構成できます。ただし、各メモリチャネルに３個のメモリを装着するとメモリのクロックレートは800MHzまで低下しメモリ帯域が19.2GB/sになるため「メモリ性能律速型アプリケーション」では性能低下にご注意ください。
192GBのメモリ空間も可能
96GB以上の大容量メモリ空間が必要な場合には高価になりますが16GBのメモリモジュールを12枚搭載することで192GBの圧倒的大容量なメモリ空間を構築できます。この場合もメモリのクロックレートは800MHzまで低下しメモリ帯域が19.2GB/sになるため「メモリ性能律速型アプリケーション」では性能低下にご注意ください。
オプション類の利用
1.5TBの大容量ディスクにより6TBの物理容量を実現
1.5TBの大容量SATAディスクを4基まで搭載でき最大6TBの物理容量が実現できます。オプションのRAIDコントローラを利用することでディスクをRAID０化した高速大容量スクラッチディスクの構築や、ディスクをRAID1化した堅牢なストレージの構築などが可能です。
QPIによるPCI Express 2.0の性能実現
「HPC-ProServer-DPrT7500」はPCI Express 2.0スロットを5基搭載しており、RAIDコントローラ、InfiniBand HCAカード、GPGPUユニットなどを複数搭載し高い負荷を与えても性能が維持されます。これはPCI EcpressコントローラとCPU間が25.6GB/sの転送速度を持つQPIで接続されておりデータ転送でのボトルネックが発生しないためです。実はこの点こそがQPIの真価です。これまでのXeonでは、メモリやPCIバスなどの全デバイスが12.8GB/sのFSB経由でCPUと通信していました。そのため、FSBでボトルネックが発生しやすく性能が得られない可能性がありました。ところが最新のXeon (Nehalem)は、CPU上にメモリコントローラやQPIが独立して接続されいてるため、総合通信帯域が圧倒的に広くなっています。例えばXeon 5500番台のプロセッサを2個搭載するシステムでは、メモリ接続として64GB/s (32GB/s x2)の帯域を持ち、さらにメモリ接続から独立したPCI Expressバス接続専用のQPIを２系統持ち51.2GB/s (25.6GB/s x2)の帯域を実現しています。これに対して旧Xeonは25.6GB/s (12.8GB/s) のFSB帯域でメモリやCPU間通信を含む全てのI/Oをカバーしています。性能比では約6.4倍の違いがあります。
InfiniBandの搭載
高速なネットワーク並列計算を行う場合にはInfiniBand接続が欠かせません。 「HPC-ProServer-DPrT7500」は弊社によるInfiniBandシステム構築サービスを行っており、ハードウェアの提供のみならずMPI通信環境の構築、開発環境のインストール、アプリケーションの搭載まで、一貫したシステムインテグレーションサービスを行っています。
GPGPUの搭載とサポート
一部のアプリケーションでは圧倒的な演算性能を発揮することが確認されつつあるGPGPUユニット「NVIDIA (R) Tesla (TM) C1060」を標準オプション化しています。標準化することで計算機と併せた一元的な製品サポートを行いますから、万一の故障でも迅速なオンサイト保守と部品保証が得られるため安心して導入できます。さらに、弊社のHPC技術センターでも常時機器をテストしており、サポート体制も万全です。
大容量電源を搭載しオプション機器の安定動作を実現
大型の筺体を活かして1100Wの大容量電源を搭載しています。電源容量に十分な余裕があるため消費電力の大きな高速CPUや大容量メモリ、大容量ディスク、高速拡張カード類を複数搭載した場合でも安定した動作が期待できます。またエネルギー効率85%の電源を採用し低消費電力かつ低発熱でしかも低騒音です。
高度な筺体設計
最適化されたクーリング
筐体内部の空気流路を最適化し、冷却効率の向上と低騒音化を両立しています。冷気の流れは全面から背面へ整然と流れるように設計されており、その経路上に各コンポーネントと冷却ファンが合理的に配置され、冷気が効率よくコンポーネントを冷やし、排熱は効率よく排気されるように設計されています。長期間にわたる稼働でも安定した冷却性能を発揮します。
拡張カードエリアにも専用ファンを搭載
消費電力大きなフルレングスの高速グラフィックスボードやGPGPUを安心して搭載できるよう、専用の冷却ファンを持つ拡張ベイを備えています。
大口径ファンをラバーマウントし低騒音を実現
ワークステーションはユーザの手元で利用されることが前提として設計されており、騒音にも十分配慮した設計がなされています。大口径ファンは低速で回転しても十分な流量が得られるよう大きな翼面を持ち、低騒音と大流量を両立させています。さらに筺体の共振を防ぐためファンはゴムでフローティングマウントされ、ファンの振動が筺体伝わらないように工夫されています。その結果大きな外観からは想像できないほどの低騒音運転が高負荷時にも実現されます。
導風ダクトでCPUとメモリを能率良く冷却
HPC計算機で最も発熱量が多いコンポーネントはCPUとメモリです。この両者を能率的に冷却するため、筺体前面から大口径の空気吸入ファンで冷気を取り入れ、導風ダクトで冷気を無駄なくCPUとメモリに導き、ヒートパイプ付きの大容量ラジエターでCPUを冷却しています。導風ダクトはメモリモジュールをもカバーしメモリの隅々まで冷気を導きます。2CPU構成の場合はメモリにも専用の冷却ファンを搭載し、冷却性能の向上を果たしています。この最適化された冷却システムにより、空気取り入れファンの回転数を低下させることに成功し、大きなCPU負荷を連続して与えた場合でも騒音の発生を防いでいます。
2種類の液冷、水冷方式とヒートパイプ方式の紹介
発熱量の大きなCPUを効率よく冷却するためには、表面積の大きなラジエターを利用できる液冷方式が適しています。しかも、大型ラジエターを用いることで、大口径ファンを低速回転させるだけで十分な冷却能力が得られるため、低騒音化 (静音化) を容易に実現できます。CPUの液冷では、水冷方式とヒートパイプ方式がよく用いられます。
水冷方式はポンプを用いて冷却水をCPUとラジエターの間で循環させる方式です。冷却水パイプは伸ばすことができ、ラジエターを自由な場所に設置できます。そこで、ラジエターを筺体の背面に搭載し排熱を直接外部に放出することができます。もちろん、大口径ファンを低速回転させることでの低騒音化 (静音化) が可能です。
ヒートパイプ方式は冷媒が気化する際に大量の熱を奪う原理を利用しCPUを効率よく冷却する手法です。ヒートパイプ方式は簡単な仕組みで大きな熱量を輸送できます。しかしその反面、パイプを自由に引き回すことが難しく、ラジエターはCPUの側にレイアウトされます。そこでエアダクトを用いて給排気を誘導する必要があります。もちろん、大口径ファンを低速回転させることでの低騒音化 (静音化) が可能です。
このように水冷方式とヒートパイプ方式は原理的に共通点を持ち、共に高い冷却効率と低騒音化を実現する優れたCPU冷却システムです。
右上の写真はサーバに採用されているヒートパイプ方式のラジエターです。このラジエターは前面投影面積が大きく、低速の空気でも大きな熱量を熱交換用できます。ラジエターのフィンは高密度でヒートパイプと接続されており高い熱交換効率が実現されています。
 |
 |
ツールレス
システムの大部分はツールレス化されており、ワンタッチで部品の取り外しができます。そのため、オンサイト修理時にも迅速な部品交換が可能です。
電源ユニットとディスク
電源ユニットにはエネルギー効率85%の電源を採用することで余分な発熱を抑え、騒音源の一つである電源ファンのノイズを非常に低く抑えています。また、電源ユニットの前に4基のハードディスクベイを搭載し、ディスクも良く冷気できるようにレイアウトになっています。
信頼性
基礎部品レベルからの徹底的した改良と品質管理
最新のアーキテクチャを採用した計算機が製品化されるまでには十分な開発期間が必要です。市販のCPU、メモリ、マザーボードを組み立てOSをインストールしただけではHPCワークステーションとしては不十分です。試作と徹底的なテストを繰り返し、部品メーカーも参加した製品開発が必要です。このようにして基礎部品レベルから緻密な改良を行い、生産管理にも万全を期した製品化が必要です。DPr7500はこのような開発により実現された最速のプレミアムHPCワークステーションです。
徹底的なバリデーションと製品検査
高い品質を目指し十分なテストが行われています。この過程での徹底的なバリデーションが大切です。全ての問題がクリアされた製品は、生産を一挙に立ち上げることができます。そして弊社工場では実運用レベルのテストと改修を行い、さらに仕上には納入後の動作確認、不具合箇所の特定、迅速なオンサイト改修までを一連の工程として実施しています。
アモイの最先端工場で量産
「HPC-ProServer-DPrT7500」は日本のセル生産方式なども取り入れたアモイに所在する最先端のコンピュータ生産工場で完全なコンピュータ管理の下で生産され高速物流システムにより弊社工場まで直送されてきます。
障害予兆検出と早期予防部品交換
計算機の長期連続稼働が必須のHPC計算機は部品エラーに対する事前対策が重要です。その一例としてメモリの「初期不良」については、組み立て完了にLinpack HPLなどで高い負荷を与えメモリエラーが発生しやすい条件下で十分な試運転を行うスクリーニングにより不具合箇所を特定し良品と交換します。また「導入後のメモリ不良」については、問題が顕在化する以前に発生するECCエラーを把握し、閾値を超えるエラーが確認されると、致命的な障害が発生する前にオンサイトでの早期部品交換を行います。他の部品に関しても同様に徹底した部品交換による修理を行います。
技術サービス
計算センター的な運用
HPC ProServer DPrT7500は外観は通常のワークステーションです。しかしその内部は計算センターなどで利用される本格的な計算機システムに匹敵する仕上がりを誇っています。
ジョブスケジューラを搭載
ジョブスケジューラーを搭載することで8コアを共同利用できる本格的な共同利用サーバとしての運用も可能です。さらに複数のサーバをクラスタ化することでさらに便利な運用が可能となります。共同利用環境として運用することで計算機利用の最適化が実現されることのみならず、開発環境やアプリケーションの一元管理、ファイルサーバの導入、ゲートウェーサーバの整備など、システム運用の高度化が実現されます。
開発環境の選択とインストール
最新のハードウェアを利用するには、適切な開発環境の選択と、整然としたインストールが必須です。標準的なインテルコンパイラのみならず、お客様のご用途に合わせてIntel-MPI、Inte-MKL、パフォーマンス・チューニングツール類、PGIコンパイラなどの最適なインストールサービスも実施します。もちろん、ライセンスサーバにも対応します。また、GbEやInfiniBandにも適応した開発環境のカスタマイズも実施します。
CentOSの標準搭載 (HPC向け最適化済み)
HPCテクノロジーズの経験によりHPCに最適化したCentOSを搭載しています。(標準的なLinux OSはHPC利用を考慮していません。) 最適化作業としては、HPCで必要となるパッケージの追加、HPCで不要なデーモンやサービスの停止、HPCで必要なデーモンやサービスの起動、開発環境などとのマッチング、アプリケーションの動作検証などです。
RedHatにもオプションで対応
商用アプリケーションなどではLinux OSのディストリビューションを指定されることがあります。そこでRedHatにオプション対応しています。もちろん、コンパイラなどのバージョン指定にも対応しています。
クラスタ構築にも対応
単体の計算機としてシステム構築するのみならず、ワークステーションを複数用いた小中規模のクラスタ構築も行っています。重量や音の問題からEIAラック搭載型のクラスタ導入が難しい研究室でも、ワークステーションベースのPCクラスタであれば設置は容易です。写真は弊社飯田橋工場で製造・設定されるワークステーションベースのHPC計算機やHPCクラスタ群です。量産効果により高い品質の計算機をお届けしています。
安心のOSリカバリDVD
ディスク障害や誤操作などによりOSが正常に利用できなくなるようなトラブルに際して、OSの復旧を簡単かつ確実に行えるように「OSリカバリDVD」を添付しています。弊社の「OSリカバリDVD」は、弊社工場でお客様に納入する計算機のカスタム設定が完了した時点で、そのシステムイメージをフルコピーするものです。そのため、「OSリカバリDVD」を用いると出荷時の状態に確実に復旧できます。さらに導入後のシステム設定変更やアプリケーション追加をされた場合にも、簡単に新たな「OSリカバリDVD」を作成できるように、簡単なコマンド操作で任意のタイミングの「OSリカバリDVD」のISOイメージを作成することが可能です。
親切な導入相談を実施
「HPC-ProServer DPrT7500」は2CPU 8並列のHPCワークステーションとしてのシステム構築が期待されます。そこで、弊社ではお客様の計算機や開発環境、オプションツール類、アプリケーション類などの導入調査などを可能な限り行い、快適な利用環境の実現に努めます。これらのインテグレーション作業をお客様が単独で実施されるには手間と時間が必要です。ＨＰＣテクノロジーズはこのようなお客様のご要望に応えるべく対応しています。
保守サービス
DELL純正品の利用を基本として実現する優れたハードウェアサポートを3年間無償で実施
計算機本体は全てDELLの純正品を採用した「All DELL」 構成となっており、一元的なハードウェア保守体制が期待できるため安心です。
- 障害の切り分け
- 部品の提供
- オンサイト修理
的確な技術支援を3年間無償実施
HPCシステム運用を行っていると経験の蓄積が求められる技術的な課題が沢山あります。このような場合には弊社のHPC経験が豊富な技術スタッフが的確なサポートを行います。
- 技術支援
- 障害時の作業監督
技術対応は専門家が電話で対応 (コールセンターは使いません)
技術サポートに期待されることはHPC特有の難易度の高いご質問に対しての迅速で的確な対応です。そこで、お客様かのお問い合わせについてはメールのみならず、専門の担当者による電話でのやり取りを積極的に行い、正確な情報の共有に努めています。