2019年版

大容量メモリを搭載する場合のシステム構成ガイド

Top > 大容量メモリ構成ガイド

概要

​科学技術計算において主記憶メモリの大容量化は、分野を問わず計算可能なシミュレーションの規模の拡大、及び、解析対象となるデータの大規模化を可能にしました。また、大容量の主記憶メモリを効率よく利用するためには高速なI/O速度が必要となるため、その技術の向上も時代とともに進歩してまいりました。メモリクロックの向上や、DDRに見られる信号送受信制御の改良、CPUあたりのメモリチャネル数の増加など、様々な技術が登場してまいりました。

 

インテル社が2019年春にリリースした第2世代インテル Xeon スケーラブル・プロセッサ (コードネーム:Cascade Lake)では、インテル® Optane™ DC パーシステント・メモリー(以後、DCPMM)がサポートされました。これは、大容量かつ安価な不揮発性メモリと従来のDRAMベースのメモリを混在させ、全体として主記憶メモリとして利用するもので、これまでとは一線を画する斬新な技術です。大容量なメモリを搭載するシステムでは完全なDRAMベースのシステムと比較して、DCPMMを活用したシステムで大きなコストの低下が実現します。

また、高速なNVMe SSDを活用した主記憶の拡張デバイスも登場しました。NVMe SSDから仮想ツールを立ち上げることで、仮想メモリプールが作成され、その仮想メモリプール領域をOSから主記憶として利用することができます。このNVMe SSDメモリデバイスは、1TB,2TB,4TBの容量のものが用意され、大変に拡張性の高いハードウェアコンポーネントとして、注目されます。

従来のDRAMベースの構成について

インテル Xeon スケーラブル・プロセッサ世代のメモリアーキテクチャは以下の通りです。

 

 

 

 

 

 

 

 

上図の通り、1つのCPUソケットに対し、最大6系統のメモリチャネルを備えます。CPUの性能をフルに発揮するには、メモリ帯域を十分に確保する必要がありますが、それには6系統のメモリチャネルを埋めるようにメモリを装着する必要があります。つまり、CPU性能をフルに発揮するためには、2ソケットサーバーではDRAMベースのメモリモジュールを最低でも12本、4ソケットサーバーでは最低でも24本必要となります。第2世代インテル Xeon スケーラブル・プロセッサ(Cascade Lake)では、DDR4 RDIMM 2933MT/sの規格のメモリモジュールをサポートし、高速なメモリがCPUの高い演算性能をサポートします。

DCPMMの実装について

DCPMMは、メモリーモードまたはApp Directモードで利用します。それぞれ以下の違いがあります。

メモリーモード

メモリーモードでは、DCPMMはOSが認識できる揮発性メモリの容量を拡張します。つまり、マシンの主記憶メモリの容量を拡張します。メモリーモードでは、DRAMはキャッシュとして使用されます。メモリーモードを利用するにあたりアプリケーションの変更は必要ありません。

App Direct モード

App Directモードではアプリケーションが対応することで、DRAMとDCPMMをそれぞれ利用できるようになります。App Directモードでは、DCPMMはSSDのように機能し、サーバーの電源を入れ直してもデータは保持されます。

DCPMMを利用するためには、DRAMとDCPMMを一定の割合で構成する必要があります。2019年8月現在、弊社が取扱う2ソケットサーバーでサポートされている組み合わせは以下の通りです。

DCPMM構成  /  DRAM構成  /  メモリモード時の主記憶容量

-----------------------------------------------------------------

12x128GB DCPMM / 12X32GB RDIMM     /  1.5TB

12X256GB DCPMM / 12X32GB/64GB RDIMM   /  3.0TB

12X512GB DCPMM / 12X64GB RDIMM     /  6.0TB

12X512GB DCPMM / 12X128GB LRDIMM    /  6.0TB

 

 

NVMe SSDメモリデバイスの実装について

Western Digital社のUltrastar DC ME200( 以下、ME200 と呼びます。商品URL : https://www.westerndigital.com/products/data-center-drives/ultrastar-dc-me200-memory-extension-drive ) を想定して説明します。

このME200は、2つの形状が用意されています。U.2 2.5-Inch Drive 及び HH-HL Add-in Card (PCIe) です。DCPMMと異なり、以下のように幅広いCPUに対応しています。

Intel Xeon E5-x6xx v3 以降
Intel Xeon E7-x8xx v3 以降
Intel Xeon Bronze, Silver, Gold, or Platinum
AMD EPYC 7xx1 processors (Naples)

そのため、少々古いサーバーでもPCI Expressが空いていれば、主記憶メモリの容量を拡張できる可能性があります。1点注意が必要なのは、各CPUのPCI ExpressにそれぞれME200を装着する必要があるため、2ソケットサーバーでは最低でも2台のME200を搭載する必要があります。

また、このデバイスでもDCPMMと同様にDRAMが必要となり、それはキャッシュとして利用されます。DRAMベースのメモリの量とNVMe SSDデバイスで確保されるメモリ量の比率は、最大でも1:8までと決められています。つまり、ME200による仮想メモリを2TB確保する場合には、DRAMベースのメモリが256GB必要となります。逆に言うと、サーバーに64GBしかDRAMメモリが搭載されていない場合には、ME200による仮想メモリは、512GBまでしか認識しません。

Western Digital DC ME200 を使用した場合のパフォーマンスについて

メモリの拡張をした構成と、従来のDRAM Onlyの構成とで、性能の比較を行います。性能に指標には、Intel MKLに含まれているLinpackベンチマークを利用します。このベンチマークはスレッドレベルで並列動作しますので、サーバーに搭載されている全てのCPUコアを稼働させた場合の性能を評価することができます。

メモリの拡張をした場合に、メモリ帯域の変化が演算性能にどれだけの影響を検証するために、姫野ベンチマークを実行しました。Fortran90 MPI版を利用し、実行させるCPU数を変化させた場合の性能値をプロットしました。

価格について

これら3つのメモリアーキテクチャについて、価格を比較します。筐体やCPUなどを共通の構成として、メモリに限定して構成を変えて比較します。価格は、値引き前の標準価格ですので、実際の販売価格については、弊社営業(sales@hpc-technologies.co.jp)までにお問合せください。

共通構成

シャーシ:HPC-ProServer DPeR740 (2Uラックマウントシャーシ)

CPU : (2) Intel Xeon Gold 6248 2.5GHz 20C/40T (サーバー1台当たり40C/80T)

HDD : (2) 600GB SAS 10krpm RAID1

Network : (2) 10G BT , (2) 1G BT , iDRAC9 Enterprise

PSU : 冗長構成 750W (1+1)

保証:3年間翌営業日オンサイト保証

■DRAMのみを使用した構成

メモリ容量:Total 1.5TB

(24) 64GB RDIMM, 2933MT/s, デュアル ランク

標準価格(税抜) 9,360,000円 (消費税 10%) 10,296,000円

DCPMMを利用した構成

メモリ容量:Total 1.5TB

(12) 32GB RDIMM, 2933MT/s, デュアル ランク

(12) 128GB, 2666MT/s インテル Optane DC Persistent メモリー

標準価格(税抜) 7,070,000円 (消費税 10%) 7,777,000円

■Ultrastar DC ME200を利用した構成

メモリ容量:Total 2TB

(8) 32GB RDIMM, 2933MT/s, デュアル ランク

(2) Ultrastar DC ME200 1TB PCIe

標準価格(税抜) 6,420,000円 (消費税 10%) 7,062,000円

© 2006-2019 HPC Technologies Co., Ltd. All rights reserved.