TSUBAME 2.0 - 通信用語の基礎知識

東京工業大学学術国際情報センター(GSIC)のスーパーコンピューター。TSUBAMEの後継機として登場した。

概要
特徴

構成概要
各ノード
ノード性能
ストレージ
ノード・ストレージ間連結
OS

概要

2010(平成22)年11月1日10:00(@083)に本稼働開始、この時点で、理論性能として1PFLOPSを超える、日本初の「ペタコン」となった。もちろん日本最速である。

2010(平成22)年11月発表のスーパーコンピューターの演算性能世界ランキング、第36回TOP500で世界第4位にランクインした。

性能は、LINPACKベンチマークでRmaxが1192.00 GFLOPS、Rpeakが2287.63 GFLOPSである。

TSUBAME 2.0は、システム、ソフトウェア、冷却設備、4年間の運用費用等を含めた総費用32億円弱で落札された。このほかに、電源改修などを含めた設置部屋の構築に約2億円、テープ装置に約5000万円を要したとされる。また運用には、電気代が年間1億円程度、サポートのSE費用が年間数千万円程度必要になるとされる。

特徴

構成概要

TSUBAME 2.0は、HPのサーバー機「HP Cluster Platform 3000SL」を使用したPCクラスター型の分散並列型スーパーコンピューターである。

CPU性能もさることながら、比してGPGPU性能を重視した構成になっている。

各ノード

TSUBAME 2.0には、3種類の計算ノードが存在する。

Thin(通常計算用)
ノード数1408台、ノードモデル名HP Proliant SL390s G7

CPU Intel Xeon 2.93 GHz (6コア&ハイパースレッディング・テクノロジー) × 2

GPU NVIDIA Tesla M2050 × 3

メモリー54Giバイト(一部96Giバイト)

SSD 120Gバイト(一部240Gバイト)

ネットワーク QDR InfiniBand × 2 (80Gbps)
Medium (大容量メモリを必要とするジョブ)
ノード数24台、ノードモデル名HP Proliant DL580 G7

CPU Intel Xeon 2.0 GHz (8コア&ハイパースレッディング・テクノロジー) × 4

GPU NVIDIA Tesla S1070

メモリー128Giバイト

SSD 480Gバイト

ネットワーク QDR InfiniBand × 1 (40Gbps)
Fat (大容量メモリを必要とするジョブ)
ノード数10台、ノードモデル名HP Proliant DL580 G7

CPU Intel Xeon 2.0 GHz (8コア&ハイパースレッディング・テクノロジー) × 4

GPU NVIDIA Tesla S1070

メモリー256Giバイト/512Giバイト

SSD 480GBバイト

ネットワーク QDR InfiniBand × 1 (40Gbps)

ノード性能

全1442ノード中、その殆どは全ての1408ノードがThinと呼ばれるノードである。計34台ある他のノードは、CPUが若干遅い代わりにコア数が多く、メモリーも大容量が搭載されている。

Thinノードの理論ピーク性能は、計算性能が、CPUは2基合計で153GFLOPS、GPUは3基合計で1545GFLOPS(共に倍精度浮動小数点演算性能)であり、メモリーバンド幅はCPU側が2CPU計で64Giバイト/秒、GPU側が3基計で462Giバイト/秒となる。

これは理論値なので、実際のアプリケーションソフトウェアでこの性能を出すことはできないが、それでも、CPU性能よりGPU性能が重視されていることが分かる。

ストレージ

ストレージ領域用にクラスタ化されたNASと、大規模データ処理用の並列ファイルシステムが用意されている。

ストレージ領域用には、NFS、CIFS、iSCSIの各プロトコルで接続されたBlueArc Mercury 100(一部GRIDScalar)が採用されている。

並列ファイルシステム領域には、Lustreプロトコルでファイルサーバーに接続される。

この他、テープドライブによるバックアップが可能。

ノード・ストレージ間連結

各ノード・ストレージ間の連結は、フルバイセクションバンド幅の光QDR InfiniBandが採用された。

バイセクションバンド幅(Bisection Bandwidth)とは、通信性能の下限が一定以下に下がらない設計をいう。スパコンは並列機なので、多数の計算ノードはネットワーク接続されるが、各ノードが全力で通信した場合、平均的な実効通信速度はそれだけ下がることになる。「フルバイセクション」ネットワークの場合、いかなる通信をしても下限が一定となるが、構築コストが高いため、スパコンといえども全てで採用されているわけではない。

OSはLinuxであるが、Microsoft Windows HPCも利用できる。

リンク