大学共同利用機関法人情報・システム研究機構 統計数理研究所が、統計科学スーパーコンピュータシステムを刷新し、並列計算性能を4倍以上に強化
大学共同利用機関法人情報・システム研究機構 統計数理研究所 様
所在地:〒190-8562 東京都立川市緑町10-3
URL:http://www.ism.ac.jp/
最新の水冷式HPCシステム HPE SGI 8600 Systemを採用し、 エネルギー効率に優れた384ノードのクラスタシステムを構築
"水冷システムであるHPE SGI 8600 Systemなら、高クロックを維持したまま連続運転が可能になります"
―大学共同利用機関法人情報・システム研究機構 統計数理研究所
データ科学研究系 准教授
総合研究大学院大学生命科学専攻 准教授
学術博士
足立 淳 氏
我が国における確率・統計研究の中核的な役割を統計数理研究所が、「統計科学スーパーコンピュータシステム」を刷新。水冷式・高密度クラスター型HPCシステム「HPE SGI 8600 System」を採用し、従来の4倍を超える計算性能(1.497PFLOPS)を水冷式ならではの優れたエネルギー効率で実現した。巨大データベースに関わる工学領域、統計科学、数理工学、機械学習、データマイニングといった「データ中心科学」の更なる進展を支えていく、最先端の大規模HPCシステムの誕生である。
業界
研究機関
目的
2018年9月からの運用開始を目指す次期「統計科学スーパーコンピュータシステム」の構築。従来比4倍超の計算能力を発揮し、統計科学研究の新たな展開を可能にする。
アプローチ
高クロック数のCPU、コアあたりのメモリ搭載量を重視した計算ノードによりHPCクラスターを構築。水冷式ハードウェアを採用し、高いパフォーマンスとエネルギー効率を両立させる。
ITの効果
・高密度クラスター型HPCシステム HPE SGI8600 Systemを採用し、1.497PFLOPSの計算性能を水冷式ならではの優れたエネルギー効率で実現
・ノードあたりインテル® Xeon® Gold プロセッサー(18コア/3.0GHz)×2基と384GBメモリを搭載(384計算ノード合計で13,824コア/144TBメモリ)
・既存設備のチラー(冷却水循環装置)を活用し常温水による冷却をサーバーおよびストレージに適用
ビジネスの効果
・最先端の統計数理研究・データサイエンスへのチャレンジを支えるインフラを強化
・従来不可能だった計算が可能になり、統計科学研究の新展開に向けた取り組みを加速
・ものづくりデータ科学研究センター、医療健康データ科学研究センターなど注力領域の研究をさらに推進
ご導入製品
HPE SGI 8600 System
チャレンジ
データ中心科学のアプローチで広く産業界・社会に貢献
統計数理研究所の歴史は、文部省直轄の研究機関として設立された1944年まで遡る。以来70余年を通して、我が国における確率・統計研究の中核的な役割を担ってきた。現在は、大学共同利用機関法人 情報・システム研究機構として「データ中心科学」の知見と手法を高度に集積し、産業界をはじめ広く社会に貢献する成果を生み出している。統計数理研究所 モデリング研究系 教授であり、統計科学技術センター長を務める川﨑能典氏は次のように話す。
「ビッグデータ分析や人工知能(AI)への期待が高まる中、その基盤である統計学や数理科学にも注目が集まっています。統計数理研究所は、長年にわたり『データ中心』のアプローチにより、社会、経済、自然現象などの複雑な問題の解決に力を注いできました。近年は産業界との連携をいっそう深め、新素材・新技術の開発、医学・健康科学領域における先進的なデータサイエンスの確立に取り組んでいます」
その推進を担うのが、統計数理研究所が中核事業のひとつに位置づける「NOE(Network OfExcellence )形成事業」である。2017年7月に「ものづくりデータ科学研究センター」を、2018年4月には「医療健康データ科学研究センター」を相次いで開設した。
「世界を見渡すと、データ科学を中心に据えた新しいものづくり、新しい医薬品・医療技術を創出していこうという動きが活発化しています。私たちは、NOE型研究センターをハブとして統計数理研究者と異分野の研究者による共同研究を活発化し、これまでにない成果を生み出していく考えです」(川﨑氏)
一方、我が国における統計数理研究・データサイエンスのスペシャリストは、世界水準からすると圧倒的に不足しているといわれる。統計数理研究所は「統計思考力育成事業」を通じてこの問題の解決にも取り組んでおり、川﨑氏は本事業の推進を担う「統計思考院」の院長を兼務している。
「国公立・私立大学では、データサイエンスを学ぶための環境が少しずつ整いつつあります。統計数理研究所が担うべきは、データサイエンス教育を担う人材の育成、社会人技術者・研究者を対象とした教育であると考えています。新しい統計学を学び、それを応用できる統計思考力を備えた人材の育成に尽力していきます」と川﨑氏は話す。
これら最先端の統計数理研究・データサイエンスへのチャレンジを支えるのが「統計科学スーパーコンピュータシステム」である。2018年8月、統計数理研究所は最新の水冷サーバー「HPE SGI 8600 System」を採用し、エネルギー効率に優れた384ノードのクラスタシステムの構築を開始した。
大学共同利用機関法人
情報・システム研究機構
統計数理研究所
モデリング研究系 教授
統計科学技術センター長(兼)
統計思考院長(兼)
図書室長(兼) 博士(経済学)
川﨑 能典 氏
ソリューション
最新の水冷式スーパーコンピューター HPE SGI 8600 Systemを採用
統計数理研究所が新たに採用した「HPE SGI8600 System」は、最先端の水冷テクノロジーを統合した高密度クラスター型HPCシステムである。水冷ならではの優れた冷却効率により、高クロックのインテル® Xeon® スケーラブル・プロセッサーのパフォーマンスをフルに発揮させるとともに、空調設備を含む電力コストを大幅に削減することができる。川﨑氏は、統計科学技術センター長の立場から次のように話す。
「統計科学スーパーコンピュータシステムは、研究所のあらゆる活動を支える中核システムです。巨大データベースに関わる工学領域、統計科学、数理工学、機械学習、データマイニングまで、あらゆる『データ中心科学』の要求に応える強力な計算リソースを提供します。研究所内外の100名以上の研究者が、24時間フルに活用していくことになります」
HPE SGI 8600 Systemによる最新環境は、計算ノードの理論的最高性能の総和が1.497PFLOPSに達する。これは従来環境の4倍を上回るものだ。計算ノードには、高性能のインテル® Xeon® Gold プロセッサー(18コア/3.0GHz)を2基と、384GBメモリを搭載。システム全体のリソースは、384ノード合計で13,824コア/144TBメモリに達する。
そして、統計数理研究所が提示した次の要件が、本システムを特徴づけていると言ってよいだろう。
・CPUとGPU含む計算ノードの理論的最高性能の総和が1.477PFLOPS以上
・1CPUあたり18コア以上、CPUクロックは3.0GHz 以上、メモリは192GB以上
・筐体ごとに配管を導入し水冷するシステムを提供すること
「高クロックのCPUを選定し、コアあたりのメモリ量も一般的なHPCシステムの2倍程度搭載することで、特徴あるHPCシステムにしたいと考えました。高FLOPSだけを追求するのではなく、研究者が本当に使いやすく、研究成果を高められる環境がどうあるべきかを検討した結果です」と、統計数理研究所 データ科学研究系 准教授でありゲノム研究を専門とする足立淳氏は話す。
HPE Coldsinkによるサーバーノード内の水冷配管
CPUは効果的に冷却されないと自動的にクロックを抑制する機能が働く。CPUクロックが低下するとHPCシステムは最大性能を発揮することはできない。
「水冷システムであるHPE SGI 8600 Systemなら、研究所が備えるチラー(冷却水循環装置)を活用して計算ノード内のCPUを効率的に冷却することで、高クロックを維持したまま連続運転が可能になります。サーバールームの空調機は8台ありますが、1~2台稼働させるだけで十分な冷却効果が得られます」(足立氏)
選定時に検討対象となったプラットフォームの大半が、クーリングラックによる冷却方式を提案していたという。だが、クーリングラック方式ではサーバーノード内に水冷配管を備えるHPE SGI8600 Systemのような高い冷却効果は得られない。HPEでは、この機構を「HPE Coldsink」と呼んでいる。
「HPE SGI 8600 Systemは、ブレードアーキテクチャーを採用した高密度サーバーでありながら優れた冷却能力を備え、消費電力の削減を実現してくれました。設置面積はクーリングラック方式のシステムの半分以下に抑えられています」(川﨑氏)
統計数理研究所の水冷式HPCシステムは、HPESGI 8600 Systemが第2世代となる。2018年7月まで稼働させてきた「SGI ICE X」が第1世代にあたる。プログラム資産や操作手順などがそのまま継承できるメリットもあるが、「水冷の効果を経験・実証済みという安心感は大きい」(足立氏)という。
大学共同利用機関法人情報・システム研究機構 統計数理研究所
データ科学研究系 准教授
総合研究大学院大学生命科学専攻 准教授
学術博士
足立 淳 氏
大学共同利用機関法人情報・システム研究機構 統計数理研究所
モデリング研究系 教授
データ同化研究開発センター
京都大学博士(理学)
上野 玄太 氏
大学共同利用機関法人情報・システム研究機構 統計数理研究所
モデリング研究系 准教授
博士(理学)
中野 慎也 氏
ベネフィット
最先端の統計数理研究を支える 最先端のHPC活用を実践する戦略拠点として
2018年9月、HPE SGI 8600 Systemによる最新の「統計科学スーパーコンピュータシステム」の運用が始まった。統計数理研究所の取り組みは、さらに加速していくことになるだろう。実際に本システムを利用することになるデータ科学研究系 構造探索グループ 准教授の足立淳氏、モデリング研究系 教授の上野玄太氏、同 准教授の中野慎也氏に聞いた。
「ゲノムデータを元にした遺伝子ごとの進化系統樹の推定が私のテーマです。データ同化のアプローチは、個人ごとに異なる疾患予測、薬物の反応性予測などにも応用できます。こうした計算には、CPUクロックが高くコアあたりのメモリの多い計算環境が有効です。新しいシステムを上手に活用して成果を高めていきたいと考えています」(足立氏)
「気象庁気象研究所との共同研究において、シミュレーションと観測データを組み合わせるデータ同化の手法を活用し、積乱雲の突発的な発生の正確な予測に取り組んでいます。気象予測では大規模で複雑なシステムモデルと多地点での膨大な観測データを扱います。計算パワーが大幅に増強された新システムに期待しています」(上野氏)
「地球磁気圏におけるプラズマの分布の変化を、シミュレーションと衛星観測画像を使ってデータ同化の手法で調査しています。この取り組みは、GPS精度の向上、航空機のナビゲーション、人工衛星の安定的運用などに寄与します。新システムではより多くのメモリを使えるようになりましたので、より変数の多い大規模な計算に利用していきたいと思っています」(中野氏)
データ同化の応用範囲は実に広範だ。データ科学を中心に据えた複雑な問題の解決や、新しい価値創出へのチャレンジは今後どんな広がりを見せるだろう。統計数理研究所へ寄せられる期待は大きい。最後に、統計科学技術センター長である川﨑氏が次のように話して締めくくった。
「ここ統計科学技術センターは、統計数理研究・データサイエンスの分野で最先端のHPCシステム活用を実践する戦略拠点です。研究者は常に最先端のHPC環境に触れ、その性能をギリギリまで使った統計計算やモデリングを経験しながら、システムの能力を感覚として掴んでもらいたいと思っています。最先端の取り組みを支えるインフラ=HPCシステムを進化させていくために、HPEにはこれからも継続的なご支援を期待しています」
ご導入製品情報
HPEのHPCソリューション、専門知識、およびグローバルパートナーエコシステムを活用して、お客様の最大の課題に対応し、最も複雑な問題を解決します。
導入ハードウェア
HPE SGI 8600 System