超先端材料超高速開発基盤技術プロジェクトが大規模HPCシステムをクラウドで調達し、超先端材料の開発期間1/20への短縮化を目指す



超先端材料超高速開発基盤技術プロジェクト 様

マルチノードサーバー「HPE Apollo 2000 System」を採用したさくらインターネット「高火力コンピューティング基盤」からサービス提供


"研究者がシステム管理から解放されて研究開発に専念できることが最も大きいですね。クラウド型でありながら、本プロジェクトの研究者が計算リソースを占有できることも重要です"

―先端素材高速開発技術研究組合
 技術部長
 大森 将弘 氏 博士(工学)

ナノカーボンや超高性能ポリマーなどの先端材料開発を大幅にスピード化し、モノづくり日本の競争力を高める国家プロジェクト――「超先端材料超高速開発基盤技術プロジェクト」が、消費電力を抑えつつ高い並列処理と全体性能を備えたインテル® Xeon® プロセッサー E5-2600 v4 ファミリー搭載「HPE Apollo 2000 System(1,024ノード/32,768コア)」によるHPCシステムの利用を開始した。注目すべきは、さくらインターネットのクラウドサービス「高火力コンピューティング基盤」を採用し、大規模HPCシステムを5年間の月額課金モデルで調達したことだ。大規模HPCシステム領域で、「所有から利用へ」の流れを加速させるエポックメイキングな事例である。

 

業界

研究機関

 

目的

「超先端材料超高速開発基盤技術プロジェクト」の共通基盤システムとして利用するHPC環境の構築。新材料の開発期間を1/20に短縮するためのシミュレーション技術、マルチスケール計算技術を確立する。

 

アプローチ

大規模HPCシステムを5年間の月額課金モデルで調達。クラウド型でのHPCシステム利用により、研究者が研究開発に専念できる環境を整備するなど、システム資産を所有しないメリットを最大化する。

 

ITの効果

・消費電力を抑えつつ高い並列処理と全体性能を備えたインテル® Xeon® プロセッサー E5-2600 v4 ファミリー搭載「HPE Apollo 2000 System(1,024ノード/32,768コア)」を採用し1.153ペタフロップスの性能を発揮するHPCシステムを構築

・2Uのシャーシに4ノードを収容する高密度型サーバーならではの省スペース化・省電力化を実現

・さくらインターネット「石狩データセンター」のファシリティと人材・体制をフルに活用し、コストを抑制しつつシステム運用負荷を解消

 

ビジネスの効果

・超先端材料の開発期間1/20への短縮化を目指す国家プロジェクトの共通基盤システムを整備

・クラウド型(月額課金モデル)でのHPCシステム利用により5年間のコストを平準化

・HPCシステムの所有・運用に必要な人材、設置スペース、関連設備などの確保が不要に

・研究者がHPCシステムの運用に煩わされることなく自身のテーマに専念できる環境を実現

チャレンジ

日本のモノづくりの競争力を高める超先端材料開発のスピード化

 

「超先端材料超高速開発基盤技術プロジェクト」は、国立研究開発法人 新エネルギー・産業技術総合開発機構(NEDO)が主導し、先端素材高速開発技術研究組合と産業技術総合研究所(産総研)が共同で取り組む国家プロジェクトである。同組合には日本を代表する材料メーカー18社から研究者が参画し、産総研を集中拠点として研究開発を加速させている。同組合 技術部長の大森将弘博士は次のように説明する。

「計算科学チーム、高速試作・革新プロセス、先端ナノ計測評価の3分野に特化した研究チームを編成し、それぞれの技術開発に取り組みながら、集中研方式ならではの緊密な連携を図っています。計算科学チームの大きなミッションは、材料機能を直接的に予測するシミュレーション技術、複合材料を取り扱うためのマルチスケール計算技術を確立することにあります」

18社が事業化を目指す研究開発分野には、半導体材料、誘電材料、超高性能ポリマー、超高性能触媒、ナノカーボンなどがある。いずれも、日本のモノづくりの競争力を左右する戦略分野である。画期的な省エネ性能を発揮する機能性材料、多種類の機能を兼ね備える複合材料など、まだ世の中にない新材料を、従来の常識を超えたスピードで生み出すための共通基盤技術の開発が進む。

「産業を牽引する新材料開発をスピードアップするには、シミュレーション技術とマルチスケール計算技術が欠かせません。本プロジェクトでは、私たちが培ってきた『計算材料設計(コンピュテーショナルデザイン)基盤技術』の知見を提供し、計算科学チームを全面的に支援していきます」と、共同研究のパートナーである産総研 機能材料コンピュテーショナルデザイン研究センターの八瀬清志博士は話す。

産総研は、日本で最大規模の国立研究開発法人として、産業界で様々なイノベーションを創出してきた。基礎研究・応用研究を実用化に結びつける「橋渡し」機能の強化を戦略テーマに掲げ、民間企業との連携を拡大させている。本プロジェクトでは、計算科学チームの研究開発を支えるHPCシステムの設計・構築もリードした。

「計算科学チームの研究者とともにワーキンググループを編成し、多様なシミュレーションを実行するためのシステムがどうあるべきか徹底的に検討しました。最も重視したのは、必要な性能を持続的に提供するための安定性・信頼性です。研究者全員が満足する性能を確保しつつ、実績ある技術で汎用性の高いHPCシステムを構築することを基本方針としました」と、同センター 物性機能数理設計手法開発チーム チームリーダーの大谷実博士は話す。

本システムの入札には10数社が参加した。選ばれたのは、さくらインターネットのクラウドサービス「高火力コンピューティング基盤」である。システムの中核には、インテル® Xeon® プロセッサー E5-2600 v4 ファミリーを搭載する高密度型サーバー「HPE Apollo 2000 System」が採用され、計1,024ノード/32,768コアのHPCクラスターが構築された。

先端素材高速開発技術研究組合

技術部長
大森 将弘 氏 博士(工学)

国立研究開発法人 産業技術総合研究所

材料・化学領域
機能材料コンピュテーショナルデザイン研究センター
超先端材料超高速開発基盤技術プロジェクト SPL
八瀬 清志 氏 博士(理学)

国立研究開発法人 産業技術総合研究所

機能材料コンピュテーショナルデザイン研究センター
物性機能数理設計手法開発チーム
チームリーダー
大谷 実 氏 博士(理学)

先端素材高速開発技術研究組合

技術部
永井 裕希 氏

ソリューション

大規模HPCシステムの月額課金モデルでの調達を可能にした「高火力コンピューティング基盤」

 

「さくらインターネットの高火力コンピューティング基盤が、先端素材高速開発技術研究組合と産業技術総合研究所で共同運営するスーパーコンピューターシステムに採用」(2017年1月 さくらインターネットのプレスリリースより)――超先端材料超高速開発基盤技術プロジェクトが、HPCシステムを「5年間の月額課金モデルで調達した」というニュースは、大規模HPC領域におけるオンプレミスからクラウドへの流れを象徴する出来事として受け止められた。

「産総研の中に物理環境を構築することも考えましたが、検討の過程で外部データセンターの利用、クラウド型でのサービス利用を調達要件に加えた経緯があります。オンプレミスからクラウドへの流れは必然とは思っていましたが、当初考えていたよりもはるかにメリットが大きいことがわかったからです」(大谷氏)

1,000サーバーノード超という大規模HPCシステムのクラウド型導入は、国内ではほぼ前例がない。「所有から利用へ」という選択は、プロジェクトにどのようなメリットをもたらしたのか。

「ユーザーの視点からは、研究者がシステム管理から解放されて研究開発に専念できることが最も大きいですね。クラウド型でありながら、本プロジェクトの研究者が計算リソースを占有できることも重要です」と大森氏は話す。

「産総研としては、さくらインターネットのデータセンター設備と、高水準な運用管理体制を利用できる点を高く評価しました。自前で構築・運用するよりも、また他のベンダーの提案よりも、品質・コスト・導入期間すべての面で優位性があったのです」と大谷氏は話す。

HPC用途に特化したさくらインターネットの「高火力コンピューティング基盤」は、北海道石狩市にある自社データセンターに構築されている。「石狩データセンター」は、PUE 1.11~1.21という優れたエネルギー効率を達成しており、都市型データセンターとの比較で冷却にかかる消費電力を半減させることができるという。

「石狩データセンターでは、ホスティングや専用サーバー向けに10,000台以上のサーバー環境を運用しています。本プロジェクトの1,024サーバーノードの運用に必要なラック、電気・空調設備、運用管理体制・技術者まで、『石狩データセンター』の既存設備とリソースをフルに活用しています」と、さくらインターネット セールスマーケティング本部 営業部 部長の臼井宏典氏は話す。

本案件の要件定義書(RFP)が提示されたのは2016年9月。要件として示された性能値を本番システムで検証したうえで、2017年4月1日には本稼働に漕ぎ着けなければならなかった。

「データセンター設備の準備から着手していたのでは、とても間に合わなかったでしょう。日本ヒューレット・パッカードは、1,000台規模のマルチノードサーバーをこのスケジュールで提供できる、限られたハードウェアベンダーの1社でした」(臼井氏)

インテル® Xeon® プロセッサー E5-2600 v4 ファミリー搭載高密度型サーバー「HPE Apollo 2000 System」を採用

 

大谷氏を中心とするワーキンググループが定義した計算ノードのシステム要件は次の通りである。CPUには、消費電力を抑えつつ高い並列処理と全体性能を備えたインテル® Xeon® プロセッサー E5-2600 v4 ファミリーが選定された。さくらインターネットは、HPCシステム分野で技術力が高く評価されるティーモステクノロジックと協力し提案に臨んだ。

①1サーバーノードあたりインテル® Xeon® プロセッサー E5-2600 v4 ファミリー(16コア)を2基搭載
②1サーバーノードあたり256GBメモリ搭載、ディスクレス(ストレージからOS起動)
③計算ノードを1,024ノードで構成し、1ペタフロップス以上の論理演算性能を有すること

ティーモステクノロジックの枡田英樹氏は、提案のポイントを次のように説明する。

「マルチノードサーバー『HPE Apollo 2000 System』を軸に、128計算ノード×8グループ(計1,024ノード)でHPCシステム全体を構成しています。128計算ノード間はInfiniBand EDR(100ギガビット/秒)による密結合、8つのグループ間は疎結合としました。これは、複数の研究者が同時に利用しても、効率良く計算結果を得られるようにするための工夫です」

本プロジェクトには18社から研究者が参画しており、24時間365日途切れることなく計算処理をこなす。混雑状況に応じて8グループを使い分けることで、研究者の使い勝手を向上させながら計算稼働率を高めることができる。

「HPE Apollo 2000 Systemは1Uサーバーの2倍の高密度実装が可能で、省スペース化・省電力化にメリットがあります。また、必要な性能を持続的に提供する能力においても、世界中での豊富な稼働実績が優れた安定性・信頼性を裏づけています。『HPE iLO4』によるオンボードのリモート管理機能が使えるなど、運用のしやすさでも一歩リードしている印象です」(枡田氏)

HPC市場におけるHPEサーバー製品の存在感は際立っている。世界のHPCサーバー市場で35.9%のトップシェア*1、同スーパーコンピューター分野*2では41.1%のシェアを獲得。さらに、HPCシステムの性能ランキング「TOP 500」にランクインしているシステムの実に31%*3がHPE製である。

「HPC環境をクラウドサービスとして安心してご利用いただくために、万全の運用保守体制を作り込みました。24時間365日の稼働監視を行い、何らかの問題が発生したときは、日本ヒューレット・パッカードとさくらインターネットの技術者が連携して速やかに解決する手順を確立しています」(臼井氏)

 

*1 出典:IDC Link "HPC Market Leader Takes Aim at Big Compute - Big Data Convergence" 2016/4/4
*2 IDCの定義による50万ドル超のHPCサーバーシステム
*3 出典:www.top500.org

先端素材高速開発技術研究組合

技術部
齋藤 健 氏 博士(工学)

先端素材高速開発技術研究組合

技術部
田頭 健司 氏 博士(工学)

先端素材高速開発技術研究組合

技術部
本田 隆 氏 博士(理学)

先端素材高速開発技術研究組合

技術部
大谷 紀子 氏 博士(工学)

さくらインターネット株式会社

セールスマーケティング本部
営業部
部長
臼井 宏典 氏

ティーモステクノロジック株式会社

ビジネスインキュベーション・セクタ
パブリック・ビジネスユニット
枡田 英樹 氏

インテル® Xeon® プロセッサーE5-2600 v4 ファミリー搭載

ベネフィット

大規模HPCシステムの調達を変え超先端材料開発期間を従来の1/20にスピード化

 

「超先端材料超高速開発基盤技術プロジェクト」のHPCシステムは、計画通り2017年4月1日に稼働を開始した。設計と構築を主導した大谷氏は、さくらインターネットとティーモステクノロジックの技術力と進捗管理を高く評価する。

「実質的に3ヵ月程度で、1,024ノードの物理環境構築から性能検証、本番稼働までを完遂することができました。システムが大規模になるほど問題発生の可能性は高まるものです。膨大な機器で構成されるこの巨大システムを、ほぼノートラブルで稼働できたことは正直なところ驚きです」

HPCシステムの利用を開始した先端素材高速開発技術研究組合の研究陣は、それぞれ次のように抱負を語る。

「ロボットへの応用を視野に、有機材料を利用した軽く柔らかくしなやかなアクチュエーター材料の開発を目指しています。HPCシステムの高い性能を活かせば、研究開発の大幅なスピード化が可能です」(田頭健司博士)

「高分子材料と無機材料を組み合わせ、それぞれの特性を兼ね備えた複合材料を開発することが目標です。HPCシステムは性能が高いので、幅広い条件を同時にシミュレーションでき、研究のスピードアップに役立っています」(齋藤健博士)

「自社主力製品の大幅な高性能化を目指して、半導体デバイスへ利用可能な複合材料の開発にチャレンジしています。超高性能のHPCシステムでありながら、特別なスキルがなくても使えることが嬉しいですね」(永井裕希氏)

「カーボンナノチューブと高分子材料を組み合わせた高性能材料の開発を目指しています。自社のHPCクラスターとは桁違いの性能を使えるチャンスを活かしていきたいと思います」(本田隆博士)

「カーボンナノチューブが持つ高強度、超軽量、高電気伝導特性をさらに強化する研究に取り組んでいます。省エネルギー社会の実現に向けて貢献していきたいと考えています」(大谷紀子博士)

プロジェクトでは、前期3年間の共通基盤技術の開発を経て、後期3年間では18社それぞれのテーマで超先端材料の短期開発プロセスの確立に挑む。最後に、研究チームを率いる大森氏が次のように語って締めくくった。

「今回のHPCシステム構築を通じて、クラウドコンピューティングの威力を改めて実感しました。5年間の総コストでも、クラウドに優位性のある時代になりました。今後のシステム調達のあり方に大きな影響を与えることは間違いありません。本プロジェクトは2年目に入り、HPCシステムを使ったシミュレーター開発も本格化します。超先端材料を従来の1/20の期間で開発するための共通基盤技術の研究は、急ピッチで進んでいきます。今後の成果にぜひご期待ください」

さくらインターネット
「石狩データセンター」

データセンターのエネルギー効率を表す指標であるPUE(Power Usage Effectiveness)は、都市型データセン ターでは1.5~2.0といわれる。これに対して石狩データセンターは外気冷房のみで1.11、夏季に空調運転を行った場合でも1.21に抑えられる。

ティーモステクノロジック株式会社


HPC領域に特化したシステムインテグレーターとして、官公庁、大学、製造業のR&D市場などの顧客に対して、最先端のITインフラストラクチャーをトータルに提案。大規模クラスターシステムや高速ストレージの設計、運用支援、HPCシステムのクラウドコンピューティングサービスの提供まで高い技術力で支えている。

ご導入企業様

超先端材料超高速開発基盤技術プロジェクト 様


所在地:茨城県つくば市梅園1-1-1 産業技術総合研究所内

URL:http://www.nedo.go.jp/activities/ZZJP_100119.html