明電舎が、熱流体解析のために768コアの大規模HPCシステムを構築、並列処理の利点を活かした運用にも挑む
株式会社明電舎 様
HPCシステムのサーバーとしてHPE ProLiant DL360 Gen9を採用し、計算機シミュレーションによる解析期間を劇的に短縮
"現在、当社では海外市場での ビジネスを拡大していこうとしています。特に、開発プロジェクト真っ最中の大型の発電機の場合、海外向け製品の開発で鍵となるのはコスト削減とこれにつながる小型化。そのためいかに効果的に冷却するかをさまざまな角度から検討する必要があります。既存のHPCシステムで熱流体解析をしようとしても、性能的に非常な困難が伴いました"
－株式会社明電舎
研究開発本部 基盤技術研究所
解析センター
副センター長
小倉 和也 氏
国内有数の重電メーカー、明電舎では海外マーケットでの事業拡大を目指し、研究開発力の強化を図っている。その一環として、社内の解析ニーズを一手に引き受ける解析センターで稼働するHPCシステムの刷新を実施。
新システムの中核となるサーバーには、クラス最高水準の性能と拡張性のインテル® Xeon® プロセッサー E5-2600 v3 製品ファミリーを搭載するHPE ProLiant DL360 Gen9を採用。768コアまで強化された新システムは、半年かかった解析期間をわずか1週間にまで劇的に短縮した。
業界
製造業（電気機器）
目的
熱流体解析に用いるHPCシステムの刷新。既存HPCシステムで利用していた解析ソフトウェアANSYS Fluentと容易な操作を支えるGUI環境は継承しつつ、計算時間の飛躍的な向上を図る。
アプローチ
熱流体解析に用途を絞り込むことで、決められた予算内で、計算用サーバーのコア数を可能な限り増やし、計算パフォーマンスを最大化する。
ITの効果
・クラス最高水準の性能と拡張性のインテル® Xeon® プロセッサー E5-2600 v3 製品ファミリーを搭載するHPE ProLiant DL360 Gen9を採用した768コアの計算サーバーにより、半年かかっていた解析が1週間に大幅短縮
・既存システムと比較して、パフォーマンスは体感で5倍に
・外部クラウドの利用に伴って発生していたデータ回収作業のための出張が不要に
・現実的に処理可能なメッシュ数が3,000万から3億に拡大
・小規模な処理を数百、並行して走らせるといった解析操作も可能に
ビジネスの効果
・パーツレベルから機器全体へと解析範囲が広がり、研究開発のスピードアップに貢献
・試作機を使った実験に頼らず、多様なアイディアを試せることで製品性能のさらなる向上も実現
・製品の小型化・低コスト化のための検討が容易になり、海外マーケット向け製品開発が加速
チャレンジ
海外マーケット向けの発電機ではコストダウンと小型化が鍵
2017年に創業120周年を迎える明電舎は、長年 にわたり日本の社会や産業の期待に応える技術や製品、サービスを生み出し続けてきた国内有数の重電メーカーだ。看板となる事業は社会インフラ事業と産業システム事業。社会インフラ事業では発電から送電、変電、配電に至る各種電気機器を電力会社や官公庁、鉄道、民間企業などに提供するとともに、水処理分野の各種装置の開発・製造も手がける。一方の産業システム事業は、「モートルの明電」の伝統を基盤に、多様なモーターやインバータを提供。さらにその技術力をEV／ HEV（電気自動車／ハイブリッド自動車）やエレベーターの分野にも活かしている。
「ものづくりの心」を大切にする明電舎にあって、新製品作りに向けた研究開発の一翼を担うのが解析センターだ。同センターは大規模なHPCシステムを保有し、主に新製品の研究開発に伴って研究開発部門から寄せられる計算機シミュレーションを使った解析ニーズに対応している。解析ニーズは熱流体解析をはじめ、応力解析、電磁界解析など幅広い領域にわたる。
「現在、当社では海外市場でのビジネスを拡大していこうとしており、発電機や変圧器、遮断機、さらにモーターやインバータの研究開発に力を入れています。特に、開発プロジェクト真っ最中の大型の発電機の場合、海外向け製品の開発で鍵となるのはコスト削減とこれにつながる小型化。そのためにいかに効果的に冷却するかをさまざまな角度から検討する必要があります。既存のHPCシステムで熱流体解析をしようとしても、性能的に非常な困難が伴いました。」
2015 年2 月に動き出したHPCシステムの更新プロジェクトの背景を、同社解析センターの副センター長、小倉和也氏はこう振り返る。
発電機全体にわたる大規模解析には既存のHPCシステムは性能不足
既存のHPCシステムは計算処理部分に128コアを確保し、解析ソフトウェアとして主にANSYSを利用。解析ジョブの投入や結果の表示などはGUIから容易に操作できるようになっていた。解析のためのメッシュ数は通常3,000万メッシュ程度。大規模な解析でも1億メッシュが上限だった。
発電機の冷却方法を検討しようとすると、以前は試作機を作り、これに新たなアイディアで開発したパーツや技術を組み込み、実験で検証するしか方法がなかった。しかし、試作機製造にはコストも時間もかかるうえ、実験できる回数も限られる。そこで、仮想的に発電機のモデルを組み、計算機シミュレーションで繰り返し解析・検討するという方法が取られるようになった。
パーツレベルの新アイディアを検討する部分解析であれば既存のHPCシステムでも何とかなった。しかし、新パーツが発電機のシステム全体にどのような効果をもたらすかを検討する大規模解析にはまったくの能力不足。
同センターCAE技術課で解析チームの中心的な役割を担う技師の江尻光良氏は既存システムが抱えていた限界を次のように解説する。
「発電機の内部は非常に複雑な構造をしており、形状や材質の異なるさまざまなパーツが組み込まれていることもあって、既存システムで全体解析しようとすると半年程度かかります。近年は大規模解析の社内ニーズが増えており、現実的な期間で結果が出せるよう対応を迫られていました。」
しかし、社内からの解析要望は待ったなし。これに応えるため、計算科学振興財団が提供するスーパーコンピュータのクラウドサービス「FOCUS」も利用したが、膨大な量の出力データを入手するために、サーバーが設置されている神戸まで直接出向き、数日作業をする必要がある。その手間と時間も解析チームには大きな負担だった。
こうした事情から、同センターではHPCシステムの更新を決意。予算を確保したうえで、製品開発に不可欠な熱流体解析に特化した新たなHPCシステムの構築に乗り出す。新システムの稼働目標は2015 年7月1 日。この中核となるサーバーとして採用されたのがクラス最高水準の性能と拡張性のインテル® Xeon® プロセッサー E5-2600 v3 製品ファミリーを搭載するHPE ProLiant DL360 Gen9だった。
株式会社明電舎
研究開発本部 基盤技術研究所
解析センター
副センター長
小倉 和也 氏
株式会社明電舎
研究開発本部 基盤技術研究所
解析センター CAE 技術課
技師
江尻 光良 氏
ソリューション
大規模ベンチマーク環境とFluentの豊富なノウハウにより、採用が決定
サーバーの機種選定で解析センターが最大の判断材料としたのは、実際の利用に則したモデルや実データをセンター側から提供して実施したベンチマーク結果。ターゲットは熱流体解析で利用するソフトウェアはANSYSFluent、サーバーはクラスタ構成といった条件を提示し、予算内でいかに速いシステムを実現できるか複数のSIer に提案を依頼した。HPE ProLiant DL360 Gen9でのシステム提案を検討していたティーモステクノロジックの佐生直大氏は、提案作りの様子をこう語る。
「ベンチマークでの競争という目標が見えたことで、予算内でいかに計算能力の高いクラスタを構成するかに知恵を絞りました。Fluent の特性やCPUコアとクロックのバランス、InfiniBandのポート数等、全体最適を考慮し最終的にたどり着いたのは、コア数 768というものでした。」
しかし、これだけ大規模なベンチマーク環境をいかに、しかも迅速に確保するか。この点で、ワールドワイドに整備されているHPEのベンチマーク環境が役立ったと佐生氏は語る。
「急な依頼にもかかわらず、フランスにあるベンチマーク環境から768コア分をスピーディに確保してくれました。さらに、ANSYS Fluent に精通した日本ヒューレット・パッカードのエンジニアがベンチマークを担当。短期間に粛々とベンチマークをこなせました。日本ヒューレット・パッカードのこうした対応は非常に心強く感じました。」（佐生氏）
ベンチマーク結果で見事トップを射止めたのはティーモステクノロジックの提案だった。ベンチマークの数値を提示されたときの印象を、CAE技術課主任の佐藤潤一氏は次のように語る。
「提案間で、サーバーのCPUスペックやコア数に大きな差は出ないだろうと予想していました。差が出るとしたら大規模なコア数をうまく使い、ANSYS Fluent の性能をどこまで引き出せるか。日本ヒューレット・パッカードがこうした高度なノウハウをきちんと持っていることに改めて驚かされました。」
ベンチマーク性能の未達を強力なチームワークで乗り切る
HPE ProLiant DL360 Gen9を中核としたシステムの採用決定を受け、5月以降、HPEでの構築作業がスタート。ここで大きな課題が持ち上がる。提案したサーバー構成で見込んでいた性能が達成できないのだ。日本ヒューレット・パッカードサイドでは、ベンチマークを実施したフランスのベンチマークセンターと対策を協議したり、ANSYS 社と直接コンタクトを取り技術情報を詳細に確認したり、とチューニングを実施。さらに、ティーモステクノロジックサイドにより、インフィニバンドのさらなるチューニングや並列処理ドライバの交換、並列処理自体の運用の工夫などを実施。
「日本ヒューレット・パッカードと協力して、考えつく限りのぎりぎりの調整や技術的な工夫をすべて投入。最終的には、明電舎様からの要求を超える性能を達成し、当初の予定どおり7月1日からの稼働にこぎ着けることができました」と、ティーモステクノロジックの服部知秀氏は語る。
「ユーザーのために、企業の枠を超えた本当のチームとして一致協力して全力で課題の解決に取り組んでくれたティーモステクノロジックとHPEには、本当に感謝の言葉しかありません。」（小倉氏）
株式会社明電舎
研究開発本部 基盤技術研究所
解析センター CAE 技術課
主任
阿部 崇志 氏
株式会社明電舎
研究開発本部 基盤技術研究所
解析センター CAE 技術課
主任
佐藤 潤一 氏
ティーモステクノロジック株式会社
ビジネスインキュベーション・セクタ
インダストリアル・ビジネスユニット
佐生 直大 氏
ティーモステクノロジック株式会社
ビジネスインキュベーション・セクタ
サービス・マネジメントユニット
服部 知秀 氏
流体、乱流、熱伝達、反応のモデリングに必要な各種の物理モデリング機能を備えたANSYS Fluent は、航空機の翼に流れる気流のほか、炉内燃焼、気泡塔、石油プラットフォーム、血流、半導体製造、クリーンルーム設計、廃水処理プラントなどの様々な工業用途に対応します。特別なモデルを利用することで、シリンダー内の燃焼、空力音響、ターボ機械、混相システムを特殊なモデルでモデリングできる機能も追加され、用途が広がっています。
ティーモステクノロジック株式会社は、官公庁及び大学、製造業のR&D市場のお客様に対して、サーバー、ストレージ、ネットワーキングなどITインフラストラクチャを総合的に提案するシステムインテグレーターです。ITシステムを構築する上でデータをどう扱うか（どう整理するべきか）を中心に考え、大規模クラスターシステムや高速ストレージの設計から運用支援、それらHPCシステムのクラウドコンピューティングサービスの提供までを行っています。
ベネフィット
従来は半年かかった大規模解析がわずか1週間に大幅短縮
新HPCシステムが稼働を開始してからすでに6カ月ほどが経過した。CAE技術課の解析エンジニアたちは日々、劇的にアップした新システムのパフォーマンスに満足の度を強めている。ちなみに、既存システムと比較して、体感的に解析スピードは5 倍ぐらいに高速化したという。また、扱えるメッシュ数は3 億メッシュまで拡大。これまではメッシュ数の上限を気にして、事前にメッシュ数を減らす調整作業が必要だったが、新システムではこれも不要になった。
解析の大幅な高速化を実現した一方で、GUI によるインタラクティブな操作を支えるリモートアクセス環境は既存システムの仕組みを継承。WANを経由した他の拠点からでも、768コアという大規模な並列処理環境を、自分のワークステーションを扱うような感覚で自在に操作できる。この点に関しても、解析エンジニアたちの満足度は非常に高い。
解析の新たなチャレンジ目標が見え新システムへの社内の期待も高まる
この強力で使いやすい新HPCシステムを活用して、今後試してみたいテーマも徐々に見え始めている。CAE技術課主任の阿部崇志氏は次のように語る。
「小さな規模ではあるが、多数のパターンを解析しなくてはならないニーズも確実に存在します。パターンごとにコアを割り振り、並列で一気に解析する。新システムではこうした運用も可能なため、解析効率の大幅なアップが見込めます。こうした運用も今後は試してみたいと考えています。」
小倉氏がチャレンジしてほしいと考えているのは、関連する複数の解析を同時に実行する連成解析。熱流体と応力の連成解析などができれば、シミュレーションによる解析結果はより現実の現象に近づくことになる。
「これまでは大規模解析などできないもの、と諦めていたさまざまな部門が新しいHPCシステムの稼働を聞きつけ、今後は自分たちの研究開発でもできるのでは、と前のめりになってきています。新システムに対する社内の期待は大変盛り上がってきています。」
小倉氏はこう話を締めくくった。
詳しい情報
ご導入企業様
株式会社明電舎 様
本件でご紹介の日本ヒューレット・パッカード製品・サービス
本ページの導入事例は、PDFで閲覧頂けます。PDF (830KB)
本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。