日本のAI活用を加速する「AI橋渡しクラウド」向けクラウドストレージサービスをScality RING＋HPE Apolloで構築
国立研究開発法人 産業技術総合研究所 様
所在地：東京都江東区青海2-3-26 産総研 臨海副都心センター
URL：https://www.aist.go.jp/
大容量データの効率的な活用を実現。企業や大学・研究機関を強力に支援
国立研究開発法人 産業技術総合研究所では、世界最大級のオープンAIインフラストラクチャ「AI橋渡しクラウド」向けの新サービス「ABCIクラウドストレージ」の提供を開始した。深層学習用データなどの大容量データを容易に取り扱える環境を提供することで、日本のAI研究開発をさらに加速させていくのが狙いだ。システムの中核には、Scality社のオブジェクトストレージ「Scality RING」と日本ヒューレット・パッカードの「HPE Apollo」を利用し、高い性能・信頼性と拡張性を備えたセキュアなクラウドストレージ基盤を実現している。
業界
研究開発
目的
世界最大級の処理能力を誇るAI処理向け計算インフラストラクチャ「AI橋渡しクラウド」の効率的な利活用を下支えするクラウドストレージサービスを提供すること。
アプローチ
Amazon S3互換インターフェースを備えたセキュアかつ高性能・大容量オブジェクトストレージ基盤を構築するという要件に対し、「Scality RING」＋「HPE Apollo」を提案。
ITの効果
• Scality RING＋HPE Apolloによるオブジェクトストレージ基盤を構築
• Amazon S3互換インターフェースによるサービス提供を実現
• 1台のサーバーに60本のHDDを搭載し集約度の高いインフラを実現
• ファームウェアの改ざん検知や自動修復で高いセキュリティを確保
ビジネスの効果
• 「AI橋渡しクラウド」を利用するユーザーの利便性向上を実現
• 暗号化機能を実装することで、機密性の高いデータの活用も可能に
• IoTデバイスやエッジシステムとのデータ連携も容易に行える環境を実現
• AI研究で共通に利用される学習モデルやデータを公開する基盤としても活用
AI利活用を目指す企業や大学・研究機関を強力に後押しする「AI橋渡しクラウド」
日本最大級の公的研究機関として、日本の産業や社会に役立つ技術の創出とその実用化、並びに革新的な技術シーズを事業化につなげるための「橋渡し」機能に注力する国立研究開発法人 産業技術総合研究所（以下、産総研）。現在では全国11か所に研究拠点を展開し、「エネルギー・環境」「生命工学」「情報・人間工学」「材料・化学」「エレクトロニクス・製造」「地質調査」「計量標準」の7研究領域において、社会課題の解決や新たなイノベーションの創出に向けた活動を展開している。その中でも、近年注目を集めているAI研究の牽引役を担っているのが「人工知能研究センター」（AIRC）だ。同センターでは製造、サービス、医療・介護、セキュリティなど様々な分野へのAI実装を促進し、国際的な競争力強化や、AIと人との協働による豊かな社会の実現を目指している。
「AIRCでは、それぞれの研究チームがテーマごとに専門的な研究開発を行っていますが、私が研究チーム長を務める人工知能クラウド研究チームでは、AI利活用に必要な計算機インフラの研究開発を手掛けています」と語るのは、産総研 人工知能研究センター 総括研究主幹 小川 宏高 氏。そうした取り組みのひとつが、世界トップレベルの計算処理／データ処理能力を誇るAI処理向け計算インフラストラクチャ「AI橋渡しクラウド」（ABCI）である。ここでは、550AI-PFLOPS/37.2PFLOPSの処理能力を誇る高性能計算機システムと、22PBの大容量ストレージシステムを提供。高い効率性と省電力性を実現するために、データセンターもスクラッチで設計されている。さらに注目されるのが、AI研究や利活用に取り組みたい企業や大学・研究機関なら、誰でもこの環境を利用できるという点だ。
「AIを事業に活かしたいと考える企業が8割にも上る一方で、実際に取り組みを進めているのはその2割程度に留まると言われています。こうしたギャップを埋めていくことで、日本のAI利活用をさらに促進していくのがABCIの目的です」と小川氏は説明する。その狙いは見事に当たり、2020年3月現在で、約400研究プロジェクト／約1,700名の利用者が、新たなAIアプリケーションの開発や学習モデルの構築にABCIを活用しているとのこと。AIを実社会に役立てる取り組みに、大きな貢献を果たしているのである。
国立研究開発法人 産業技術総合研究所
人工知能研究センター
総括研究主幹
小川 宏高 氏
大容量データの活用をより容易にすべく「ABCIクラウドストレージ」の提供を開始
さらに産総研では、2020年１月よりABCI向けのオブジェクトストレージサービス「ABCIクラウドストレージ」の提供を開始した。小川氏はその背景を「ABCIは、いわばGPUを用いたスパコンシステムです。一般にスパコンシステムというものは、システムにログインするにせよ、データをアップロードするにせよ、面倒な手続きを強いられることが多い。そもそも、AI研究には、データを大量に投入すればするほど良い結果が得られるという特性があります。しかしこうしたスパコンの使いにくさが、効率的なAI研究を阻む要因になるようでは問題です。そこで、ABCIの計算システムに対し、内部や外部から簡単にデータを格納したり、取り出したりできるシステムが必要と考えたのです」と説明する。
ABCIクラウドストレージの設計・開発にあたっては、「Amazon S3互換のオブジェクトストレージ」であることが重要なポイントとなった。小川氏はこの点について「もちろん通常のファイルストレージやブロックストレージを用いて、ストレージ基盤を構築する方法もあります。しかし、オブジェクトストレージであれば、オブジェクトを格納するバケット単位でアクセス権限を制御したり、データに暗号化を施したりと、より細粒度な制御が行えます。このことは、AI研究において大きなメリットとなります」と語る。また、既に多くの企業や大学・研究機関で活用されているAmazon S3と互換性のある環境であれば、「ハードウェア／ソフトウェアのどちらにおいてもデファクト技術を活用する」というABCIの方針にも沿った形でサービスを提供できる。
実際の調達仕様書では、前述のAmazon S3互換のオブジェクトストレージであることに加え、「全体で17PB以上の物理容量を確保し、将来的に100PB以上のスケールアウトが可能であること」「ABCI高性能計算システムの各ノード及び外部ネットワークから高速にアクセスできること」「アカウント／アクセス制御などのセキュリティ管理機能を有すること」「認証機能や暗号化機能を備えること」「大規模環境での導入実績」などの項目を策定。総合評価方式の下実施された一般競争入札により富士通株式会社が提案した、Scality社のオブジェクトストレージ「Scality RING」と日本ヒューレット・パッカード（以下、HPE）の高密度ストレージサーバー「HPE Apollo 4000」の採用が決定した。
高性能・大容量オブジェクトストレージ基盤を確立、システムの集約度とセキュリティを高めることにも成功
今回ABCIクラウドストレージが導入したScality RINGは、汎用x86サーバー上で動作するSDS（Software Defined Storage）製品だ。実際にデータを格納する「Storage Server」とデータへのアクセスや保存処理を行う「Connector Server」、管理・監視機能を受け持つ「Supervisor」の3つのコンポーネントで高性能・大容量オブジェクトストレージ環境を構成。データはリング状に配置されたノードに分散して保存されるため、ハードウェア障害が発生した際などにも確実に保護することができる。また、システムを止めることなく増設や交換が行えるため、サーバー製品のEOSLなどにも容易に対応することが可能だ。実際に海外のある通信事業者では、この特長を活かして９年以上も無停止で運用を続けている。「サービスのインフラを支える製品である以上、きちんとした実績があり信頼の置けるものでなくてはなりません」と小川氏。Scality RINGは、まさにそうした厳しい要求に応えられる製品と評価されたのだ。なお、今回はAmazon S3互換オブジェクトストレージとしての導入だが、Scality RING自体はNFSやSMBによるファイルアクセスにも対応している。
一方、サーバー製品として導入されたHPE Apolloも、最適なインフラ環境の実現に大きく寄与。今回導入された「HPE Apollo 4510 Gen10」は、4Uサイズの筐体に60本／840TB分ものディスクを搭載できるため、システムの集約度を飛躍的に高めることができる。「ABCIの設計にあたっては、処理能力だけでなく効率性や省電力性についても徹底的に追求しました。データセンターを見てもらえば分かりますが、かつて例のないくらいの超高密度を実現しています。それだけに、ABCIクラウドストレージについても、できるだけ集約度を高められるプラットフォームが望まれました」と小川氏は振り返る。加えて、もう一つのポイントが、HPE独自開発のシリコンチップ「HPE Integrated Lights-Out5（iLO5）」による高いセキュリティだ。このチップには、ファームウェアの改ざん検知や自動修復を行う機能が備わっており、年々悪質化・巧妙化が進む脅威に対してハードウェアレベルで対処することができる。小川氏はこの点について、「オープンに公開する基盤のため、セキュリティ機能も評価項目に入れました」と振り返るが、導入後もサービスに影響を及ぼすようなインシデントは一切発生していないとのことだ。
システム構築作業もスムーズに進んだとのこと。小川氏は「外部からもアクセスできるサービスということで、制度や規約の整備などには多少の時間を要しました。しかし、基盤構築に関しては、特段問題になるような点はありませんでしたね」と語る。なお、構築面の工夫としては、保存するデータのサイズに応じて、レプリケーションとイレイジャーコーディングの2種類の方法を使い分けている点が挙げられる。比較的容量の小さいファイルはレプリケーション、大きいファイルはイレイジャーコーディングとすることで、高いデータ保護レベルを保ちつつ性能と容量効率の最適化を行っているのだ。
なおHPEでは、Scality社との強力なアライアンスに基づき、高密度HPEサーバー＋Scality RINGによるSDSソリューションをワールドワイドで展開している。具体的にはHPEからのライセンス販売に加えて、ハード／ソフトを一体で提供することも可能。ちなみに、今回のABCIクラウドストレージについても、HPEワンストップソリューションを利用した導入となる。また、各種の技術検証やリファレンス構成をはじめとするホワイトペーパーの発行などを両社共同で行っているほか、構築／コンサルティングサービスも用意。これにより、効果的なSDS導入を実現することができる。
エッジシステムとの柔軟な連携も可能に、学習モデルやデータを社会に還元する取り組みも推進
ABCIクラウドストレージの提供が開始されたことで、ABCIを利用するユーザーの利便性は大きく向上。学習用大容量データの保存や計算機システムとのやり取りがより容易に行えるようになったほか、手元で作成したコンテナイメージをアップロードして計算機システムから利用するといった使い方もできる。医療や流通・小売などの分野では、患者や顧客の個人情報に準ずるようなデータを取り扱うケースも少なくない。しかしこうしたものについても、ABCIクラウドストレージの暗号化機能を利用することで、セキュアなデータ活用を行うことが可能だ。
さらに、もう一つ見逃せないのが、エッジシステムとの連携も柔軟に行えるという点だ。小川氏は「カメラやセンサーなどのデータをAIで分析したいと考えた場合、従来は一度どこかのサーバーにデータを集めておく必要がありました。しかし最近では、こうしたデバイスのIoT化が進んでおり、Amazon S3互換の標準的なプロトコルを用いて直接データをABCIクラウドストレージ上に格納することができます。その結果、今取得したばかりのデータを使って新しい学習モデルを作り上げたり、その学習モデルをまたエッジシステム側に戻して活用するといったことができます。いわばデータのサプライチェーンが実現できるのです」と説明する。こうした環境をうまく利用すれば、AI研究のサイクルをよりスピーディに廻していく上でも、大きな効果が期待できる。
加えて産総研では、AI研究で共通して使われるようなデータセットをパブリックデータセットとして提供する取り組みにも、ABCIクラウドストレージを活用していく考えだ。その一環として、過去に実施されたプロジェクトで開発された学習モデルやデータを公開する試みも進めているとのこと。「こうしたものを利用する方が増えてくれば、もっと新しい学習モデルやデータを作ろうというモチベーションも高まるはず。そうした正のスパイラルが広がることを期待しています」と小川氏は語る。
このような取り組みの裏側には、研究開発に利用できるデータがあるのとないのでは、進捗に大きな差が付いてしまうという事情がある。「膨大な計算機資源を用意して大容量データの学習を行うというのは、一般的な企業にとって非常に高コストです。その問題を解決するためにABCIを開発したわけですが、そこで作られたデータや学習モデルについても、再利用できるような形で社会に還元していくことが求められます」と小川氏は語る。産総研では、これまでもデータの利活用を促進するデジタルアーキテクチャを社会に提示する取り組みを進めてきた。ABCIクラウドストレージもその文脈に則り、データ利活用の観点でも社会貢献を果たそうとしているのだ。今後は計算機システムの能力を2倍に引き上げる計画も立てられており、これに伴ってABCIクラウドストレージの需要もますます増えることと予想される。しかし、こうした際にも、環境をスケールアウトさせることで容易に対応することが可能だ。Scality RINGとHPE Apolloが活用される場面も、ますます拡がっていきそうだ。
ご導入製品情報
構造化されていないデータ、ビッグデータ分析、バックアップとアーカイブ、およびその他のデータストレージを多用するワークロード専用のインテリジェントなデータストレージプラットフォームです。
本件でご紹介の日本ヒューレット・パッカード製品・サービス
本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。