お客様導入事例

合同会社DMM.com 様

データセンターの課題を解決する、新世代仮想化基盤を構築

合同会社DMM.com 様

所在地:東京都港区六本木三丁目2番1号 住友不動産六本木グランドタワー24階
URL:https://dmm-corp.com/

64コア AMD EPYC™ プロセッサー+液冷システム搭載サーバーで、サービスの性能/安定性向上と運用管理のクラウド化を実現

エンターテインメントや金融、医療など、幅広い領域でサービスを展開するDMM.com。同社ではユーザーに最適な顧客体験を提供すべく、サービスを支えるインフラの環境改善に取り組んでいる。その一環として新たに導入されたのが、64コア AMD EPYC™ プロセッサーと独自の液冷システム「HPE スマートリキッドクーリング」を搭載した日本ヒューレット・パッカード(以下、HPE)の「HPE ProLiant DL325 Gen11」である。これによりインフラの性能/信頼性を大幅に引き上げることに成功。また「HPE GreenLake for Compute Ops Management」によるクラウド一元管理も実現している。

業種

情報サービス業

 

ビジョン

快適な顧客体験を実現する、高性能・高信頼インフラの提供

 

戦略

サービスを支える仮想化基盤にHPE ProLiant DL325 Gen11サーバーを採用

 

成果

• サービス用仮想化基盤の性能を従来の約2倍にアップさせることに成功

• データセンターの設備に手を加えることなく、サーバーの液冷化を実現

• 大量のサーバー群をクラウドから効率的に一元管理できる環境を実現

ご導入製品

HPE ProLiant DL325 Gen11

HPE GreenLake for Compute Ops Management

HPE スマートリキッドクーリング


顧客向けサービスを支える、社内仮想化基盤の環境改善に着手

「誰もが見たくなる未来。」のコーポレートメッセージの下、エンターテインメントから金融、医療、英会話、3Dプリント、地方創生に至るまで、幅広い領域にわたるサービスを展開するDMM.com。現在はグループ25社で60以上もの事業を手掛けており、各種サービスを利用する会員数も4,101万人に達している(2023年)。

同社がこれほど多くの事業に取り組んでいるのは、「なんでもやる」ことを企業としての生存戦略としているからだ。そのためには、描いた構想を具現化する先端テクノロジーの活用が欠かせない。そこで2018年に、テックカンパニーを目指す上での指針である「Tech Vision」を策定。ここでは「Agility(敏捷的)」「Scientific(科学的)」「Attractive(魅力的)」「Motivative(意欲的)」の4つのTech Valueを、「当たり前を作り続ける」ための要素として掲げている。

DMM.com ITインフラ本部 インフラ部 IaaS開発グループ 持永 裕太 氏は「さらに2021年には、「Tech Vision」のアップデートを実施。『変化を楽しもう EVER-CHANGING』を新たに加えました。各種サービス用基盤の構築・運用・保守を手掛ける当部門においても、この方針に則って新たなチャレンジに取り組んでいます」と語る。

同部門では、仮想サーバー台数にして約5000台規模にも上る大規模仮想化基盤をオンプレミスで構築。各種サービスを支えるインフラとして、それぞれの事業部門に提供している。「パブリッククラウドでインフラを構築するケースも増えていますが、コスト面などを考えるとオンプレミスの方が有利なこともあります。実際に、お客様向けのあるサービスについては、2020年にパブリッククラウドから社内仮想化基盤への引き戻しを行いました」と語るのは、DMM.com ITインフラ本部 インフラ部 IaaS開発グループチームリーダー 高橋 尚史 氏。さらに、今回同社では、このサービス用仮想化基盤の再構築に着手。その背景には、ある特殊な要件があった。

重たいCPU負荷に耐え得る、高性能インフラ環境を、いかにして提供するか

元々このサービスは同社の中でも長い歴史を有しており、かつてはオンプレミスで運用していた。これを数年前にパブリッククラウドへ移行したものの、その費用負担が予想以上に重くなっていたという。持永氏は「本サービスは、WebRTCを用いたコミュニケーションサービスですが、動画のエンコードや配信をリアルタイムで行うため、CPUの負荷が非常に重い。このため、CPUが大きめのインスタンスをずっと動かし続けなければならず、多額のランニングコストが掛かっていました」と説明する。

インフラコストが増えるということは、当然ながらサービスの収益性にも影響する。そこで事業部門側から、インフラをオンプレミスに戻したいとの相談が寄せられた。「オンプレミスに戻すにしても、クラウドのメリットであるデプロイ作業の自動化などは継続したいとの要望でした。ちょうど、我々の方にVMware Integrated OpenStackベースで作った仮想化基盤がありましたので、そちらを使ってもらうことにしました」と高橋氏は語る。

これにより、インフラコストを抑えられるようにはなったが、まだ一つ大きな課題が残っていた。それは、前述の通りこのサービスがCPUのパフォーマンスに強く依存するという点だ。「最初に提供した基盤は汎用ワークロード向けに作ったものでしたので、これほどの負荷が掛かることは想定されていません。通常時は問題ないものの、大きなキャンペーンがある時などは、別途クラウドでリソースを確保したりしなくてはなりませんでした」と持永氏は振り返る。そこでサーバーが更新時期を迎えたことを機に、この仮想化基盤の性能強化を実施。そのための製品として新たに採用されたのが、「AMD EPYC™ プロセッサー」(以下、AMD EPYC™)を搭載した「HPE ProLiant DL325 Gen11」(以下、ProLiant DL325 Gen11)である。

AMD EPYC™ プロセッサーと、独自の液冷システムを搭載したHPE ProLiant DL325 Gen11を採用

HPEの新世代サーバーであるProLiant DL325 Gen11には、極めて高い性能が要求されるインフラ向けの機能や特長が数多く備わっている。この点が採用の大きな決め手となったとのこと。高橋氏は「たとえば、今回の基盤はネットワーク遅延に対する要求も厳しいため、遅延の少ない1ソケットサーバーでシステムを組みたかった。1CPUでも多くのコアを持ち高い性能を発揮できる第四世代AMD EPYC™ を搭載したProLiant DL325 Gen11は、まさにこうした要件にピッタリです」と語る。元々同社では、これまでも重たいワークロードの掛かるシステムにAMD EPYC™ 搭載のHPEサーバーを採用している。そこでも大きな成果を上げていたため、今回も迷わずAMD EPYC™ 搭載モデルを選んだとのことだ。

もっとも、高性能プロセッサーの性能をフルに発揮させる上では、サーバーの発熱量や電力消費量をどう抑えるかも重要な課題となってくる。これを解決するカギとなったのが、Gen11サーバーからサポートされた新たな液冷システム「HPE スマートリキッドクーリング」だ。ここでは、ハイブリッド型内部冷却方式が採用されており、自動車と同じような小型ラジエーターをサーバー内部に搭載。さらに循環する冷却液を空冷ファンによる吸気で冷やす構造となっている。一般にサーバーの液冷には大掛かりな外部装置が必要になるため、日本国内のデータセンターで導入するのはかなりハードルが高い。事実上、大学や研究機関などの専門システムでしか使えないというのが現状だ。その点、このシステムであれば、通常のデータセンターやサーバールームでも液冷が実現できるのだ。

「2Uサーバーであれば、空冷でもなんとかなりそうでしたが、できればスペース効率が高く取り扱いも容易な1Uサーバーでシステムを組みたかった。これが実現できたのは、我々としても大変嬉しいポイントでしたね」と高橋氏は語る。

合同会社DMM.com
ITインフラ本部 インフラ部
IaaS開発グループ チームリーダー
高橋 尚史 氏

大量のサーバー群の運用管理を、クラウドから一元的に実施

加えて、もう一つ見逃せないのが、サーバーのクラウド一元管理を実現するサービス「HPE GreenLake for Compute Ops Management」(以下、COM)の存在だ。従来型のサーバー管理では、業務サーバー群を管理するための管理サーバーを別途構築し、これ自体の運用保守も行わなければならなかった。拠点数が増えるほど管理サーバーの数も増加するため、運用管理負荷も重くなる一方だ。その点、COMはSaaS型のサービスであるため、管理サーバーを用意することなく、複数拠点のサーバーをクラウドから一元的に管理することができる。

「当社では大量のサーバー群を稼働させている上に、リモートワークも主流になっています。こうした中で、インフラの安定稼働を維持していくには、COMのようなクラウド管理の仕組みがあることが非常に重要なポイントになります」と高橋氏。また、持永氏も「COMはProLiantサーバー自体の設定や監視、管理はもちろんのこと、VMwareのライフサイクル管理製品である『VMware vSphere Lifecycle Manager』(以下、vLCM)との連携も可能です。ハードウェアスタックを管理するための『Hardware Support Manager』も提供されていますので、ハードウェアから仮想化基盤までのレイヤーをシンプルに統合管理できます。当部門では少人数でインフラを廻しているだけに、このことは大変大きなメリットとなります」と続ける。

従来と同等のスペースで、インフラの性能を従来の約2倍にアップ

ProLiant DL325 Gen11による新仮想化基盤は、2023年9月より本番稼働を開始。ちなみに今回のプロジェクトは、日本国内におけるGen11サーバーの初導入事例でもある。インフラを刷新した効果も、非常に大きかったとのこと。持永氏は「旧環境には20コアのCPUが2基搭載されており、合計40vCPUを割り当てた仮想マシンを動作させていました。これに対し新仮想化基盤では、30vCPUでほぼ同等の性能を発揮できます。しかも、新仮想化基盤には64コアのAMD EPYC™ が搭載されていますから、この30vCPUの仮想マシンを2台分載せられます。おかげで、インフラのパフォーマンスを従来の2倍に高められました」と満足げに語る。これにより、インフラ刷新前に抱えていたサービスの性能問題を、完全に解消することができた。なお、導入当初は30vCPU+30vCPUの2台に分けて利用していたが、その後60vCPU1台に集約することで、事業部側の管理コストを削減。また、CPU負荷は高いものの、メモリはあまり必要としないシステムであることから、搭載メモリ量も従来の半分に減らしてコスト削減につなげているとのことだ。

また、もう一つ見逃せないのが、これだけの性能向上を実現した一方で、物理サーバーの設置スペースは従来と同じ1U×12台分に収まっている点だ。「もし、HPE スマートリキッドクーリングが無かったら、2Uサーバーで組まざるを得なかったでしょうから、スペースも現状の2倍必要でしたね」と高橋氏は語る。実際の冷却効果も、非常に大きかったとのこと。持永氏は「移行を終えた後の旧仮想化基盤もまだ残っていますので、液冷によってどれくらい温度が変わるのか調べてみました。すると、現状はほぼ負荷が掛かっていない旧仮想化基盤に対し、本番稼働中の新仮想化基盤の方が、約10℃ほど低いとの結果が得られました」と語る。

各種のアップデート作業も、ボタン一つで自動的に実行、他のサービスへの展開も視野に

今回から新たに導入されたCOMも、サーバー運用管理の効率化に威力を発揮。持永氏は「これまでの環境では、サーバーのファームウェア更新やVMwareのパッチ適用作業をそれぞれ個別に行う必要がありました。それが現在では、ボタンをひとつ押すだけで、サーバーの再起動から各種のアップデート作業まで、すべての操作が自動的に行えます。ハードウェア/ソフトウェアの管理を一括して行えるのは大変便利ですし、空いた時間をより付加価値の高い作業に充てることもできます。実際に私自身も、インフラの運用管理に手が掛からなくなったことで、業務時間の8割程度を開発業務にシフトできるようになりました」と語る。

また高橋氏も「HPEサーバーについては、これまでも『HPE OneView』(以下、OneView)による統合管理を行っていました。これも決して使い勝手に不満があるわけではないのですが、ファームウェアの更新を行う際などには多少手作業が発生します。その点、COMの場合は、クラウド上に用意されたパッチセットを選ぶだけですから、手間も省けますし作業ミスも起きにくい。現状、OneViewで管理している既存サーバーについても、今後はCOMへ移行できればと考えています」と語る。

今回の成果を高く評価した同社では、今後もAMD EPYC™ +COMの活用を推進していく考えだ。「この構成でどれくらい性能が出るという指標を確立できましたし、サーバーのスケールアウト作業などもCOMで効率的に行えます。CPU負荷の重いサービスに対しては、今回と同様の環境で対応できればと考えています」と高橋氏。また持永氏も「当社の事業は非常にスピードが速いので、我々としても速やかにインフラを提供していく必要があります。そのためには運用管理に手間を掛けてはいられませんので、COMによる自動化などをさらに進めていきたい。それにより、事業部のユーザーやサービスを利用されるお客様への貢献を果たしていきたいですね」と展望を述べた。

合同会社DMM.com
ITインフラ本部 インフラ部
IaaS開発グループ
持永 裕太 氏

(写真左より)

合同会社DMM.com ITインフラ本部 インフラ部 IaaS開発グループ 持永 裕太 氏 / 合同会社DMM.com ITインフラ本部 インフラ部 IaaS開発グループ チームリーダー 高橋 尚史 氏


ご導入製品情報

HPE ProLiant DL325 Gen11

第4世代のAMD EPYC™ を搭載したHPE ProLiant DL325 Gen11サーバーは低コストの1U 1ソリューションで、非常にバランスの優れたコンピューティング、メモリ、ネットワーク帯域幅を1Pの経済性で提供します。


本件でご紹介の日本ヒューレット・パッカード製品・サービス

本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。

導入ハードウェア

導入サービス

導入ソリューション

HPE スマートリキッドクーリング