サイバーエージェントが、オブジェクトストレージ環境を超高密度サーバー上に移行
株式会社サイバーエージェント 様
HPE Apollo 4200 System上にオブジェクトストレージを構築、2Uサーバーの4.5倍以上の省スペース化を実現
"まさに衝撃でした。大容量のHDD搭載を可能にしつつ、一般的な2Uサーバーとほとんど変わらないメンテナンス性を実現していたのです"
－株式会社サイバーエージェント DCソリューション
プライベートクラウド推進室
ハードウェア・ストレージワーキンググループ
平野 智洋 氏
サイバーエージェントが、Ameba事業・ゲーム事業を支えるプライベートクラウド基盤に、クラス最高水準の性能と拡張性を誇るインテル® Xeon® プロセッサー E5-2600 v3 製品ファミリー搭載「HPE Apollo 4200 System」を採用した。この新世代の高密度サーバーは、一般的なラックマウント型2Uサーバーの4.5倍に達する168TB（最大224TBまで拡張可能）という大容量ハードディスクドライブ（HDD）搭載を可能にしている。サイバーエージェントでは、オブジェクトストレージ環境の2UサーバーをHPE Apollo 4200に順次入れ替えていくことで、3年間のトータルコストを1/4まで削減する計画だ。
業界
IT・エンターテインメント
目的
アメーバ事業・ゲーム事業向けに提供するオブジェクトストレージ環境（OpenStack Swift）の容量拡大と省スペース化。ハードウェアの設置スペースを拡大させずに、6PB（RAW容量）のキャパシティを確保すること。
アプローチ
Swift環境のストア領域を従来の2Uラックマウント型サーバーから高密度型サーバーに置き換え、同一スペースでより大容量のHDDを集約。一般的な2Uサーバーと同等のメンテナンス性を確保できることを条件とする。
ITの効果
・クラス最高水準の性能と拡張性を誇るインテル® Xeon® プロセッサー E5-2600 v3 製品ファミリー搭載「HPE Apollo 4200 System」を採用し、2Uサーバーの4.5倍のHDD容量（168TB）を確保
・高密度型サーバーながら一般の2Uサーバーと同等のメンテナンス性を確保
・国内標準の奥行1,000mmミリのラックに収容可能
・スペース効率を大幅に高めながら消費電力も抑制
ビジネスの効果
・3年間の運用におけるトータルコスト（サーバーの初期導入費および運用コスト）を1/4に削減
・2Uで最大224TBの超高密度化も可能に（8TB HDD使用）
・オブジェクトストレージ環境として将来のビジネス要求に対応できる容量を確保
・早期貸出プログラムにより最新機種の事前検証を実施、最短期間での導入が可能に
チャレンジ
Amebaの多様なサービスを支えるプライベートクラウド環境
1998年に創業したサイバーエージェントは、我が国を代表するインターネット総合サービス企業である。国内トップの扱い高を誇るインターネット広告事業、「Ameba」を中心とするメディア事業、数々のヒットタイトルを持つスマートフォンゲーム事業を柱に成長を持続させながら、定額制音楽配信サービス「AWA」や映像配信プラットフォーム「AmebaFRESH!」などを次々と投入し、エンターテインメント領域へのチャレンジを加速させている。2014年に東京証券取引所第一部への上場を果たし、2015年には企業ブランドロゴを一新した。
「Amebaでスマートフォン向けのコミュニティやゲームを本格化させたのは2012年のことです。この戦略が奏功し、2014年には会員数が4,000万人を突破しました。この右肩上がりの成長を支えてきたのが、2011年に構築したプライベートクラウド環境です」と語るのは、DCソリューション プライベートクラウド推進室 ハードウェア・ストレージワーキンググループの平野智洋氏である。
サイバーエージェントでは、コミュニティやゲームなどの多様なサービスを提供するシステム基盤として、およそ3,000台のサーバーからなる独自のプライベートクラウド環境を構築している。技術本部 サービスインフラグループのエンジニア 岩永翔氏は次のように説明する。
「Amebaやゲームでのサービス提供に必要なリソースを、社内ユーザー／エンジニアが必要なときにオンデマンドで利用できる環境です。ユーザーがWebブラウザから設定画面にアクセスし、スペックやOSなどを選択するだけでサーバー環境を構築できる機能を作り込んでいます」
このプライベートクラウドと合わせて構築されたのが、「Airforce Object Storage（AOS）」と名づけられたオブジェクトストレージ環境である。アクセス頻度の高いアクティブなデータをプライベートクラウド上のブロックストレージに、ログやバックアップデータなどをAOSのオブジェクトストレージに格納することで、投資対効果を高めることが狙いだ。AOSは、OpenStackのストレージコンポーネントであるSwiftをベースに、キャッシュ機能やプライベートクラウド基盤と連携する認証機能などが独自に作り込まれている。
「サービスを提供していく過程で、大量の画像ファイル、ログやスナップショットなど、保持し続けなければならない様々なデータが生成されます。AOSは、容量無制限で使える汎用的なデータストアとしてこれらを格納します。永遠に増加していくデータを保持していくための、いわば“最後の砦”です」（岩永氏）
株式会社サイバーエージェント
DCソリューション
プライベートクラウド推進室
ハードウェア・ストレージワーキンググループ
平野 智洋 氏
株式会社サイバーエージェント
株式会社サイバーエージェント
技術本部
サービスインフラグループ
エンジニア
岩永 翔 氏
ソリューション
6PBのストレージ容量を確保しながらデータセンターのスペースを増やさない
オブジェクトストレージ環境「AOS」は、汎用的な2Uのラックマウント型サーバーとその内蔵ディスクを利用して構築された。当初、サーバー4台・HDD容量144TBの規模でスタートしたが、データ増大のペースは予想を大きく上回るものだったという。
「Ameba上に1日に投稿されるデータは、画像だけで100万枚を超えます。四半期ごとに2Uサーバーを5台ずつ、1年に1ラックというペースでサーバーが増設されたのです。その結果、2015年7月の時点で2Uサーバーがおよそ60台、ディスク容量は2.5PB（ペタバイト）にまで達しました。これまでと同じ方法でハードウェアを増強していくのは、もはや限界であることは明らかでした」（平野氏）
平野氏らは、AOSが将来的に6PBのストレージ容量を確保しながら、データセンターのスペースを増やさないためにどうすべきか議論を重ねた。シンプルな解決策として「より多くのHDDを搭載可能なサーバー製品」を検討したが、いくつかの課題が明らかになったという。
「高密度型のサーバー製品の大半は、大容量のHDDを搭載するために特殊なハードウェア設計を施しており、日本国内で標準的に使われている奥行き1,000ミリのサーバーラックに収容できない、一般的な2Uサーバー製品と同様の手順でメンテナンスできない、ということがわかったのです」（岩永氏）
思わぬ突破口はアメリカにあった。ちょうどその頃、ラスベガスで開催されたイベント「Discover 2015」に参加した平野氏が、発表されたばかりの高密度ストレージサーバー「HPE Apollo 4200 System」を目にしたのだ。
「まさに衝撃でした。HDDを筐体の手前と奥の2段で配置する非常に合理的な設計で、大容量のHDD搭載を可能にしつつ、一般的な2Uサーバーとほとんど変わらないメンテナンス性を実現していたのです。すべてのHDDがホットプラグ対応という説明を受け、この製品をぜひ使ってみたいと考えました」（平野氏）
帰国した平野氏は、即座に日本ヒューレット・パッカードにコンタクトした。そして、日本では発売前のタイミングだったが、早期貸出プログラムにノミネートして検証用の実機を入手した。
パフォーマンスを犠牲にせず従来比4.5倍の内蔵ストレージを実現
インテル® Xeon® プロセッサー E5-2600 v3 製品ファミリー搭載「HPE Apollo 4200 System」は、ペタバイト級の分散型ストレージ環境に最適化されたサーバー製品として2015年7月に登場した。8TBの3.5インチHDDを28台搭載することで、最大224TBという大容量の内蔵ストレージを実現。2Uサーバーとして業界トップクラスの高密度を達成している。2.5インチHDDなら最大50台（90TB）搭載可能だ。
「パフォーマンスを犠牲にすることなく内蔵ストレージ容量をどれだけ増やせるか、この点を重視して検証を進めました。私たちは、検証を進めていく中で、AOSの基盤としてHPE Apollo 4200 Systemが最適であるとの確信を深めていきました。HPE Apollo 4200 Systemでは、従来の2Uサーバーで36TBだった内蔵ストレージを4.5倍の168TBまで拡大し、しかも十分な処理性能を発揮することが確認できたのです」（平野氏）
「高密度型」を謳う多くの製品は、大型シャーシに複数のサーバーノードを収容する独自の設計を採用している。これに対してHPE Apollo 4200 Systemは、一般的な2Uサーバーとほぼ同じサイズ（高さ2U／奥行き813ミリ）で、1筐体でサーバーとして完結している。日本国内で標準的に使われる1,000ミリラックに収容できるだけでなく、ディスク交換などのメンテナンスも一般的な2Uサーバーと変わらない。
「AOSの中に特殊なサーバーを混在させることなく、システム構成をシンプルに保つことができる点も評価のポイントになりました。プロビジョニングなどのクラウド管理も、日々の運用手順も変更する必要がなく、2Uサーバーとまったく同じ使い勝手で運用できることを確認できました」（岩永氏）
およそ1ヶ月の検証期間を経て、HPE Apollo 4200 Systemは正式採用された。平野氏は「HPE Apollo 4200 Systemという最新機種を、いち早く実機で検証できたことがスムーズな導入につながった」とHPEの柔軟な対応を評価する。
ベネフィット
オブジェクトストレージ環境のトータルコストを3年間で1/4に
容量無制限で利用できるオブジェクトストレージ環境「AOS」では、今後オブジェクトサーバーを順次HPE Apollo 4200 Systemに入れ替えていく計画だという。これにより、大きなコスト削減効果も見込まれている。
「HPE Apollo 4200 Systemを採用することで、サーバーの台数を増やすことなく、ストレージ容量を6PBまで拡張できる確証が得られました。しかも、機器の導入・入替えコスト、データセンターや電力といったファシリティコスト、ネットワーク機器の利用効率までを含めて試算したところ、3年間でトータルコストを約1/4にまで削減できることがわかりました」（平野氏）
サーバーの台数を増やす必要がないため、データセンターにかかるコストや、ネットワークを含む周辺機器のコストを抑制できることが大きいという。HPE Apollo 4200 System は6TB HDD搭載モデルでの運用を開始したが、8TBや10TBのHDDを採用すれば更なる大容量化も可能になる。
「1Uや2Uのサーバーをずらりと並べることが、最もリーズナブルだった時代が終わったことを実感しています。HPE Apollo 4200 Systemのようなサーバーにデータを高密度に集約し、運用も効率化してライフサイクル全体のコストを下げていくことが求められています」（岩永氏）
平野氏は次のように展望を語って締めくくった。
「データ格納の “最後の砦”であるオブジェクトストレージ環境『AOS』の拡充により、エンジニアの開発要求にも、ビジネスの急成長にも安心して応えられる体制が強化されました。HPE Apollo 4200 Systemならではの大容量内蔵ストレージを活かして、Hadoopによるデータ解析基盤や画像配信基盤などへの導入検討も始まっています。私たちの新しいビジネスチャレンジを支えてくれることを期待します」
ご導入企業様
株式会社サイバーエージェント 様
本件でご紹介の日本ヒューレット・パッカード製品・サービス
本ページの導入事例は、PDFで閲覧頂けます。PDF (801KB)
本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。