この記事では、データバックホールを最小化する方法とそれが必要である理由について解説します。

エッジで生成されるデータの量はきわめて多く、世界経済フォーラムは、2025年までにすべてのユースケースで1日に463エクサバイトのデータが作成されるようになると見積もっています。またGartnerレポートでは、同じ期間にエッジで作成と処理が行われるエンタープライズデータが全体の4分の3に達すると予測されています。

これは朗報です。

アプリケーション、センサー、お客様、ソーシャルメディア、通信事業者、そして多数のIoTデバイスは、そのすべてがこうした膨大なデータの作成で重要な役割を果たしており、テクノロジーは、実際にデータが作成される多くのケースで分析を行えるように変化してきました。ただし、そうしたデータの大半は分析を行うために中核となる拠点に集約する必要があります。

そして膨大なデータが取り込まれることを考えると、それは厄介な問題となります。

ここで役に立つのが、エッジでの分析とクラウドのコアでの分析からなるデュアル分析です。残念なことに、エッジからコアコンピューティングへの大量のデータバックホールは、ネットワークに大きな負担をかけ、ネットワーク帯域幅のコスト、低速でコストがかかる可能性があるリンクでの輻輳、すべての動作を維持するためのIT部門による監視などの問題をもたらす可能性がありますが、企業はこうした問題を回避するために、プロアクティブに措置を講じてデータ負荷を軽減する必要があります。

これについて、データ環境の監視、移行、および管理方法を自動化する企業である、CompilerWorks社で最高技術責任者を務めるShevek氏は、次のように述べています。「データバックホールには、コストと時間がかかります。移動するデータの量が増えるとその分スピードが遅くなるため時間がかかり、インターコネクトのコストから電力予算まで、その他すべての側面でコストがかかるのです」。

データバックホールを削減する方法

目標はコストと帯域幅のバランスを取ることですが、これは常に同じではなく、時間をかけて何度も評価する必要があります。

範囲が限られたケースでは、移動するデータを簡単に選択できます。これに関しては、火星探査機からデータを移動して「火星に生命は存在するのか」という疑問を解消することの問題について考えてみてください。

これについて、Shevek氏は次のように述べています。「私たちにエッジのすべてのデータを把握し、それを分析する方法がわかる先見の明があれば、火星探査機からの通信全体を1つの情報 (イエスかノー) にまで減らすことができます。しかしそのような先見の明はないため、私たちは潜在的な情報を一切失うことがないよう、リモート処理のコストとデータ伝送のコストに基づいて、エッジで行うこととローカルで行うことをインテリジェントに分けています」。

ただし、この地球でより一般的なシナリオでは、エッジのAIが拡大するのに伴って、そのビットが設定された理由についての証拠を示すための透明性と能力がより一層重要になるものと思われます。たとえばエッジでは、アルゴリズムによってローン申請が却下された金融のシナリオや、アルゴリズムに基づいて誰かの保釈金が非常に高く設定された裁判のシナリオなどが考えられますが、どちらのケースでも、「コンピューターがノーと言った」ということが有効な回答にはなりません。そのため、データには必ずしもビジネス価値があるとは限りませんが、ガバナンスと道徳の面で価値があるため、維持する必要があります。

これは、「火星の生命」の例で考えたアプローチの限界を示しています。存在しないデータについては、最初に「見せて欲しい」と伝えることになりますが、シンプルな二者択一とは異なり、道徳的な問題と法的な問題がある状況では、そうした問題を解消するためのデータを提示できる必要が生じてきます。

つまり、負担を減らしたり、データ転送を最適化したりするために何かをできるようにするには、その前にエッジでデータを分類する必要があるわけですが、そのためにどの方法を選択するのかが重要となります。

これについて、エッジAIプラットフォームプロバイダーであるCachengo社でマーケティング担当バイスプレジデントを務めるErik Ottem氏は、次のように述べています。「技術者がエッジでデータを圧縮したり最小化したりするのは、多くの場合に一時しのぎの対応であり、それによって実際に問題が解決されることはありません。このような対応によって今日の帯域幅の問題が解決されることはあるかもしれませんが、その範囲を広げられることはほとんどなく、長期的な解決策を見出さなければならないということが先延ばしになっているだけにすぎません」。

また同氏は、次のように付け加えています。「バックホールの問題の短期的な解決策としては、分析ワークロードの結果をデータセンターやクラウドに送るしかありませんが、現在では、エッジに適したシステムコンポーネントと専用のソフトウェア環境の進化によってそれが可能になっています」。このアプローチは、今後も引き続き、必要に応じてパフォーマンスと容量が許容可能なパラメーターの範囲内に収まっていることを確認し、他のエッジデータの収集に影響を与えるために定期的に膨大なソースデータを移動しなければならないという事実を否定するものではありません。

ほとんどの場合、企業はエッジ分析全体の影響を最小限に抑えるために、既存のデータ管理戦略を見直して改善する必要があります。

これについてLGN社のWarner氏は、「エッジAIアプリケーションがかつてない規模で本番環境に展開されるのに伴って、データセンターでAIアプリケーションのデータのボリュームが増加する中、企業のデータ管理およびデータウェアハウス戦略において、この種のワークロードとそれを最適化する必要性がきわめて重要になりつつある」と述べています。

専有データにも固有の文脈的価値がある

Deloitte社のAIプラクティスのシニアアドバイザーを務めるThomas Davenport氏は、Harvard Business Reviewの投稿で次のように述べています。「これは企業秘密や (多くの場合に独自のものであり、実際にはデータであることがほとんどない) 知的財産というより、企業がそれを有する唯一の組織であるか、それを固有のビジネス資産にするために十分な価値を付加したデータであると言えます」。

また同氏は、次のように語っています。「専有データは、大きい場合もあれば小さい場合もあり、構造化されていることもあればされていないこともあり、rawデータの場合もあれば精緻化されている場合もあります。重要なのは他者による複製が容易でないという点であり、データ管理を通じて攻撃的価値を得るための強力な手段となります」。

データを慎重に分類することは重要ですが、データをため込むのを恐れるといったことは避けなければなりません。

そのうち役に立つかもしれないデータを捨ててしまったり、失ってしまったりするのを恐れるのは普通のことですが、多くのビジネスでは一般的にそうした恐怖に根拠はありません。一方、医学研究や不正検出などでは、それが原理となっていますが、最も重要なのは文脈です。

車両識別番号およびライセンス番号検索プラットフォームであるVinPitの共同創設者であるMiranda Yan氏にとって、こうした懸念は「むしろ極端」であり、同氏が言うには、データはアルゴリズムを通過するため、重要な要素であるアウトプットはどのみち保存できます。たとえば、フィルターの基準を場所にすれば、関係のない情報を最小限に抑えられるわけですが、フィルター処理されていない大量のデータにはほとんど価値がなく、フィルター処理されたデータも時間が経つと有用でなくなるということを忘れてはなりません。そして機械学習では、ユーザーが重みやパラメーターを「選択」せず、それらに影響を与える可能性がありますが、最終的にはソフトウェアによる学習が行われます。

• どのようなデータを作成しているのかを把握する。
• ビジネスニーズや特定の専有コンテンツに対応するのに必要なデータだけを移動する。
• 最小限のデータを移動することに重点を置く。
• データの価値を継続的に再評価する手順を確立する。こうした手順を確立していなければ破棄されてしまうデータが重要になることもあるため、データを選択するときにはデータサイエンティストを密接に関与させる必要があります。