AIデータセンターネットワーキング

AIデータセンターネットワーキングとは

生成AI (GenAI) が革新的なテクノロジーであることが世界中で証明されつつあります。生成AI、そして一般的な大規模ディープラーニングAIモデルが、AIデータセンターネットワーキングに新たな要件をもたらしています。AIモデルの開発には次の3つのフェーズがあります。

• フェーズ1: データの準備 - AIモデルに入力するデータセットの収集とキュレーションを行います。
• フェーズ2: AIトレーニング - 大量のデータにさらすことで、特定のタスクを実行するようにAIモデルをトレーニングします。このフェーズでは、AIモデルはトレーニングデータ内のパターンと関係性を学習し、知能を模倣する仮想シナプスを開発します。
• フェーズ3: AI推論 - 現実世界の環境で運用し、新しい未知のデータに基づいて予測や意思決定を行います。

フェーズ3は通常、既存のデータセンターとクラウドネットワークによってサポートされます。ただし、フェーズ2 (AIトレーニング) では、AIモデルが継続的に収集されるデータから学習してパラメーターを改良するという反復プロセスをサポートするために、大量のデータとコンピュートリソースが必要になります。グラフィックスプロセッシングユニット (GPU) は、AI学習および推論ワークロードに適していますが、効率的に実行するにはクラスターで動作する必要があります。クラスターをスケールアップすると、AIモデルの効率は向上しますが、コストも増加するため、クラスターの効率を損なわない、高性能で低レイテンシのAIデータセンターネットワーキングを使用することが重要です。

大規模なモデルをトレーニングするには、多数の (場合によっては数万台の) GPUサーバーを接続する必要があり、2023年にはサーバー1台あたりのコストが40万ドルを超えていました。そのため、ジョブ完了時間 (JCT) を最適化し、テールレイテンシ (異常なAIワークロードによってAIジョブ全体の完了が遅くなる状態) を最小限に抑えるか排除することが、GPUのROIを最適化するための鍵となります。このユースケースでは、AIデータセンターネットワークは100%の信頼性を備え、クラスターの効率を損なわないものでなければなりません。

高価なGPUサーバーがAIデータセンター全体のコストを押し上げることが多いとはいえ、GPUの使用率を最大化するには高性能なネットワークが必要となるため、AIデータセンターネットワーキングは極めて重要です。イーサーネットは、AI向けに最適化されたデータセンターネットワークアーキテクチャー内で、こうしたソリューションを提供するのに最適な、オープンで実績のあるテクノロジーです。機能強化には、輻輳管理、負荷分散、レイテンシの最小化によるJCTの改善が含まれます。最後に、簡素化された管理と自動化により、信頼性と継続的なパフォーマンスが保証されます。

• ファブリック設計: AIデータセンターはさまざまなファブリックアーキテクチャーを導入できますが、大規模なトレーニングのパフォーマンスを最適化するには、any-to-anyのノンブロッキングクロスファブリックが推奨されます。現在、ほとんどのAIクラスターは完全なレール最適化設計を使用しており、予測可能なパフォーマンスと一貫した帯域幅を保証しています。これらのファブリックは、NICからリーフ、スパインに至るまで、400Gbps (800Gbpsおよび1.6Tbpsに移行中) の均一なネットワーク速度で構築されています。モデルのサイズとGPUクラスターの規模に応じて、2層3ステージまたは3層5ステージのノンブロッキングファブリックを展開することで、高スループットと低レイテンシを実現できます。
• フロー制御と輻輳回避: ファブリックの容量に加えて、いくつかの要素を設計時に追加で検討することで、ファブリック全体の信頼性と効率が向上します。たとえば、最適なリンク数を持つ適切なサイズのファブリックインターコネクトや、輻輳やパケット損失を回避するためにフローの不均衡を検出して修正する機能について検討します。明示的輻輳通知 (ECN) とデータセンター量子化輻輳通知 (DCQCN)、および優先度ベースのフロー制御を組み合わせることで、フローの不均衡を解決し、ロスレス伝送を保証します。

輻輳を軽減するために、スイッチには動的かつ適応型の負荷分散が導入されています。動的負荷分散 (DLB) は、スイッチでフローをローカルに再配分し、均等に分散させます。適応型負荷分散は、フロー転送とネクストホップテーブルを監視して不均衡を識別し、混雑したパスからトラフィックを迂回させます。

輻輳が回避されない場合、ECNはアプリケーションに早期通知を行います。この間に、リーフとスパインはECN対応パケットを更新して送信側に輻輳を通知します。これにより、送信側は転送中のパケットのドロップを回避するために送信速度を低下させます。エンドポイントが時間内に反応しない場合、優先度ベースのフロー制御 (PFC) により、イーサーネットの受信側はバッファーの使用可否に関するフィードバックを送信側と共有できます。最後に、輻輳時には、リーフとスパインが特定のリンク上のトラフィックを一時停止または調整して輻輳を軽減してパケットのドロップを回避できます。これにより、特定のトラフィッククラスでロスレス伝送が可能になります。

• スケールとパフォーマンス: イーサーネットは、ハイパフォーマンスコンピューティングおよびAIアプリケーションの厳格さに対応するのに最適なオープン標準ソリューションとして登場しました。時間の経過とともに、より高速で信頼性が高く、スケーラブルなものへと進化し (現在の800GbEおよび1.6TEへの進化を含む)、ミッションクリティカルなAIアプリケーションに必要な高データスループットと低レイテンシの要件に対応するのに最適な選択肢となっています。
• 自動化: 自動化は効果的なAIデータセンターネットワーキングソリューションを完成させる最後の要素ですが、自動化ならどんなものでもよいわけではありません。自動化ソフトウェアが最大限の価値を発揮するには、エクスペリエンスファーストの運用を実現する必要があります。自動化ソフトウェアは、AIデータセンターの設計、展開、管理に継続的に使用され、Day 0から Day 2以降までのAIデータセンターネットワークライフサイクルを自動化および検証します。それにより、繰り返し可能で継続的に検証されたAIデータセンターの設計と展開が可能になり、ヒューマンエラーが排除されるだけでなく、テレメトリとフローデータを活用してパフォーマンスを最適化し、プロアクティブなトラブルシューティングを実現し、障害を回避することができます。

JuniperのAIデータセンターネットワーキングソリューションは、数十年にわたるネットワーキングの経験とAIOpsのイノベーションを基盤に構築され、オープンで高速、かつ管理が容易なイーサーネットベースのAIネットワーキングソリューションを実現します。これらの大容量でスケーラブルなノンブロッキングファブリックは、最高のAIパフォーマンス、最速のジョブ完了時間、最も効率的なGPU使用率を実現します。JuniperのAIデータセンターネットワーキングソリューションは、次の3つの基本的な設計指針に基づいています。

• 極めてスケーラブルなパフォーマンス - ジョブの完了時間を最適化し、それによってGPU効率を最大限に向上させます。
• 業界標準のオープン性 - 長期的にイノベーションを促進してコストを削減する、業界主導のエコシステムを活用して既存のデータセンターテクノロジーを拡張します。
• エクスペリエンスファーストの運用 - バックエンド、フロントエンド、ストレージのファブリックにおけるAIデータセンターの設計、展開、運用を自動化および簡素化します。

これらの指針を支える要素は次のとおりです。

• AIトレーニングフレームワークを最適化するための最も汎用性の高いトポロジである、Any-to-Anyのノンブロッキングクロスファブリックを活用した、大容量かつロスレスなAIデータセンターネットワーク設計。
• 高性能スイッチおよびルーター (スパイン/スーパースパイン向けのJuniper Express SiliconベースのHPE Juniper PTX Series Routersや、AIサーバー接続を提供するリーフスイッチとしてのBroadcomの Tomahawk ASICベースのQFXシリーズスイッチなど)。
• フロー制御と衝突回避によるファブリックの効率化。
• 800GbEによるオープンで標準ベースのイーサーネットのスケールとパフォーマンス。
• Apstra® Data Center Directorのインテントベースネットワーキングソフトウェアを使用した広範な自動化により、Day 0からDay 2以降までのAIデータセンターネットワークライフサイクルを自動化および検証。