Réseau de datacenter d’IA

Qu’est-ce qu’un réseau de datacenter d’IA ?

L’IA générative (GenAI) s’impose à travers le monde comme une technologie révolutionnaire. L’IA générative, et plus généralement les grands modèles IA appliquée au deep learning, engendrent de nouvelles exigences en matière de réseau de datacenter d’IA. Le développement d’un modèle IA comporte trois phases :

• Phase 1 : Préparation des données – Collecte et organisation des ensembles de données à intégrer au modèle IA.
• Phase 2 : Entraînement IA – Entraînement d’un modèle IA pour effectuer une tâche spécifique en l’exposant à de grandes quantités de données. Durant cette phase, le modèle IA apprend les régularités et les relations présentes au sein des données d’entraînement afin de développer des synapses virtuelles pour imiter l’intelligence.
• Phase 3 : Inférence IA – Fonctionnement dans un environnement réel en vue de faire des prédictions ou de prendre des décisions basées sur des données nouvelles et inédites.

La phase 3 est généralement prise en charge par les réseaux de datacenter et de cloud existants. Cependant, la phase 2 (Entraînement IA) nécessite d’importantes ressources de données et de calcul pour soutenir son processus itératif, au cours duquel le modèle IA apprend à partir de données collectées en continu pour affiner ses paramètres. Les processeurs graphiques (GPU) sont bien adaptés aux charges de travail d’entraînement et d’inférence IA, mais doivent fonctionner en clusters pour être efficaces. L’augmentation du nombre de clusters améliore l’efficacité du modèle IA, mais accroît également les coûts. Il est donc essentiel d’utiliser un réseau de datacenter d’IA à hautes performances et à faible latence qui ne nuise pas à l’efficacité du cluster.

Un grand nombre – jusqu’à plusieurs dizaines de milliers – de serveurs GPU (dont le coût dépassait 400 000 USD par serveur en 2023) doivent être connectés pour entraîner de grands modèles. En conséquence, l’optimisation du temps d’achèvement des tâches (JCT) et la minimisation ou l’élimination de la latence de queue (le phénomène dans lequel les charges de travail d’IA aberrantes ralentissent l’achèvement de la tâche d’IA tout entière) sont des éléments clés pour optimiser le retour sur investissement des GPU. Dans ce cas d’utilisation, le réseau de datacenter d’IA doit être fiable à 100 % et ne pas entraîner de dégradation de l’efficacité du cluster.

Bien que les serveurs GPU onéreux soient généralement le principal déterminant du coût global des datacenters d’IA, un réseau de datacenter d’IA hautement performant est néanmoins crucial pour optimiser l’utilisation des GPU. Technologie ouverte et éprouvée, Ethernet convient parfaitement pour fournir cette solution au sein d’une architecture réseau de datacenter optimisée pour l’IA. Les améliorations recherchées comprennent la gestion de la congestion, l’équilibrage de charge et la réduction de la latence afin d’améliorer le JCT. Enfin, la simplification de la gestion et l’automatisation garantissent la fiabilité et la continuité des performances.

• Conception du fabric : Les datacenters d’IA peuvent adopter diverses architectures de fabric, mais un fabric Clos non bloquant du type « any-to-any » est recommandé pour optimiser les performances lors de l’entraînement à grande échelle. La plupart des clusters d’IA actuels utilisent une conception entièrement optimisée pour les rails garantissant des performances prévisibles et une bande passante constante. Ces fabrics sont conçus avec des vitesses réseau uniformes de 400 Gbit/s (évoluant vers 800 Gbit/s et 1,6 Tbit/s) de la carte réseau jusqu’au commutateur leaf en passant par le spine. Selon la taille du modèle et l’échelle du cluster de GPU, un fabric non bloquant à deux couches et trois étages ou à trois couches et cinq étages pourra être déployé pour offrir un débit élevé et une faible latence.
• Contrôle des flux et prévention des congestions : Outre la capacité du fabric, des facteurs de conception supplémentaires peuvent être pris en compte pour augmenter la fiabilité et l’efficacité globales du fabric. Ceux-ci comprennent le dimensionnement approprié des interconnexions de fabric avec un nombre de liaisons optimal, ainsi que la capacité de détecter et de corriger les déséquilibres de flux afin de prévenir la congestion et la perte de paquets. La notification de congestion explicite (ECN) avec notification de congestion quantifiée du datacenter (DCQCN) et contrôle de flux basé sur la priorité résout les déséquilibres de flux pour garantir une transmission sans perte.

Pour réduire la congestion, un équilibrage de charge dynamique et adaptatif est déployé au niveau du commutateur. L’équilibrage de charge dynamique (DLB) redistribue les flux localement au niveau du commutateur afin de les répartir uniformément. L’équilibrage de charge adaptatif surveille les tables de routage et de saut suivant afin d’identifier les déséquilibres et de détourner le trafic des chemins congestionnés.

Lorsque la congestion ne peut pas être évitée, l’ECN fournit une notification anticipée aux applications. Durant ces périodes, les commutateurs leaf et spine mettent à jour les paquets compatibles ECN pour informer les expéditeurs de la congestion, ce qui oblige ceux-ci à ralentir la transmission pour éviter les pertes de paquets en transit. Si les points de terminaison ne réagissent pas à temps, le contrôle de flux basé sur la priorité (PFC) permet aux récepteurs Ethernet de partager des informations sur la disponibilité de la mémoire tampon avec les expéditeurs. Enfin, en période de congestion, les commutateurs leaf et spine peuvent suspendre ou limiter le trafic sur des liens spécifiques afin de réduire la congestion et d’éviter les pertes de paquets, permettant ainsi des transmissions sans perte pour des classes de trafic spécifiques.

• Échelle et performance : Ethernet s’est imposé comme la solution standard ouverte de référence pour gérer les exigences du calcul haute performance et des applications d’IA. Ce standard a connu plusieurs évolutions au fil du temps (y compris la progression actuelle vers 800 GbE et 1,6 TE) pour devenir plus rapide, plus fiable et plus évolutif, ce qui en fait le choix privilégié pour gérer les exigences des applications d’IA stratégiques en matière de débit de données élevé et de faible latence.
• Automatisation : L’automatisation est la dernière pièce du puzzle pour une solution de réseau de datacenter d’IA efficace, même si toutes les solutions d’automatisation ne se valent pas. Pour être pleinement utile, le logiciel d’automatisation doit privilégier les opérations axées sur l’expérience. Il est utilisé en continu pour la conception, le déploiement et la gestion du datacenter d’IA. Il automatise et valide le cycle de vie du réseau de datacenter d’IA du jour 0 au jour 2 et au-delà. Il en résulte des conceptions et des déploiements de datacenter d’IA reproductibles et validés en continu qui permettent non seulement d’éliminer les erreurs humaines, mais aussi de tirer parti des données de télémétrie et de flux pour optimiser les performances, faciliter le dépannage proactif et éviter les interruptions.

La solution de réseau de datacenter d’IA de Juniper s’appuie sur nos décennies d’expérience en matière de réseaux et d’innovations dans le domaine de l’AIOps pour proposer des solutions de réseau d’IA basées sur Ethernet qui soient tout à la fois ouvertes, rapides et simples à gérer. Ces fabrics haute capacité, évolutifs et non bloquants garantissent les meilleures performances en matière d’IA, le temps d’exécution des tâches le plus court et l’utilisation des GPU la plus efficace. L’architecture de la solution de réseau de datacenter d’IA de Juniper repose sur trois piliers fondamentaux :

• Performances massivement évolutives – pour optimiser le temps d’exécution des tâches et donc l’efficacité du GPU.
• Ouverture conforme aux normes de l’industrie – pour étendre les technologies existantes des datacenters grâce à des écosystèmes pilotés par le secteur qui favorisent l’innovation et réduisent les coûts à long terme.
• Opérations axées sur l’expérience – afin d’automatiser et de simplifier la conception, le déploiement et l’exploitation des datacenters d’IA pour les fabrics back-end, front-end et de stockage.

Ces piliers sont soutenus par :

• Une conception de réseau de datacenter d’IA haute capacité et sans perte tirant parti d’un fabric Clos non bloquant du type « any-to-any », la topologie la plus polyvalente pour optimiser les frameworks d’entraînement IA.
• Des commutateurs et routeurs hautes performances, tels que les routeurs HPE Juniper PTX Series Routers, basés sur Juniper Express Silicon pour le spine/super spine, et les commutateurs QFX Series Switches, basés sur les ASIC Tomahawk de Broadcom, en tant que commutateurs leaf assurant la connectivité des serveurs d’IA.
• L’efficacité du fabric garantie par le contrôle de flux et l’évitement des collisions.
• L’évolutivité et les performances de l’Ethernet ouvert et standardisé à 800 GbE.
• L’automatisation poussée assurée par le logiciel de réseau intent-based Apstra® Data Center Director pour automatiser et valider le cycle de vie du réseau de datacenter d’IA du jour 0 au jour 2 et au-delà.