Reti di data center AI

Cosa sono le reti di data center AI?

L'AI generativa (GenAI) si sta rivelando una tecnologia rivoluzionaria in tutto il mondo. L'AI generativa e, in generale, i grandi modelli di AI per il deep learning impongono nuovi requisiti per le reti di data center AI. Lo sviluppo di un modello di intelligenza artificiale prevede tre fasi.

• Fase 1: Preparazione dei dati - Raccolta e gestione dei set di dati da immettere nel modello di intelligenza artificiale.
• Fase 2: Addestramento dell'AI - Insegnare a un modello AI a svolgere un’attività specifica esponendolo a grandi quantità di dati. Durante questa fase, il modello AI apprende modelli e relazioni all'interno dei dati di addestramento per sviluppare sinapsi virtuali che imitano l'intelligenza.
• Fase 3: Inferenza dell’AI - Operare in un ambiente reale per formulare previsioni o decisioni basate su dati nuovi e inediti.

La fase 3 è generalmente supportata dai data center e dalle reti cloud esistenti. La fase 2 (addestramento dell'AI) richiede tuttavia ingenti risorse di elaborazione e dati per supportare il suo processo iterativo, in cui il modello AI apprende in modo continuo dai dati raccolti per perfezionare i suoi parametri. Le graphics processing unit (GPU) sono adatte ai carichi di lavoro di apprendimento e inferenza dell'intelligenza artificiale, ma devono funzionare in cluster per essere efficienti. La scalabilità verticale dei cluster migliora l'efficienza del modello AI ma aumenta anche i costi, è quindi fondamentale utilizzare reti di data center AI ad alte prestazioni e bassa latenza che non ostacolino l'efficienza del cluster.

Pe l’addestramento di modelli di grandi dimensioni è necessario connettere molti server GPU, anche decine di migliaia, (con costi superiori ai 400.000 dollari nel 2023). Di conseguenza, l'ottimizzazione del Job Completion Time (JCT) e la riduzione al minimo o l'eliminazione della latenza di coda (una condizione in cui i carichi di lavoro di intelligenza artificiale anomali rallentano il completamento dell'intero lavoro di intelligenza artificiale) sono fondamentali per ottimizzare il ritorno sull'investimento nella GPU. In questo caso d'uso, la rete di data center AI deve essere affidabile al 100% e non diminuire l’efficienza del cluster.

Anche se, in generale, server GPU costosi rappresentano il costo complessivo dei data center AI, la rete di data center AI è fondamentale in quanto è necessaria una rete ad alte prestazioni per aumentare al massimo l’utilizzo della GPU. Ethernet è una tecnologia aperta e collaudata, la più adatta a fornire questa soluzione all'interno di un'architettura di reti di data center ottimizzata per l'intelligenza artificiale. I miglioramenti includono la gestione della congestione, il bilanciamento del carico e la latenza ridotta al minimo per migliorare il JCT. Infine, gestione e automazione semplificate garantiscono affidabilità e prestazioni continue.

• Progettazione del fabric: i data center AI possono adottare diverse architetture di fabric, ma per ottimizzare le prestazioni durante l'addestramento su larga scala si consiglia un fabric Clos any-to-any non bloccante. La maggior parte dei cluster di intelligenza artificiale utilizza una progettazione fully rail-optimized, garantendo prestazioni prevedibili e larghezza di banda costante. Questi fabric sono realizzati con velocità di rete uniformi di 400 gb/s (che passano a 800 gb/s e 1.6 tb/s) dalla NIC alla leaf e attraverso la spine. In base alla dimensione del modello e alla scala del cluster GPU, è possibile distribuire un fabric non bloccante a due livelli e tre stadi o un fabric non bloccante a tre livelli e cinque stadi per garantire un throughput elevato e una bassa latenza.
• Controllare il flusso ed evitare la congestione: oltre alla capacità del fabric, ulteriori considerazioni progettuali ne aumentano l'affidabilità e l'efficienza nel suo complesso. Queste considerazioni includono interconnessioni fabric di dimensioni adeguate con il numero ottimale di link e la capacità di rilevare e correggere squilibri di flusso per evitare congestione e perdita di pacchetti. La Explicit Congestion Notification (ECN) con Data Center Quantized Congestion Notification (DCQCN) e il controllo del flusso basato sulla priorità risolvono gli squilibri di flusso per garantire una trasmissione lossless.

Per ridurre la congestione, sullo switch viene distribuito un bilanciamento dinamico e adattivo del carico. Il bilanciamento dinamico del carico (DLB) ridistribuisce i flussi sullo switch a livello locale per distribuirli in modo uniforme. Il bilanciamento del carico adattivo monitora l'inoltro del flusso e le tabelle degli hop successivi per identificare gli squilibri e deviare il traffico dai percorsi congestionati.

Quando non si riesce ad evitare la congestione, l'ECN invia una notifica tempestiva alle applicazioni. Durante questi periodi, il leaf-spine aggiorna i pacchetti compatibili con ECN per avvisare i mittenti della congestione inducendo i mittenti a rallentare la trasmissione per evitare la perdita di pacchetti durante il transito. Se gli endpoint non reagiscono in tempo, il Priority-Based Flow Control (PFC) consente ai ricevitori Ethernet di condividere il feedback con i mittenti sulla disponibilità del buffer. Infine, durante i periodi di congestione, il leaf-spine può sospendere o limitare il traffico su link specifici per ridurre la congestione ed evitare la perdita di pacchetti, consentendo trasmissioni lossless per classi di traffico specifiche.

• Scala e prestazioni: Ethernet si è affermata come la soluzione a standard aperto preferita per gestire le rigidità delle applicazioni HPC e AI. Si è evoluta nel tempo (tra cui l’attuale avanzamento a 800 GbE e 1.6 TE) per diventare più veloce, efficiente e scalabile ed è quindi la scelta preferita per gestire elevati requisiti di throughput di dati e bassa latenza necessari per le applicazioni AI mission-critical.
• Automazione: l'automazione è l'elemento finale di una soluzione per reti di data center AI efficace, anche se non tutta l'automazione è uguale. Per ottenere il massimo valore, il software di automazione deve garantire operazioni basate sull'esperienza. Viene utilizzato costantemente nella progettazione, nella distribuzione e nella gestione del data center AI. Automatizza e convalida il ciclo di vita delle reti di data center AI dal giorno 0 al giorno 2+. Questo porta a progettazioni e distribuzioni di data center AI ripetibili e costantemente convalidati che non solo eliminano gli errori umani, ma sfruttano anche i dati di telemetria e di flusso per ottimizzare le prestazioni, facilitare la risoluzione dei problemi proattiva ed evitare interruzioni.

La soluzione per reti di data center AI di Juniper si basa sulla nostra decennale esperienza in ambito di rete e innovazioni AIOps per completare soluzioni di rete AI basate su Ethernet aperte, veloci e semplici da gestire. Questi fabric ad alta capacità, scalabili e non bloccanti offrono le massime prestazioni di intelligenza artificiale, tempi di completamento dei lavori più rapidi e un utilizzo più efficiente della GPU. La soluzione per reti di data center AI Juniper sfrutta tre pilastri architettonici fondamentali.

• Prestazioni altamente scalabili: per ottimizzare i tempi di completamento dei lavori e quindi l'efficienza della GPU.
• Apertura agli standard di settore: per estendere le tecnologie dei data center esistenti con ecosistemi guidati dal settore che promuovono l'innovazione e riducono i costi nel lungo termine.
• Operazioni basate sull'esperienza: per automatizzare e semplificare la progettazione, la distribuzione e le operazioni dei data center AI per i fabric back-end, front-end e storage.

Questi capisaldi sono supportati da quanto segue.

• Un progetto di reti di data center AI lossless e ad alta capacità che sfrutta un fabric Clos non bloccante any-to-any, la topologia più versatile per ottimizzare i framework di addestramento dell’AI.
• Switch e router ad alte prestazioni, tra cui Juniper PTX Series Routers, basati su Juniper Express Silicon per spine/super spine e gli switch serie QFX, basati sugli ASIC Tomahawk di Broadcom come switch leaf che garantiscono la connettività ai server AI.
• Efficienza del fabric con controllo del flusso per evitare le collisioni.
• Scalabilità e prestazioni Ethernet aperte e basate su standard con 800 GbE.
• Ampia automazione mediante il software di rete basato su finalità Apstra® Data Center Director per automatizzare e convalidare il ciclo di vita delle reti di data center AI dal giorno 0 al giorno 2+.