KI Data Center Networking

Was ist KI Data Center Networking?

Generative KI (GenAI) erweist sich weltweit als transformative Technologie. Generative KI und generell große Deep Learning KI-Modelle bringen neue Anforderungen an die Netzwerktechnik von KI-Datencentern mit sich. Die Entwicklung eines KI-Modells umfasst drei Phasen:

• Phase 1: Datenaufbereitung – Sammeln und Kuratieren von Datensätzen, die in das KI-Modell eingespeist werden sollen.
• Phase 2: KI-Training – Ein KI-Modell wird durch die Verarbeitung großer Datenmengen darauf trainiert, eine bestimmte Aufgabe auszuführen. In dieser Phase lernt das KI-Modell Muster und Zusammenhänge in den Trainingsdaten, um virtuelle Synapsen zu entwickeln, die Intelligenz nachahmen.
• Phase 3: KI-Inferenz – Betrieb in einer realen Umgebung, um auf der Grundlage neuer, unbekannter Daten Vorhersagen oder Entscheidungen zu treffen.

Phase 3 wird im Allgemeinen durch bestehende Rechenzentrums- und Cloud-Netzwerke unterstützt. Allerdings benötigt Phase 2 (KI-Training) umfangreiche Daten- und Computing-Ressourcen, um den iterativen Prozess zu unterstützen, bei dem das KI-Modell aus kontinuierlich gesammelten Daten lernt, um seine Parameter zu verfeinern. Grafikprozessoren (GPUs) eignen sich gut für KI-Lern- und Inferenz-Workloads, müssen aber in Clustern arbeiten, um effizient zu sein. Die Erweiterung von Clustern verbessert zwar die Effizienz des KI-Modells, erhöht aber auch die Kosten. Daher ist es entscheidend, ein leistungsstarkes KI-Rechenzentrums-Netzwerk mit geringer Latenz zu verwenden, das die Effizienz des Clusters nicht beeinträchtigt.

Um große Modelle zu trainieren, müssen viele, ja sogar zehntausende GPU-Server angeschlossen werden (deren Kosten im Jahr 2023 bei mehr als 400.000 US-Dollar pro Server lagen). Daher sind die Optimierung der Job–Abschlusszeit (Job Completion Time, JCT) und die Minimierung oder Beseitigung der Tail-Latenz (ein Zustand, in dem Ausreißer-KI-Workloads die Fertigstellung des gesamten KI-Jobs verlangsamen) der Schlüssel zur Optimierung der Rendite der GPU-Investition. In diesem Anwendungsfall muss das KI-Rechenzentrums-Netzwerk zu 100 % zuverlässig sein und darf keine Beeinträchtigung der Cluster-Effizienz verursachen.

Obwohl teure GPU-Server typischerweise den größten Anteil der Gesamtkosten von KI-Datencentern ausmachen, ist die Vernetzung von KI-Datencentern von entscheidender Bedeutung, da ein leistungsstarkes Netzwerk erforderlich ist, um die GPU-Auslastung zu maximieren. Ethernet ist eine offene, bewährte Technologie, die sich am besten eignet, um diese Lösung innerhalb einer für KI optimierten Rechenzentrums-Netzwerkarchitektur bereitzustellen. Zu den Verbesserungen gehören Überlastungsmanagement, Lastverteilung und minimierte Latenzzeiten zur Optimierung von JCT. Schließlich gewährleisten vereinfachtes Management und Automatisierung Zuverlässigkeit und kontinuierliche Leistung.

• Fabric-Design: KI-Datencenter können verschiedene Fabric-Architekturen verwenden, aber eine Any-to-Any Non-Blocking Clos-Fabric wird empfohlen, um die Leistung bei groß angelegten Trainings zu optimieren. Die meisten KI-Cluster verwenden heute ein vollständig schienenoptimiertes Design, das vorhersehbare Leistung und gleichbleibende Bandbreite gewährleistet. Diese Strukturen sind mit einheitlichen Netzwerkgeschwindigkeiten von 400 Gbit/s (später 800 Gbit/s und 1,6 Tbit/s) von der NIC zum Leaf und durch das Spine aufgebaut. Je nach Modellgröße und GPU-Clustergröße kann eine zweischichtige, dreistufige nicht-blockierende Fabric oder eine dreischichtige, fünfstufige nicht-blockierende Fabric eingesetzt werden, um einen hohen Durchsatz und eine geringe Latenz zu erzielen.
• Verkehrsflusssteuerung und Überlastungsvermeidung: Neben der Kapazität der Fabric erhöhen weitere gestalterische Überlegungen die Zuverlässigkeit und Effizienz der gesamten Fabric. Zu diesen Überlegungen gehören die richtige Dimensionierung der Fabric-Verbindungen mit der optimalen Anzahl an Verbindungen sowie die Fähigkeit, Flussungleichgewichte zu erkennen und zu korrigieren, um Überlastung und Paketverlust zu vermeiden. Explizite Überlastungsbenachrichtigung (Explicit Congestion Notification, ECN) mit quantisierter Überlastungsbenachrichtigung im Rechenzentrum (Data Center Quantized Congestion Notification, DCQCN) plus prioritätsbasierter Flusssteuerung beheben Flussungleichgewichte, um eine verlustfreie Übertragung zu gewährleisten.

Um Überlastungen zu reduzieren, wird am Switch ein dynamischer und adaptiver Lastausgleich eingesetzt. Dynamischer Lastausgleich (Dynamic Load Balancing, DLB) verteilt die Datenströme lokal am Switch neu, um sie gleichmäßig zu verteilen. Adaptives Load Balancing überwacht Flow Forwarding und Next-Hop-Tabellen, um Ungleichgewichte zu erkennen und den Datenverkehr von überlasteten Pfaden wegzuleiten.

Kann eine Überlastung nicht vermieden werden, benachrichtigt ECN die Anwendungen frühzeitig. Während dieser Zeiträume aktualisieren die Leaf-and-Spine-Knoten ECN-fähige Pakete, um die Absender über die Überlastung zu informieren, was die Absender dazu veranlasst, die Übertragung zu verlangsamen, um Paketverluste während der Übertragung zu vermeiden. Wenn die Endpunkte nicht rechtzeitig reagieren, ermöglicht die prioritätsbasierte Flusssteuerung (Priority-based Flow Control, PFC) den Ethernet-Empfängern, den Sendern Rückmeldungen zur Pufferverfügbarkeit zu geben. Schließlich können die Leaf-and-Spine-Knoten bei Überlastung den Datenverkehr auf bestimmten Verbindungen pausieren oder drosseln, um die Überlastung zu verringern und Paketverluste zu vermeiden, wodurch verlustfreie Übertragungen für bestimmte Verkehrsklassen ermöglicht werden.

• Umfang und Leistung: Ethernet hat sich als die bevorzugte offene Standardlösung für die anspruchsvollen Anforderungen von High Performance Computing und KI-Anwendungen etabliert. Im Laufe der Zeit wurde es weiterentwickelt (einschließlich der aktuellen Fortschritte zu 800 GbE und 1,6 TE), um schneller, zuverlässiger und skalierbarer zu werden, was es zur bevorzugten Wahl für die Bewältigung hoher Datendurchsatz- und niedriger Latenzanforderungen macht, die für unternehmenskritische KI-Anwendungen notwendig sind.
• Automatisierung: Die Automatisierung ist das letzte Puzzleteil für eine effektive KI-basierte Netzwerklösung für Rechenzentren, wobei Automatisierung nicht gleich Automatisierung ist. Um den vollen Nutzen zu erzielen, muss die Automatisierungssoftware einen benutzerzentrierten Betrieb ermöglichen. Sie wird fortlaufend bei der Konzeption, dem Einsatz und der Verwaltung des KI-Rechenzentrums verwendet. Sie automatisiert und validiert den Lebenszyklus des KI-Rechenzentrumsnetzwerks vom Tag 0 bis zum fortlaufenden Betrieb. Das führt zu wiederholbaren und kontinuierlich validierten KI-Rechenzentrumsdesigns und -implementierungen, die nicht nur menschliche Fehler ausschließen, sondern auch Telemetrie- und Flussdaten nutzen, um die Leistung zu optimieren, eine proaktive Fehlerbehebung zu ermöglichen und Ausfälle zu vermeiden.