KONVERGENZ AUS KI UND HPC FÜR IHRE SPEICHERANFORDERUNGEN
Diese Verbindung stellte neue Anforderungen an HPC Storage, da die I/O-Muster der beiden Workloads unterschiedlicher nicht sein könnten. Und zwar genau jetzt. In einer kürzlich durchgeführten Studie fand die unabhängige Analysefirma Intersect360 heraus, dass 66 % der HPC-Benutzer heute bereits mit Programmen für maschinelles Lernen arbeiten. Hyperion Research prognostiziert, dass, wenn sich der aktuelle Trend in der derzeitigen Geschwindigkeit fortsetzt, die Ausgaben in Unternehmen und Organisationen des öffentlichen Sektors für HPC Storage um 57 % schneller wachsen werden als die Ausgaben für HPC-Rechenleistung in den nächsten drei Jahren.
HPE STORAGE KOMBINIERT HPC UND KI FÜR SKALIERBARE LEISTUNG
| | Herkömmlicher HPC-Cluster | Neue Ära – konvergent | Herkömmliches KI-POD |
|---|---|---|---|
Primärer Workload | Modellierung & Simulation | Beide | Maschinelles Lernen/Deep Learning |
Typ des Computing-Knotens
| Dichte CPU-Knoten wie HPE Apollo 2000 | Beide | Dichte GPU-Knoten wie HPE Apollo 6500 |
Anzahl der Computing-Knoten | Hunderte bis Tausende | Hunderte bis Tausende | Dutzend |
Typische Verbindung | InfiniBand | Beide | Gigabit Ethernet |
Primäres I/O-Pattern | Schreibintensiv | Beide | Leseintensiv |
Speicherkapazität gemessen in | Petabyte | Petabyte | Terabyte |
Speicherskalierbarkeit in einzelnem Namespace | Bis zu Exabyte | Bis zu Exabyte | Bis zu Petabyte |
Typischer Datenspeicher | HDD-basierter Parallel File System-Datenspeicher | Cray ClusterStor E1000 | All Flash-Enterprise NAS/NFS-Datenspeicher |
Speicher gut geeignet für | Bereitstellung großer Dateien in sequenzieller Folge mit Geschwindigkeiten von zu mehreren Terabyte pro Sekunde | Bereitstellung von Dateien in sequenzieller und zufälliger Folge mit Geschwindigkeiten bis zu mehreren Terabyte pro Sekunde | Bereitstellung von Dateien in sequenzieller und zufälliger Folge mit Geschwindigkeiten bis zu mehreren Gigabyte pro Sekunde |
Optimiert für | Schreiboperationen | Beide | Leseoperationen |
Datenspeicher-Architektur | Festplattenlose Computing-Knoten | Festplattenlose Computing-Knoten | Lokale SSD in Computing-Knoten |
Datenspeicher erstellt und unterstützt von | Anbieter des Computing-Systems | Anbieter des Computing-Systems | Drittanbieter für Datenspeicher-System |
Preis pro Terabyte | $ | $$ | $$$$$ |
Parallele Datenspeicher für die neue Ära
Ganz gleich, ob Sie umfangreiche Modellierungen und Simulationen oder große KI-Modelle ausführen, wir haben das richtige Speichersystem für Sie.
Dieses Datenspeichersystem wurde sowohl für groß angelegte Modellierungen und Simulatioenn als auch für große KI-Modelle optimiert, die auf XD-Supercomputern oder HPE ProLiant-Computing-Clustern laufen. Das weltweit größte POSIX-konforme Dateisystem – das Orion-Dateisystem am Oak Ridge National Laboratory –, das einen Supercomputer mit 37.632 Grafikprozessoren unterstützt, basiert auf diesem System.
Optimieren Sie das HPC- & KI-Datenmanagement durch eine hierarchische, abgestufte Datenmanagement-Architektur. Das HPE Data Management Framework optimierte die Auslastung der Datenspeicherressourcen, um die Gesamtbetriebskosten zu senken, und optimiert die Datenworkflows mit der bewährten automatisierten Datenverschiebung in der gesamten Speicherhierarchie. Jetzt mit Support für IBM Spectrum Scale und NFS sowie Lustre.
Weitere Informationen
In diesem technischen Whitepaper finden Sie als erste Einführung eine Übersicht zum Datenspeichersystem Cray ClusterStor E1000.
In dieser Präsentation gibt das Oak Ridge National Laboratory einen Überblick über das „Orion“-Dateisystem, das auf Cray ClusterStor E1000-Datenspeichersystemen basiert.