La convergenza di AI e HPC per le tue esigenze di storage
Questa convergenza ha imposto nuove sollecitazioni sullo storage HPC, dato che i modelli di input/output di entrambi i carichi di lavoro non potrebbero essere più dissimili. E sta succedendo proprio ora. Un recente studio della società di analisi indipendente Intersect360 ha rilevato che al momento il 66% degli utenti HPC esegue già programmi di machine learning. Hyperion Research prevede che, di questo passo, le spese di storage HPC nelle organizzazioni della pubblica amministrazione e nelle aziende cresceranno il 57% più rapidamente rispetto a quelle di elaborazione HPC nei prossimi tre anni.
HPE Storage: la combinazione di HPC e AI per prestazioni scalabili
| | Cluster HPC tradizionale | Una nuova era convergente | POD AI tradizionale |
|---|---|---|---|
Carico di lavoro primario | Modellazione e simulazione | Entrambi | Machine learning/Deep learning |
Tipo di nodo di elaborazione
| Nodi per CPU densi come HPE Apollo 2000 | Entrambi | Nodi per GPU densi come HPE Apollo 6500 |
Numero di nodi di elaborazione | Da centinaia a migliaia | Da centinaia a migliaia | Decine |
Interconnessione tipica | InfiniBand | Entrambi | Gigabit Ethernet |
Modello I/O primario | Uso intensivo di scrittura | Entrambi | Uso intensivo di lettura |
Capacità di storage misurata in | Petabyte | Petabyte | terabyte |
Scalabilità di storage in un unico spazio dei nomi | Fino a exabyte | Fino a exabyte | Fino a petabyte |
Storage tipico | Storage per file system paralleli basati sull’HDD | Cray ClusterStor E1000 | Storage NAS/NFS all flash enterprise |
Storage adatto a | Servire file grandi in ordine sequenziale a velocità fino a terabyte per secondo | Servire file di qualsiasi dimensioni sia in ordine sequenziale sia casuale a velocità fino a terabyte per secondo | Servire file di tutte le dimensioni sia in ordine sequenziale che casuale a velocità fino a gigabyte a due cifre per secondo |
Ottimizzato per | Scritture | Entrambi | Letture |
Architettura di storage | Nodi di elaborazione senza disco | Nodi di elaborazione senza disco | SSD locale nei nodi di elaborazione |
Storage creato e supportato da | Fornitore del sistema di elaborazione | Fornitore del sistema di elaborazione | Fornitore di storage di terza parte |
Prezzo per terabyte | $ | $$ | $$$$$ |
Storage parallelo per la nuova era
Dalla modellazione e simulazione su vasta scala ai modelli AI di grandi dimensioni, abbiamo il sistema di storage per te.
Cray ClusterStor E1000 Storage System
Questo sistema di storage è stato ottimizzato sia per la modellazione e la simulazione su vasta scala sia per i grandi modelli AI in esecuzione su supercomputer XD o cluster di HPE ProLiant Compute. Il più grande file system conforme a POSIX al mondo, il file system Orion presso l’Oak Ridge National Laboratory, che supporta un supercomputer con 37.632 GPU, si basa su questo sistema.
HPE Data Management Framework (DMF)
Ottimizza la gestione dei dati HPC e AI supportando un’apposita architettura gerarchica a livelli. HPE Data Management Framework ottimizza l’utilizzo delle risorse di storage per ridurre il TCO e semplifica i flussi di lavoro dei dati con movimenti automatizzati ampiamente collaudati nell’intera gerarchia di storage. Ora con supporto per IBM Spectrum Scale e NFS, oltre che per Lustre.
Risorse in evidenza
White paper tecnico
Questo white paper tecnico fornisce una panoramica sul sistema di storage Cray ClusterStor E1000 come prima introduzione.
Testimonianza del cliente
In questa presentazione, l’Oak Ridge National Laboratory fornisce una panoramica del file system “Orion” basato sui sistemi di storage Cray ClusterStor E1000.