L’IA et le HPC convergés pour vos besoins de stockage
Cette convergence fait peser de nouvelles exigences sur le stockage HPC, car les modèles d’entrée/sortie de ces deux charges de travail sont diamétralement opposés. Et c’est ce qui est en train de se produire. Une étude récente du cabinet d’analystes indépendant Intersect360 a révélé que 66 % des utilisateurs de HPC exécutent déjà des programmes de machine learning. Eu égard à la situation actuelle et à l’évolution en cours, Hyperion Research prévoit que les dépenses en stockage HPC dans les organisations et les entreprises du secteur public augmenteront 57 % plus vite que les dépenses de calcul HPC au cours des trois prochaines années.
HPE Storage : la convergence du HPC et de l’IA pour des performances à grande échelle
| | Cluster HPC traditionnel | Nouvelle ère (convergence) | Infrastructure d’IA classique : datacenter optimisé pour les performances (POD) |
|---|---|---|---|
Charge de travail principale | Modélisation et simulation | Les deux | Machine learning/deep learning |
Type de nœud de calcul
| Nœuds CPU denses comme HPE Apollo 2000 | Les deux | Nœuds CPU denses comme HPE Apollo 6500 |
Nombre de nœuds de calcul | Plusieurs centaines à plusieurs milliers | Plusieurs centaines à plusieurs milliers | Plusieurs dizaines |
Interconnexion type | InfiniBand | Les deux | Gigabit Ethernet |
Motif I/O principal | Écriture intensive | Les deux | Lecture intensive |
Capacité de stockage mesurée en | Pétaoctets | Pétaoctets | Téraoctets |
Évolutivité du stockage dans un espace de nom unique | Peut atteindre les exaoctets | Jusqu’à plusieurs exaoctets | Jusqu’à plusieurs pétaoctets |
Stockage type | Stockage de système de fichiers parallèle sur disques durs | Systèmes de stockage | Stockage NAS/NFS d’entreprise 100 % flash |
Stockage bien adapté pour | Servir des fichiers volumineux dans un ordre séquentiel, à des vitesses pouvant atteindre les téraoctets par seconde | Servir des fichiers volumineux dans un ordre séquentiel à des vitesses pouvant atteindre les téraoctets par seconde | Servir des fichiers de toutes tailles dans un ordre séquentiel ou aléatoire à des vitesses pouvant atteindre une ou plusieurs dizaines de gigaoctets par seconde |
Solution optimisée pour | Écritures | Les deux | Lectures |
Architecture de stockage | Nœuds de calcul sans disque | Nœuds de calcul sans disque | Baie SSD locale dans les nœuds de calcul |
Stockage créé et pris en charge par | Fournisseur de systèmes de calcul | Fournisseur de systèmes de calcul | Fournisseur de stockage tiers |
Prix par téraoctet | $ | $$ | $$$$$ |
Stockage parallèle pour la nouvelle ère
Que vous exécutiez des modélisations et des simulations à grande échelle ou de grands modèles d’IA, nous avons le système de stockage qui vous convient.
Système de stockage Cray ClusterStor E1000
Ce système de stockage a été optimisé pour la modélisation et la simulation à grande échelle, ainsi que pour les grands modèles d’IA déployés sur des supercalculateurs XD ou sur des clusters HPE ProLiant Compute. C’est sur lui qu’a été bâti le plus grand système de fichiers compatible POSIX au monde, c’est-à-dire le système de fichiers Orion du Laboratoire national américain d’Oak Ridge, qui prend en charge un supercalculateur doté de 37 632 GPU.
HPE Data Management Framework (DMF)
Optimisez le HPC et la gestion des données IA en mettant en place une architecture de gestion des données hiérarchisée sur plusieurs niveaux. HPE Data Management Framework optimise l’utilisation des ressources de stockage pour un coût total de possession réduit, et rationalise les workflows de données grâce à un mécanisme longuement éprouvé de déplacement de données automatisé à l’échelle de la hiérarchie de stockage. Offre désormais la prise en charge d’IBM Spectrum Scale et de NFS en plus de Lustre.
Ressources à l’honneur
Livre blanc technique
Ce livre blanc technique constitue une première introduction au système de stockage Cray ClusterStor E1000.
Témoignage client
Dans cette présentation, le Laboratoire national américain d’Oak Ridge donne un aperçu du système de fichiers Orion basé sur des systèmes de stockage Cray ClusterStor E1000.