HPE Data Management Framework 7 (DMF7) offre une gestion centralisée des données sur les systèmes de calcul haute performance (HPC) et les espaces de stockage IA. Il protège les systèmes de fichiers parallèles évolutifs comme Lustre et Spectrum Scale. La réflexion de l’espace de nom sert à créer un snapshot indépendant de l’état du système de fichiers, ce qui permet aux administrateurs de récupérer les fichiers dans un bon état connu à un moment donné. Elle conserve également les versions de fichiers, ce qui permet aux utilisateurs de récupérer des fichiers à des instants donnés reflétant les exécutions de tâches réussies. HPE DMF7 automatise le mouvement des données entre les différents niveaux d’une hiérarchie de stockage, par exemple entre le flash et le disque. Les administrateurs et les utilisateurs peuvent également utiliser HPE DMF7 pour déplacer des fichiers entre des systèmes de fichiers, par exemple lorsque des fichiers doivent être retirés d’un stockage mis au rebut. Améliore l’utilisation de stockage haute performance onéreux en déplaçant automatiquement les données obsolètes vers des niveaux de stockage moins chers, en créant un espace de stockage virtuel sous le système de fichiers qui semble s’adapter au-delà de la capacité physique.

Nouveautés

  • Une base de données évolutive. La base de données est répartie entre différents nœuds pour assurer une meilleure disponibilité du système, est évolutive jusqu’à des milliards de fichiers et offre une performance élevée pour les requêtes.
  • Réflexion de l’espace de nom. HPE DMF7 conserve une réflexion des systèmes de fichiers gérés et l’utilise pour les opérations de gestion des données afin de ne pas compromettre la performance des serveurs de métadonnées du système de fichiers.
  • Prise en charge des métadonnées extensibles. Les administrateurs peuvent utiliser les métadonnées pour personnaliser les requêtes, utiliser des métadonnées extensibles pour la gestion des politiques et créer des ensembles de données personnalisés à partir de fichiers associés.
  • Conservation des données. Les utilisateurs peuvent placer leurs fichiers dans la base de données back-end indépendante de HPE DMF7 pour une conservation longue durée. Plus tard, les utilisateurs peuvent localiser et rappeler leurs fichiers dans un système de fichiers totalement différent.
  • Moteur de requête. Les administrateurs, les utilisateurs et le moteur de gestion des politiques HPE DMF7 utilisent tous un outil de requête commun pour localiser les fichiers et filtrer les résultats.
  • Intégration native des systèmes de fichiers. L’intégration native utilise l’ensemble d’outils standard de Lustre et Spectrum Scale pour augmenter l’utilisation et automatiser les opérations de gestion des données.

Caractéristiques

Les applications IA/HPC sont riches en données qui doivent être protégées

Les données peuvent être perdues en partie ou en totalité pour différentes raisons : erreur de l’utilisateur, défaillance des applications, défaillance de l’espace de stockage et malversation. L'adage « il suffit de relancer l’application » n’est pas une stratégie utile à l’époque actuelle du calcul haute performance, notamment lorsque les données provenant des capteurs, des satellites et des signaux sont plutôt éphémères.

La perte d’un système de fichiers en raison d’une défaillance a des répercussions catastrophiques sur la disponibilité du cluster de calcul haute performance. Même lorsqu'un système de fichiers dispose d'outils de réparation, la complexité et le temps nécessaires pour réparer un système de fichiers défectueux peuvent prolonger l’interruption de calcul au-delà des niveaux de service acceptables.

Jusqu’à présent, la protection des systèmes de fichiers et des données était un investissement coûteux avec de considérables inconvénients, notamment le manque de fenêtres de sauvegarde, des utilitaires de sauvegarde sous-optimisés, conçus pour les systèmes de fichiers parallèles de la taille d’un Po et l’impact négatif sur les performances de l’analyse des métadonnées du système de fichiers.

HPE DMF7 crée des versions immuables des fichiers et enregistre des snapshots de l’état du système de fichiers en reflétant l’espace de nom. Les deux opérations sont gérées via les règles de l’administrateur. La reprise peut être optimisée pour le RTO le plus bas depuis le disque, le coût le plus bas depuis la bande et/ou depuis des emplacements distants via S3/cloud.

L’émergence de Exascale Computing remet en question les limites d'évolutivité du stockage HPC hérité

Le volume et la diversité des données exigés par les applications HPC/IA ont favorisé la croissance de ce stockage « indompté » qui alimente les budgets HPC. Au même moment, les architectures des systèmes de fichiers parallèles traditionnels luttent sous le poids de la croissance implacable du nombre de fichiers et d’inodes.

Le défi est peut-être ressenti avec plus d'acuité par les administrateurs de stockage, qui luttent pour conserver suffisamment d'espace libre dans un stockage hautes performances coûteux tandis que les utilisateurs inondent indépendamment le système de fichiers de nouveaux fichiers. L’augmentation du budget de stockage et/ou la suppression des fichiers des utilisateurs ne sont pas des solutions pratiques.

HPE DMF7 gère l’espace libre du stockage en déplaçant automatiquement les fichiers obsolètes hors du stockage haute performance, et en créant un espace de stockage sous-jacent plus grand à l'intérieur. Pour en simplifier la gestion, les administrateurs utilisent des paramètres de stratégie, et éliminent la nécessité de mesures de force brute.

Finalement, les administrateurs doivent travailler avec les utilisateurs pour supprimer les fichiers inutilisés du système de fichiers afin de garantir que les performances des métadonnées ne sont pas compromises. Lorsque les vieux fichiers sont marqués pour suppression, aucune donnée n’a besoin d’être déplacée car HPE DMF7 protège déjà les fichiers et les métadonnées dans un stockage back-end moins coûteux.

Les environnements de stockage IA/HPC sont variés et les données doivent être portables

Les espaces de stockage sont optimisés en matière de performances, de fonctionnalité et de coûts, et les données se trouvent toujours temporairement entre ces différents niveaux. Les workflows des applications exigent que les données suivent l’utilisateur et l’application et les administrateurs sont continuellement contraints de gérer les coûts de stockage et de pousser les données vers le bas de la hiérarchie.

La gestion du mouvement des données IA/HPC est une tâche intimidante. Les outils ne sont pas faciles à utiliser, ils ne s’adaptent pas très bien, la bande passante du tuyau du réseau est limitée et les utilisateurs peuvent ne pas posséder les compétences nécessaires. Lorsqu’un déplacement aisé des données n’est pas possible et que la motivation est faible, la solution par défaut consiste à les laisser en place.

HPE DMF7 migre automatiquement les fichiers vers le bas de la hiérarchie de l’espace de stockage, sans aucune intervention de l’administrateur, et les rappelle vers un stockage hautes performances à la demande. Il utilise des moteurs de transfert de données parallèles et le réseau haut débit pour déplacer les fichiers à une vitesse supérieure par rapport aux utilitaires des ordinateurs de bureau standard et en une seule opération.

La migration technologique est un vecteur courant du mouvement des données et HPE DMF7 est une solution pérenne face à ce risque. Elle automatise la migration des objets back-end provenant de technologies de disque dur/bande de génération plus anciennes et inefficaces vers des générations offrant la densité, la fiabilité et les performances les plus élevées.

Lorsque le système de fichiers doit être mis au rebut, les administrateurs déplacent le système de fichiers et les fichiers sur les appareils back-end HPE DMR7. Une fois leur protection assurée, le système de fichiers peut être placé dans un espace de nom totalement nouveau et les fichiers peuvent être placés dans ce nouvel espace de nom ou être conservés par HPE DMR7.

En réduisant les coûts de stockage HPC, on peut augmenter le budget de calcul

La croissance ininterrompue des données HPC et l’orchestration de larges ensembles de données pour l’IA/le machine learning entraînent une augmentation sans précédent des besoins en matière de capacité de stockage. L’adoption du stockage flash à un coût effectif plus élevé qui signifie que la maîtrise des coûts reste l’objectif principal des acheteurs de stockage HPC.

Le stockage indompté agit comme un obstacle à cet objectif. Le stockage indompté encourage les clients HPC à répliquer les fichiers sur un stockage propriétaire onéreux, à faire évoluer le niveau de stockage le plus cher pour répondre à la croissance des données, et estime qu'il est plus facile de laisser les données en place sur un stockage coûteux que de déplacer des données.

Le principal objectif de HPE DMF7 est de réduire les coûts de stockage. Au lieu d’acheter un stockage plus cher, HPE DMF7 aide les clients HPC en simplifiant la protection, l’adaptation et le déplacement des données à l’aide de coûts de stockage réduits, et en améliorant l’utilisation et les performances des ressources de stockage HPC stratégiques.

HPE DMF7 est la plateforme de gestion de stockage HPC, qui automatise les workflows de données et réduit les coûts de stockage HPC afin que les clients HPC puissent consacrer leurs précieux budgets de projet à la ressource d'infrastructure qui compte le plus.

  • Linux® est une marque déposée de Linus Torvalds.