Charge de travail HPC Qu’est-ce qu’une charge de travail HPC ?
Une charge de travail HPC est une tâche extrêmement complexe et gourmande en données, répartie entre des ressources de calcul exécutant différentes parties de la tâche en parallèle. Un système HPC peut exécuter simultanément des millions de scénarios en utilisant plusieurs téraoctets (To) de données à la fois, ce qui permet aux organisations d’extraire des informations plus rapidement.
Table des matières
Quels sont les différents composants d’une charge de travail HPC ?
Chaque charge de travail HPC est différente et mobilise une capacité spécifique de CPU et de mémoire réservée pour effectuer ses tâches selon la durée, les étapes et l’ampleur de l’effort à fournir. Au niveau le plus élémentaire, une charge de travail, ou requête, collecte des entrées (I) et produit des sorties (O). Elle peut être décomposée en plusieurs éléments :
· Requête : Dans le concept de charge de travail, le mot « travail » fait référence à ce qui est demandé à une application. Il s’agit d’une série d’opérations de lecture et d’écriture (commandes d’I/O) et de la charge utile associée vers et depuis un système de stockage.
· Application(s) et VM : Chaque charge de travail est liée aux composants utilisés pour réaliser le travail ou l’effort continu d’une application. La manière dont l’application traite les données et les limites logicielles inhérentes à ce processus façonneront les caractéristiques de la charge de travail elle-même.
· Ensemble de travail : Le volume de données créé/consommé pendant une charge de travail est appelé ensemble de travail. Une charge de travail HPC typique consomme des quantités massives de données, principalement fournies dans des formats non structurés. Les données utilisées par les modèles HPC augmentent de manière exponentielle à mesure que les experts Data et les ingénieurs s’efforcent d’affiner la justesse de leurs charges de travail.
· Cycle de service : Lorsqu’un ensemble de processus se produit puis se répète, on parle de cycle de service. Le temps de répétabilité approximative de cet effort dépend fortement de la personne qui consomme les données et de l’objectif de l’application, ainsi que des performances de stockage.
Comment gérer des charges de travail HPC ?
Un système HPC traditionnel utilise une interface de ligne de commande (CLI) pour gérer la soumission et la gestion des tâches. Le processus de gestion d’une charge de travail HPC commence, comme n’importe quelle charge de travail de données, par l’identification et la préparation des données pertinentes, suivies de la soumission de la demande, puis de l’exécution de l’application et, enfin, de la collecte et du stockage des résultats générés.
Préparer les données
La justesse de n’importe quelle charge de travail HPC dépend de l’hygiène des données. Les organisations doivent nettoyer les ensembles de données à analyser afin de mettre à jour/supprimer les données inexactes, incomplètes, mal formatées ou dupliquées.
Configurer l’accès aux données
Alors que les charges de travail HPC exigent un accès facile et rapide aux données, les organisations doivent mettre en œuvre des politiques permettant de fournir ces données de manière sécurisée et efficace. Les mêmes mesures de chiffrement et de contrôle d’accès sont appliquées à toutes les ressources utilisées, qu’il s’agisse de lacs de données, de data fabrics, d’architectures lakehouse ou de réseaux neuraux.
Choisir des algorithmes
La sélection des algorithmes à utiliser, puis la création, l’entraînement et le déploiement des modèles analytiques nécessitent une expertise approfondie et doivent être définis par les experts Data qui soumettent les requêtes.
Exécuter les requêtes
De nombreuses applications sont souvent nécessaires pour générer des résultats dans le domaine du HPC. Les plateformes logicielles de calcul distribué, telles qu’Apache Hadoop, Databricks et Cloudera, sont utilisées pour diviser et organiser ces analyses complexes.
Quels sont les différents types de charges de travail HPC ?
Il existe plusieurs catégories de charges de travail HPC, qui examinent d’énormes quantités de données, recherchent des tendances, font des prédictions et émettent des recommandations d’ajustement des opérations ou des relations.
Intelligence artificielle
Dans sa forme la plus simple, l’intelligence artificielle (IA) est un système dans lequel les machines simulent l’intelligence humaine lors du traitement de l’information. Celle-ci se concentre sur les compétences cognitives que les humains utilisent quotidiennement pour prendre des milliards de décisions par jour, notamment l’apprentissage, le raisonnement et l’autocorrection. L’apprentissage lui-même implique de prendre des données d’entrée et de créer des règles pour les transformer en informations exploitables. Le raisonnement consiste à déterminer le bon algorithme à utiliser pour atteindre le résultat souhaité. L’autocorrection est la partie la plus précieuse du processus d’IA, où chaque décision contribue à affiner les algorithmes en permanence.
Machine learning
Le machine learning (ML) est un type d’intelligence artificielle qui utilise des algorithmes pour gagner progressivement en justesse dans la prédiction des résultats. L’utilisation la plus courante du ML est le moteur de recommandations qui alimente les organisations médiatiques, telles que Netflix, Spotify, Facebook, etc. Parmi les autres domaines d’utilisation, on peut citer les systèmes de gestion de la relation client, la business intelligence, les assistants virtuels, les systèmes d’information sur les ressources humaines et les véhicules autonomes.
Deep learning
Il s’agit d’un sous-ensemble du machine learning, qui se réfère au composant d’automatisation de l’analyse prédictive du ML. Le deep learning utilise des couches de traitement de l’information pour parvenir à une compréhension de plus en plus élaborée au fil de ces couches en apprenant des informations de plus en plus complexes sur un ensemble de données. Ses cas d’utilisation typiques incluent les voitures autonomes, qui embarquent un puissant ordinateur capable de développer des compétences automatisées pour piloter le véhicule.
Comment les charges de travail HPC fonctionnent-elles dans les environnements cloud ?
Le cloud est une plateforme idéale pour le HPC, dans la mesure où les organisations ont la possibilité de déplacer des charges de travail HPC vers celui-ci pour peut profiter d’une capacité de calcul et de services à la demande presque illimitée. Cela signifie que vous pouvez utiliser autant de ressources que nécessaire pour une seule charge de travail, puis libérer les ressources une fois celle-ci terminée.
De plus, vous pouvez assembler une infrastructure d’instances de calcul et de ressources de stockage basées sur le cloud, de façon à gérer jusqu’à plusieurs centaines de milliers de serveurs répartis sur un parc de datacenters mondiaux. Cela permet de localiser les données et l’activité de traitement à proximité de l’endroit où se trouve la tâche de Big Data ou dans une certaine région couverte par un fournisseur de cloud. L’infrastructure et les services logiciels sont présents sur le cloud, et les utilisateurs peuvent assembler l’infrastructure requise pour un projet de Big Data de dimension pratiquement illimitée.
Le principal avantage de l’exécution d’un système HPC dans le cloud est que les ressources peuvent être ajoutées/supprimées selon les besoins de manière dynamique et en temps réel. La possibilité d’évoluer aussi rapidement élimine le problème des goulets d’étranglement de capacité et permet aux clients d’ajuster plus précisément leur infrastructure aux charges de travail. Enfin, avec l’infrastructure sous-jacente fournie via le cloud, les utilisateurs sont en mesure de traiter davantage de charges de travail avec moins de personnel, ce qui permet de réduire les coûts ainsi que de libérer du temps pour les tâches à plus forte valeur ajoutée.
HPE et les charges de travail HPC
HPE propose le portefeuille de logiciels le plus complet du marché pour le HPC et les workflows convergés. Notre vaste gamme de matériel comprend des solutions offrant davantage de flexibilité pour faciliter l’accès à l’IA, au machine learning et aux autres techniques HPC, ainsi que des technologies de stockage et d’interconnexion évolutives à haute performance sans équivalent sur le marché. Parmi ces systèmes, HPE Apollo, HPE Slingshot et HPE Parallel Storage System offrent un débit et des améliorations GPU sans précédent.
HPE Pointnext Services propose le déploiement et le support d’une gamme complète de solutions et de modèles de consommation pour les workflows HPC et convergés. Nous assurons également la gestion et l’optimisation de l’ensemble de la solution, en alignement avec les meilleures pratiques technologiques de HPE, afin de répondre pleinement aux besoins HPC de votre organisation.
HPE GreenLake for HPC est une solution de bout en bout sur site pour les applications HPC, conçue pour offrir des performances inégalées sur le marché sans que vos équipes aient besoin de passer du temps à intégrer et ajuster les composants. Celle-ci simplifie et accélère le déploiement des charges de travail HPC et IA et permet aux utilisateurs finaux, aux développeurs et aux experts Data d’exécuter des workflows purement HPC, purement IA ou convergés HPC/IA sur des clusters hautes performances, en tirant pleinement parti de l’expérience client de HPE GreenLake.