HPC-Workload Was ist ein HPC-Workload?
Ein HPC-Workload ist eine hochkomplexe, datenintensive Aufgabe, die auf mehrere Computing-Ressourcen verteilt ist, die jeweils Teile der Aufgabe parallel ausführen. Ein HPC-System kann Millionen von Szenarien gleichzeitig ausführen und dabei jeweils Terabyte (TB) an Daten verwenden, was Unternehmen hilft, schneller Erkenntnisse zu gewinnen.
Inhaltsverzeichnis
Aus welchen verschiedenen Komponenten besteht ein HPC-Workload?
Jeder HPC-Workload ist anders und erfordert zur Erledigung seiner Aufgaben unterschiedliche CPU-Level und reservierten Arbeitsspeicher. Die Werte hängen vom jeweiligen Aufwand ab – Dauer, Intervalle und Ausmaß. Auf der grundlegendsten Ebene sammelt ein Workload, oder Abfrage, Eingaben (Input, I) und erzeugt Ausgaben (Output, O). Es lässt sich in folgende Komponenten unterteilen:
· Anfrage: Die „Arbeit“ im Workload bezieht sich auf das, was von einer Anwendung verlangt wird. Diese umfasst eine Reihe von Lese- und Schreibvorgängen (E/A-Befehle) und die damit verbundene Nutzlast zu und von einem Datenspeichersystem.
· Anwendung(en) und VMs: Jeder Workload ist an das gebunden, was zur Erledigung der Arbeit verwendet wird, oder an den laufenden Aufwand einer Anwendung. Die Art und Weise, wie die Anwendung die Daten verarbeitet und welche Softwarebeschränkungen damit verbunden sind, bestimmt die Eigenschaften des Workloads selbst.
· Arbeitssatz: Das während eines Workloads erstellte/verbrauchte Datenvolumen wird als Arbeitssatz bezeichnet. Ein typischer HPC-Workload verbraucht riesige Datenmengen, meist in unstrukturierten Formaten. Wissenschaftler und Techniker arbeiten an der Feinabstimmung der Genauigkeit ihrer Workloads, wodurch die von HPC-Modellen verwendete Datenmenge exponentiell zunimmt.
· Arbeitszyklus: Tritt eine Reihe von Prozessen auf und dann erneut auf, wird dies als Arbeitszyklus bezeichnet. Die Zeit bis zur ungefähren Wiederholbarkeit dieses Aufwands hängt stark davon ab, wer die Daten nutzt, vom Zweck der Anwendung und von der Datenspeicherleistung.
Wie verwaltet man HPC-Workloads?
Ein herkömmliches HPC-System verwendet eine Befehlszeilenschnittstelle (CLI), um die Übermittlung und das Management von Jobs zu verwalten. Der Prozess der Verwaltung eines HPC-Workloads beginnt ähnlich wie bei jedem anderen Daten-Workload – mit der Ermittlung und Vorbereitung der relevanten Daten –, gefolgt vom Senden der Anfrage, dem Ausführen der Anwendung und dem Sammeln und Speichern der generierten Ergebnisse.
Vorbereiten der Daten
Die Genauigkeit jedes HPC-Workloads hängt von der Datenhygiene ab. Unternehmen müssen eine Datenbereinigung der zu analysierenden Datensätze durchführen, um ungenaue, unvollständige, falsch formatierte oder doppelte Daten zu aktualisieren/entfernen.
Datenzugriff einrichten
HPC-Workloads erfordern einen einfachen und schnellen Zugriff auf Daten. Daher müssen Unternehmen Richtlinien implementieren, um Daten auf sichere und effiziente Art und Weise bereitzustellen. Für alle verwendeten Ressourcen, seien es Data Lakes, Data Fabrics, Lakehouse-Architekturen oder neuronale Netzwerke, werden dieselben Verschlüsselungs- und Zugriffskontrollen ausgeführt.
Auswahl der Algorithmen
Die Auswahl der zu verwendenden Algorithmen und das anschließende Erstellen, Trainieren und Bereitstellen analytischer Modelle erfordert umfassende Fachkenntnisse und sollte von den Data Scientists festgelegt werden, die die Anfragen einreichen.
Ausführen der Abfragen
Zur Generierung von Erkenntnissen im HPC werden häufig zahlreiche Anwendungen genutzt. Um solche komplexen Analysen aufzuteilen und zu organisieren, werden verteilte Computing-Softwareplattformen wie Apache Hadoop, Databricks und Cloudera verwendet.
Welche verschiedenen Arten von HPC-Workloads gibt es?
Es gibt mehrere Kategorien von HPC-Workloads, die enorme Datenmengen untersuchen, nach Trends suchen, Vorhersagen treffen und Empfehlungen zur Anpassung von Prozessen oder Beziehungen generieren.
Künstliche Intelligenz
Künstliche Intelligenz (KI) ist im einfachsten Fall die Simulation menschlicher Intelligenz durch Maschinen bei der Verarbeitung von Informationen. Der Schwerpunkt liegt auf den kognitiven Fähigkeiten, die Menschen täglich nutzen, um Milliarden von Entscheidungen pro Tag zu treffen, darunter Lernen, logisches Denken und Selbstkorrektur. Beim eigentlichen Lernen geht es darum, Eingabedaten zu erfassen und Regeln zu erstellen, um diese in verwertbare Informationen umzuwandeln. Beim logischen Denken geht es darum, den richtigen Algorithmus zu bestimmen, um ein gewünschtes Ergebnis zu erzielen. Die Selbstkorrektur ist der wertvollste Teil des KI-Prozesses, da jede Entscheidung dazu beiträgt, die Algorithmen kontinuierlich zu optimieren.
Maschinelles Lernen
Maschinelles Lernen (ML), eine Art künstlicher Intelligenz, nutzt Algorithmen, um Ergebnisse immer genauer vorhersagen zu können. Die häufigste Verwendung von maschinellem Lernen ist die Recommendation Engine, die Medienunternehmen wie Netflix, Spotify, Facebook usw. unterstützt. Weitere Einsatzmöglichkeiten sind Customer Relationship Management-Systeme, Business Intelligence, virtuelle Assistenten, Personalinformationssysteme und selbstfahrende Autos.
Deep Learning
Hierbei handelt es sich um eine Teilmenge des maschinellen Lernens, das sich auf die Automatisierung vorausschauender Analysen im maschinellen Lernen bezieht. Dabei werden Layer der Informationsverarbeitung verwendet, wobei mit jedem Layer ein tieferes Verständnis aufgebaut wird und schrittweise komplexere Informationen über einen Datensatz erlernt werden. Zu den typischen Anwendungsfällen zählen selbstfahrende Autos, bei denen der Supercomputer unter der Haube automatisierte Fähigkeiten zum Steuern des Fahrzeugs entwickelt.
Wie funktionieren HPC-Workloads in Cloud-Umgebungen?
Die Cloud ist eine ideale Plattform für HPC, da ein Unternehmen durch die Verlagerung von HPC-Workloads in die Cloud von nahezu unbegrenztem Computing und unbegrenzten Services on demand profitieren kann. Das bedeutet, dass Sie für einen einzelnen Workload so viele Ressourcen wie nötig verwenden und die Ressourcen dann freigeben können, wenn sie abgeschlossen ist.
Darüber hinaus können Sie eine Infrastruktur aus Cloud-basierten Computing-Instanzen und Datenspeicherressourcen zusammenstellen und bis zu Hunderttausende von Servern verwalten, die über eine Flotte globaler Rechenzentren verteilt sind. Dadurch können Daten- und Verarbeitungsaktivitäten in der Nähe des Standorts der Big Data-Aufgabe oder in einer bestimmten Region eines Cloud-Anbieters stattfinden. Die Infrastruktur und Softwareservices befinden sich in der Cloud und Benutzer können die Infrastruktur für ein Big Data-Projekt nahezu jeder Größe zusammenstellen.
Der Hauptvorteil beim Ausführen eines HPC-Systems in der Cloud besteht darin, dass Ressourcen je nach Bedarf dynamisch und in Echtzeit hinzugefügt/entfernt werden können. Durch die Möglichkeit einer so schnellen Skalierung wird das Problem von Kapazitätsengpässen beseitigt und Kunden können ihre Infrastruktur optimal dimensionieren, um sie präziser an die Workloads anzupassen. Und da die zugrunde liegende Infrastruktur über die Cloud bereitgestellt wird, können Benutzer mehr Workloads mit weniger Personal verarbeiten. Das führt zu Kosteneinsparungen und verschafft dem Personal mehr Zeit für Aufgaben mit höherem Geschäftswert.
HPE und HPC-Workloads
HPE bietet das umfassendste Softwareportfolio für HPC und konvergente Workflows auf dem Markt. Und unser umfangreiches Hardware-Angebot umfasst Lösungen mit mehr Flexibilität zur Nutzung von KI, maschinellem Lernen und anderen HPC-Techniken sowie skalierbare, leistungsstarke Datenspeicher- und Verbindungstechnologien, die in der Branche ihresgleichen suchen. Zu diesen Systemen gehören HPE Apollo, Slingshot und unser Parallel Storage, die beispiellosen Durchsatz und GPU-Verbesserungen bieten.
HPE Pointnext Services liefern und unterstützen eine vollständige Palette von Lösungen und Verbrauchsmodellen für HPC und konvergente Workflows. Darüber hinaus verwalten und optimieren wir die gesamte Lösung, im Einklang mit der Best Practice-Technologie von HPE, um die HPC-Anforderungen Ihres Unternehmens zu erfüllen.
HPE GreenLake for HPC ist eine lokale End-to-End-Lösung für HPC-Anwendungen, die entwickelt wurde, um eine unglaubliche, branchenführende Leistung zu liefern, ohne dass Ihre Teams Zeit mit der Integration und Optimierung von Komponenten verbringen müssen. Es erleichtert und beschleunigt die Bereitstellung von HPC- und KI-Workloads und ermöglicht Endbenutzern, Entwicklern und Data Scientists, reine HPC-, reine KI- und konvergente HPC/KI-Workflows auf Hochleistungsclustern auszuführen und dabei das gesamte HPE GreenLake Kundenerlebnis zu nutzen.