Müssen Sie Ihr KI-/ML-Bereitstellungsverfahren optimieren? Müssen Sie unterschiedliche KI-Frameworks und eine skalierbare Infrastruktur in einer Cloud-/hybriden Umgebung unterstützen, die oft angepasste Datensicherung erfordert?
Die HPE Machine Learning Inference Software bietet benutzerfreundliche Tools zum Aktualisieren, Überwachen und Bereitstellen von Modellen, die Ihnen helfen, den Wert Ihrer KI-/ML-Initiativen schneller zu erzielen. Role-Based Access Controls (RBAC) und Endpunkt-Sicherheit bieten zusätzlichen Schutz für ML-Ressourcen. Steigern Sie die Effizienz Ihres Teams durch den Einsatz einheitlicher Tools und vortrainierter Modelle, und konzentrieren Sie sich mehr auf die Modellentwicklung und weniger auf die Komplexität der Modell-Produktion. Durch die Bereitstellung des Produkts, das die Feinheiten der Bereitstellung, des Routings und der Echtzeit-Überwachung handhaben kann, bietet HPE Machine Learning Inference Software die Agilität, um ML-Modelle schnell zu liefern, sie auf der Grundlage von Feedback aus der realen Welt zu wiederholen und hohe Leistungsstandards aufrechtzuerhalten.
Neuerungen
- Erstellen Sie einen einfachen Pfad zu skalierbaren Produktionsmodell-Bereitstellungen für MLOps oder ITOps, mit einer intuitiven grafischen Benutzeroberfläche, die keine umfassende Kubernetes-Erfahrung erfordert.
- Optimierte Integration mit Grundlagenmodellen von Hugging Face und NVIDIA bietet eine Null-Coding-Bereistellungserfahrung für Large Language Modells (LLM) direkt von Hugging Face und NVIDIA NGC.
- Nahtlose Integration mit NVIDIA AI Enterprise® umfasst NIM® Microservices für verbesserte Inferenz auf mehr als zwei Dutzend bekannten KI-Modellen von NVIDIA und Partnern.
- Erleichtern Sie den Support für vortrainierte und maßgeschneiderte Modelle, die auf gängigen Frameworks wie TensorFlow, PyTorch, scikit-learn und XGBoost aufbauen.
- Profitieren Sie von der integrierten Überwachung und Protokollierung zur Verfolgung der Modellleistung, der Nutzungsmetriken und des Systemzustands, was eine proaktive Optimierung ermöglicht.
- Bieten Sie anpassungsfähige Bereitstellung über unterschiedliche Infrastrukturen hinweg, die mit vielen Kubernetes-Umgebungen kompatibel sind, einschließlich HPE Ezmeral, HPE GreenLake, AWS, Azure, Google Cloud und On-Premise-Einrichtungen.
Funktionen
Vorhersehbare, zuverlässige, geschützte und überwachte Bereitstellung für unterschiedliche Umgebungen
HPE Machine Learning Inference Software kann Modelle über eine intuitive grafische Oberfläche bereitstellen und Bereitstellung je nach Auslastung skalieren.
Passen Sie Leistung mit Echtzeit-Überwachung der Modelle an und verfolgen Sie Prognosen und Statistiken rund um die Bereitstellung.
Ob in einem vorhandenen Kubernetes Cluster, einer Private Cloud oder selbst einer Hybrid Cloud – HPE Machine Learning Inference Software bietet einheitliches Tooling über sich ständig modernisierende Systeme hinweg, um Ihre Anforderungen zu erfüllen.
Helm Charts nach Industriestandards werden für die Bereitstellung in alle Kubernetes-kompatiblen Plattformen verwendet, darunter OpenShift, Rancher, EKS, AKS und GKS – jede Cloud kann einheitlich genutzt werden.
Out-of-box-Support für NVIDIA-Modelle und -Tools
HPE Machine Learning Inference Software bietet flexiblen und erstklassigen Support für Nvidia GPUs mit einer Architektur, die es ermöglicht, Support für sich ständig modernisierende Systeme einfach hinzuzufügen.
Integration mit Software Suite AI Enterprise von NVIDIA (NVAIE), NVIDIA Inference Microservice (NIM) (nutzt Triton, TensorRT-LLM) und anderen KI-Inferenz-Techniken bietet verbesserte Leistung.
Sicherheit der Enterprise-Class integriert
HPE Machine Learning Inference Software bietet Funktionen zur Ausführung von Workloads in der von Ihnen bevorzugten Umgebung, einschließlich Cloud, Hybrid, On-Premises oder „luftdicht“ – Modelle, Code und Daten bleiben also weiterhin geschützt.
Verwenden Sie Role-Based Access Controls (RBAC) und autorisieren Sie Bereitstellungs- und MLOps-Teams, zusammenzuarbeiten und ML-Ressourcen und -Artefakte sicher gemeinsam zu nutzen.
Schützen Sie Bereitstellungsendpunkte mit Sicherheitsfunktionen der Enterprise-Class, die eine erweiterte Authentifizierung, darunter OIDC und OAuth 2.0, für die Interaktion mit Modellen erfordern.
Breite Modellkompatibilität
HPE Machine Learning Inference Software bietet optimierte Integration für spezifische Large Language Modells (LLM) direkt von Hugging Face und NVIDIA Inference Server (NIM), während sie gleichzeitig die Entwicklung von Modellen der meisten Frameworks ermöglicht.
Erzielen Sie erhöhte Flexibilität mit Modellen aus unterschiedlichen Frameworks wie TensorFlow, PyTorch, Scikit-Learn und XGBoost, um eine breite Palette an vortrainierten Modellen und Kundenmodellen aufzunehmen.
- Kubernetes ist eine eingetragene Marke von Google LLC. NVIDIA® und CUDA sind in den USA und anderen Ländern eingetragene Marken der NVIDIA Corporation. Alle weiteren genannten Marken von Dritten sind Eigentum der jeweiligen Unternehmen.
Weitere Informationen
QuickSpecs
HPE SERVICES