ML in der Hybrid Cloud: Entwicklung, Training, Tests und Deployment
Red Hat® OpenShift® AI ist eine Plattform für künstliche Intelligenz, mit der Sie KI-Modelle und Anwendungen in Hybrid Cloud-Umgebungen in großem Umfang entwickeln, trainieren und bereitstellen können.
Produktübersicht
Mit OpenShift AI können Unternehmen ein integriertes Set gängiger Open Source- und Drittanbietertools für die KI/ML-Modellierung (Künstliche Intelligenz/Machine Learning) effizient bereitstellen. Anwendende erhalten ein kollaboratives Open Source-Toolset und eine Plattform für die Entwicklung experimenteller Modelle, ohne sich Gedanken über die Infrastruktur machen zu müssen. Sie können diese Basisplattform dann mit Tools von Partnern erweitern, um weitere Funktionen zu erhalten. Modelle können lokal sowie in Cloud- und Edge-Umgebungen konsistent in einem containerfähigen Format für Produktivumgebungen bereitgestellt werden.
OpenShift AI ist ein Teil von Red Hat AI. Der Service bietet IT-Operations-Teams eine einfach zu managende Umgebung mit leicht verständlichen Konfigurationen auf einer bewährten, skalierbaren und sicherheitsorientierten Plattform.
OpenShift AI ist als herkömmliches Softwareprodukt oder als gemanagter Cloud Service verfügbar und unterstützt beliebte gen KI-Basismodelle (generative KI), sodass Sie diese vorab trainierten Modelle für Ihre besonderen Use Cases und mit Ihren Daten feinabstimmen und bereitstellen können. Sie können sogar Workloads unabhängig von Ihrem Speicherort auf mehrere Red Hat OpenShift Cluster verteilen. Die Plattform ist auf OpenShift aufgesetzt und vereinfacht die Nutzung von KI-Hardwarebeschleunigung. Sie unterstützt CPU- und GPU-basierte Hardware-Infrastrukturen (Central und Graphic Processing Units), einschließlich NVIDIA-, AMD- und Intel-Beschleunigern.
Für die ersten Schritte mit gen KI-Modellen enthält OpenShift AI die folgenden Komponenten: Red Hat Enterprise Linux® AI als Plattform für Basismodelle, mit der Sie Unternehmensanwendungen mithilfe von Large Language Models (LLM) der Granite-Familie entwickeln, testen und bereitstellen können. Zusätzlich zu den mit Red Hat OpenShift AI bereitgestellten Granite-Modellen unterstützt das Framework auch Modelle von HuggingFace, Stability AI und anderen Modell-Repositories.
Tabelle 1. Features und Vorteile von Red Hat OpenShift AI
Highlights
Skalierung und Automatisierung der Infrastruktur sorgen für niedrigere Kosten beim Übergang vom Experiment zur Produktion.
Die operative Effizienz von KI/ML in den Teams wird durch eine konsistente Benutzeroberfläche verbessert, die Data Scientists, Data Engineers, Anwendungsentwicklungsteams und DevOps-Teams unterstützt.
Profitieren Sie von der Flexibilität der Hybrid Cloud, indem Sie KI/ML-Workloads lokal, in einer Cloud oder am Netzwerkrand erstellen, trainieren, bereitstellen und überwachen.
Features | Vorteile |
| Tools für die Modellentwicklung | Nutzende erhalten eine interaktive, gemeinsam genutzte Schnittstelle auf der Basis von JupyterLab für explorative Data Science und Training, Abstimmung sowie Bereitstellung von Modellen. Data Scientists erhalten ständigen Zugriff auf zentrale KI/ML-Libraries, weit verbreitete Frameworks und eine umfangreiche Auswahl an vordefinierten und von Kunden bereitgestellten Bildern und Workbenches zur Beschleunigung der Modellexperimente. |
| Modelltraining – Projekte | Nutzende können Modellentwicklungsdateien, Datenverbindungen und andere für ein bestimmtes Projekt benötigte Artefakte organisieren, was das Experimentieren vereinfacht und die Zusammenarbeit verbessert. |
| Modelltraining – verteilte Workloads | Nutzen Sie mehrere Clusterknoten gleichzeitig, um prädiktive und gen KI-Modelle effizienter zu trainieren und abzustimmen. So erhalten Sie die Skalierbarkeit, um Aufgaben zu bewältigen, die sonst rechnerisch nicht durchführbar wären. |
GPUs und Beschleuniger
| Bieten Sie ITOps-Mitarbeitenden einen Self Service für den GPU-Zugriff, damit sie ihre GPU-Ressourcenumgebung sowohl lokal als auch in der Cloud für ihre Data Scientists und Anwendungsentwicklunsgteams vordefinieren und so die Konfigurationsauswahl für ihre Projektaufgaben vereinfachen können. |
| Data Science Pipelines | Ermöglichen Sie Data Scientists und KI-Engineers die Automatisierung der Bereitstellungs- und Prüfungsschritte von Modellen in der Entwicklung und Produktion. Pipelines können versioniert, nachverfolgt und verwaltet werden, um Benutzerfehler zu reduzieren und die Experimentier- und Produktions-Workflows zu vereinfachen. |
| Modellbereitstellung | Es werden Modelle von Anbietern und Frameworks wie Hugging Face, ONNX, PyTorch, TensorFlow und weiteren sowie beliebte Serving-Runtimes wie vLLM unterstützt. Cluster-Ressourcen wie CPUs und GPUs lassen sich je nach Anforderungen der Workload über mehrere Knoten skalieren. |
| Modellüberwachung | Es werden Metriken wie die Anzahl der erfolgreichen und fehlgeschlagenen Inferenzanfragen, die durchschnittlichen Antwortzeiten auf Inferenzen und die Auslastung verfolgt, um bei Bedarf proaktiv Ressourcen anpassen zu können. |
Erkennung von Abweichungen | Abweichungen werden bei den Verteilungen der Eingabedaten für bereitgestellte ML-Modelle überwacht, um zu erkennen, wenn die für die Modellinferenz verwendeten Live-Daten erheblich von den Daten abweichen, mit denen das Modell trainiert wurde. |
Erkennung von Verzerrungen | Dies umfasst Tools, mit denen Data Scientists überwachen können, ob ihre Modelle auf der Basis der Trainingsdaten korrekt und unvoreingenommen arbeiten, aber auch, ob sie im realen Einsatz korrekt funktionieren. |
KI-Richtlinien | Hasserfüllte, beleidigende oder vulgäre Äußerungen, personenbezogene Daten, Wettbewerbsinformationen und sonstige, domainspezifischen Beschränkungen unterliegende Informationen werden herausgefiltert. |
Modellbewertung | Sie bietet wichtige Informationen über die Qualität des LLM-Modells und vergleicht die Performance von LLM-Modellen bei einer Vielzahl von Aufgaben. |
Model Registry | Dies ermöglicht die zentrale Anzeige und Verwaltung registrierter Modelle und unterstützt Data Scientists bei der Freigabe, Versionierung, Bereitstellung und Nachverfolgung von prädiktiven und gen KI-Modellen, Metadaten und Modellartefakten. |
Isolierte Umgebungen und Edge | Sie vereinfachen den Einsatz getrennter Cluster in einem eingeschränkten Netzwerk, oft hinter einer Firewall, und unterstützen Branchen, in denen Sicherheit und die Compliance Air Gap Deloyments erfordern. |
Zusätzlich zu den in OpenShift AI bereitgestellten Funktionen wurden viele Produkte von Technologiepartnern in die Benutzeroberfläche (UI) integriert. Dazu gehören Starburst für den verteilten Datenzugriff über verschiedene Datensätze hinweg, HPE für Data Lineage und Versionierung, NVIDIA für das Performance Management von GPUs, Intel für Hochleistungsinferenzen auf Intel-Hardware und Elastic für Vektordatenbanken mit RAG-Anwendungen (Retrieval Augmented Generation).
Nächste Schritte:
Für mehr Informationen über Red Hat OpenShift AI sehen Sie sich dieses informative Video an.
