Generative KI optimal nutzen mit Cloudera Data Platform und Red Hat OpenShift

In vielen Science-Fiction-Filmen bittet das Team einen Computer, ein Problem zu lösen. Der Computer schaltet sich mit ruhiger Stimme ein, um mögliche Lösungen zu erläutern. Das Personal hört aufmerksam zu und setzt das Gespräch so fort, als würde es mit einem Kollegen sprechen. Dies war noch vor nicht allzu langer Zeit eine wissenschaftliche Fantasie. Viele Kinder träumten davon, dass ein Computer ihnen bei der Navigation eines Raumschiffs in unbekannten Gebieten helfen könnte. Das Jahr 2023 ist keine Zukunftsvision mehr wie Science-Fiction, sondern Realität. Ja, wir sprechen über die Einführung und breite Akzeptanz von generativer künstlicher Intelligenz (GenAI).

Diese Technologie hat neue Grenzen geöffnet. GenAI kann nicht nur bei der Beantwortung von Fragen und der Einführung von Lösungen helfen, sondern auch Poesie sprechen, Bilder malen und sogar Musik komponieren!

Im Kern basiert GenAI auf maschinellem Lernen (ML), bei dem mehrere große Datensätze verwendet werden, um Inhalte autonom zu erstellen. Dieser Ansatz ist mit einem großen Sprachmodell (Large Language Model, LLM) gekoppelt, das mithilfe von Deep Learning verschiedene Aufgaben zur Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) durchführt. Sie verwendet ein Transformer-Modell mit einem riesigen Datensatz – daher der Begriff „groß“.

In Science-Fiction-Szenarien wird GenAI im täglichen Abläufe verwendet. Wie wäre es, wenn wir dieses Beispiel auf Geschäftsszenarien anwenden, bei denen Mitglieder des Unternehmens das Modell nutzen können, um geschäftsrelevante Entscheidungen zu treffen? Beispiele hierfür sind die Vorhersage der Verfügbarkeit der Lieferkette, um ein Produkt in einer Fabrik zu produzieren, oder die Ermittlung des Lagerbestandsbedarfs in einem bestimmten Einzelhandelsgeschäft, um die Verfügbarkeit für Kunden zu gewährleisten. Die Möglichkeiten sind endlos.

In diesem Artikel werden einige der wichtigsten Herausforderungen für Unternehmen bei der Bereitstellung von GenAI-Workloads beschrieben. Außerdem erfahren Sie, wie Cloudera und Red Hat zusammenarbeiten, um Unternehmen mithilfe von GenAI eine bessere Nutzung ihrer Daten mit Governance und verbesserter Sicherheit zu ermöglichen.

Sichere generative KI: Herausforderungen und Bedeutung

Es lässt sich nicht leugnen, dass GenAI und LLMs das Potenzial haben, die Arbeitsweise von Unternehmen und ihre Interaktion mit Kunden zu verändern, aber sie sind sicherlich kein Allheilmittel. Unternehmen, die diese Technologien einführen, müssen Praktiken implementieren, um die inhärenten Risiken und Herausforderungen zu mindern, und Strategien entwickeln, um diese zu bewältigen – mit dem Ziel, verantwortungsbewusstere und zuverlässigere KI-gestützte Lösungen zu schaffen.

Die erste Herausforderung im Zusammenhang mit der Einführung von GenAI für Unternehmen ist der Datenschutz. Dies ist für jedes Unternehmen ein Hauptanliegen, aber GenAI führt aus folgenden Gründen zu zusätzlicher Komplexität:

1. Die große Menge an Datensätzen, die für das Modelltraining erforderlich sind.

2. Die neuen Daten, die LLMs als Ausgabe generieren.

Darüber hinaus können Eingabeaufforderungen (Prompts) versehentlich sensible oder vertrauliche Daten in ein LLM einfügen, was zu potenziellen Sicherheitsverletzungen und Offenlegung führen kann. Weiterhin können in Public Clouds gehostete GenAI-Services ein Risiko für Unternehmen darstellen, die vertrauliche und sensible Daten speichern und verarbeiten, die bei einer Sicherheitsverletzung oder einem unbefugten Zugriff offengelegt werden könnten.

Um diesen Datenschutzrisiken zu begegnen, nutzen Organisationen GenAI in Private Clouds, damit sie ihre kritischen und sensiblen Daten nicht in einen öffentlich gehosteten GenAI-Service verschieben müssen. Auf diese Weise können Unternehmen Basismodelle in ihren Private Clouds wiederverwenden und dadurch ihre vertraulichen Daten besser schützen und verwalten.

Eine weitere inhärente Herausforderung ist die kontextbezogene Einschränkung von LLMs. Obwohl öffentlich verfügbare KI-Services für Unternehmen attraktiv sind, müssen sie diese interaktiven Erlebnisse auf ihren proprietären Daten im richtigen Kontext aufbauen, ohne ihre Daten mit externen Services zu teilen. Leistungsstarke LLMs können eine Vielzahl von Themen abdecken, von Ratschlägen zum richtigen Leben bis hin zur Information über das Design von Transformer-Architekturen. Unternehmen haben jedoch viel mehr spezifische Anforderungen: Sie brauchen Antworten für ihren Unternehmenskontext.

Für die Implementierung eines neuen GenAI-Projekts sind möglicherweise neue Tools und Fähigkeiten erforderlich. Die Verwendung einer Datenanalyseplattform, die auf einer leistungsstarken Entwicklungsplattform ausgeführt wird, ermöglicht Unternehmen jedoch einen einfachen Zugang zur Implementierung einer GenAI-Strategie und eines GenAI-Projekts. Durch die Nutzung dieser leistungsstarken Plattformen können Unternehmen vorhandene Fähigkeiten und Kenntnisse nutzen und gleichzeitig die Zeit bis zur Markteinführung verkürzen.

Cloudera Data Platform auf Red Hat OpenShift

Cloudera Data Platform (CDP) Private Cloud bietet leistungsstarke Analyse-, Transaktions- und ML-Workloads in einer hybriden Datenplattform auf Basis von Kubernetes. CDP Private Cloud Data Services wird auf Red Hat OpenShift ausgeführt und nutzt viele der zusätzlichen Funktionen, die OpenShift bietet.

Die Bereitstellung von CDP Private Cloud auf OpenShift bietet viele Vorteile für das gesamte Deployment, darunter:

• Verbesserte Sicherheitsbedingungen: Bei der Bereitstellung oder Aktualisierung von Anwendungen ist es entscheidend, dynamische Sicherheitskontrollen bereitzustellen, um Ihr Unternehmen so sicher wie möglich zu halten. OpenShift kann Sicherheitskontrollen auf die Softwarelieferkette anwenden und so die Sicherheitsfunktionen von Anwendungen verbessern, ohne die Produktivität von Entwicklungsteams zu verringern. Mit Red Hat OpenShift können Unternehmen ihre Anwendungsplattform während des gesamten Lifecycles kontrollieren, schützen und erweitern.
• Governance und Compliance: Red Hat OpenShift Platform Plus enthält Red Hat Advanced Cluster Management for Kubernetes und kann Unternehmen dabei unterstützen, Apps schneller bereitzustellen, mehrere Cluster zu verwalten und Richtlinien in mehreren Clustern in großem Umfang durchzusetzen.OpenShift bietet zentrale Sicherheitsfunktionen wie Zugriffskontrollen, Netzwerke und Unternehmens-Registry mit integriertem Scanner. Red Hat Advanced Cluster Security for Kubernetes verbessert dies mit zusätzlichen Sicherheitsfunktionen wie Runtime-Bedrohungserkennung, Schwachstellenmanagement über den gesamten Lifecycle sowie Risikoprofilerstellung.
• Verwaltbarkeit und Flexibilität: OpenShift vereinfacht das Deployment und Management einer hybriden Infrastruktur und gibt Ihnen die Flexibilität, über einen selbst- oder vollständig gemanagten Service zu verfügen, der On-Premise oder in Cloud- und Hybridumgebungen ausgeführt wird. Weiterhin kann Ihr Unternehmen seine zugesagten Ausgaben für AWS oder Microsoft Azure in Lösungen und Services von Red Hat investieren. Mit Red Hat Advanced Cluster Management können Sie Cluster und Anwendungen über eine zentrale Konsole mit integrierten Sicherheitsrichtlinien verwalten.
• Skalierbarkeit: Auf OpenShift ausgeführte Anwendungen können innerhalb von Sekunden auf Tausende von Instanzen über Hunderte von Knoten skaliert werden. Enthalten sind optimierte und automatisierte Container- und Anwendungs-Builds, Deployments, Skalierung, Zustandsverwaltung und mehr.

Red Hat und Cloudera bieten eine für KI-Workloads optimierte Lösung, mit der Unternehmen den gesamten Daten-Lifecycle mit verbesserten Sicherheitsfunktionen verwalten, Daten schneller nutzen und die Zeit bis zur Wertschöpfung verkürzen können. CDP Private Cloud on Red Hat OpenShift bietet containerisierte Datenservices für Data Engineering, Data Warehouse und Machine Learning. Dadurch können Unternehmen mehr verwertbare Erkenntniss aus ihren Daten in einer hybriden Cloud-Umgebung ableiten, die für Security-Forward Abläufe optimiert ist.

Die CDP Private Cloud-Plattform der nächsten Generation kann in Kombination mit den unternehmensgerechten Managementtools von OpenShift analytische Workloads konsistenter provisionieren und skalieren. Sie weist genau die Ressourcen zu, die benötigt werden. Dadurch können Unternehmen:

• Ermöglichen Sie es Ihren Mitarbeitenden, die Daten über eine zentrale intuitive Konsole zu nutzen.
• Erstellen Sie benutzerdefinierte Umgebungen auf Unternehmensniveau, behalten Sie die Kontrolle über den gesamten Daten-Lifecycle und realisieren Sie gleichzeitig die Kostenvorteile einer lokalen Private Cloud-Umgebung.
• Stellen Sie skalierbare Datenservices bereit, die Sie flexibel und ohne Vendor Lock-in auf beliebige Plattform verschieben können, auch Hybrid-Umgebungen.
• Bieten Sie Ihren Mitarbeitenden in der Datenverarbeitung sowie Entwicklungsteams ein konsistentes IT-Erlebnis in einer modernen Umgebung.

Mit Cloudera und Red Hat können Unternehmen ihre eigenen KI-Anwendungen auf der Basis eines Open Source LLM ihrer Wahl mit ihren Daten erstellen, die intern im Unternehmen gehostet werden. Dadurch können nicht nur Data Scientists und ML-Teams, sondern auch Entwicklungsteams und andere Geschäftsbereiche KI wirklich demokratisieren und gleichzeitig für eine verbesserte Sicherheitslage, Governance, Compliance und Verwaltbarkeit auf einer einzigen Plattform sorgen. Mehr über die Angebote von Cloudera und Red Hat erfahren Sie in dieser Customer Story. Weitere Informationen über Cloudera Data Platform auf Red Hat OpenShift finden Sie hier.