Vom Hype zum Erfolg: Was macht ein Modell für Unternehmens-KI „validiert“?

Die Flitterwochen mit der generativen KI (gen KI) liegen hinter uns. Die meisten Unternehmen fragen sich nicht, ob sie Large Language Models (LLMs) verwenden sollen, sondern wie und welche. Aber was bedeutet es, dass ein KI-Modell inmitten von spannenden Demos und Best Practices für den Einsatz in Unternehmen geeignet ist?

In diesem Beitrag wird untersucht, was „validiert“ in Bezug auf den gen KI-Stack von Unternehmen bedeutet und wie der Ansatz von Red Hat Teams bei der Auswahl der richtigen KI-Modelle für ihre Anforderungen unterstützt.

Das Problem: Die KI-Validierung ist fehlerhaft

Heute „validieren“ die meisten Unternehmen ihre KI-Modelle durch eine Reihe fragmentierter Methoden:

• Prüfung von Open Source-Bestenlisten (wie Chatbot Arena, Artificial Analysis)
• Ausführung interner Tests mit Ad-hoc-Skripten für einige kuratierte Eingabeaufforderungen
• Schätzung der Nutzung und der Kosten/Hardware-Anforderungen anhand von Back of the Envelope-Berechnungen

Jede dieser Optionen enthält bestimmte Informationen, aber keine zeigt ein vollständiges Bild. Für sich allein genommen führen sie Teams oft zu der falschen Annahme, ein KI-Modell sei für Produktivumgebungen bereit. Dies ist jedoch nicht der Fall.

Das Ergebnis? KI-Anwendungen werden unbrauchbar oder sind in großem Umfang nicht mehr handhabbar, und Unternehmen bleiben für immer in der POC-Phase (Proof of Concept) stecken. Dies führt zu steigenden Inferenzkosten, einer erhöhten Latenz bei zunehmender Last oder unerwarteten Problemen bei der Modellabstimmung. All dies hätte im Voraus erkannt werden können.

Die echte Validierung von KI-Modellen ist keine einmalige Benchmark. Sie ist ein strukturierter Prozess, der auf realen Rahmenbedingungen basiert.

Definition von „Validierung“ im Kontext von Unternehmens-KI

Die Validierung von KI-Modellen ist der Prozess, mit dem Data Scientists die Genauigkeit eines Modells unter realen, operativen Lasten testen. Ein umfassenderer Ansatz für Unternehmen sollte die Bewertung ihrer KI-Modelle mit realen Daten und Aufgaben auf unterschiedlicher Hardware beinhalten und auf wichtige Use Cases für Unternehmen abzielen. Damit Unternehmen sicher von den PoCs zur Produktion übergehen können, muss die Validierung von KI-Modellen anhand von 2 zentrale Säulen neu definiert werden:

1. Skalierbare Performance: Ein validiertes Modell muss eine niedrige und stabile Latenz bei gleichzeitigem Benutzerverkehr aufrechterhalten und die SLO-Ziele (Service Level Objective) konsistent erfüllen. Die Validierung sollte strenge Tests für verschiedene Workload-Szenarien und Hardwarekonfigurationen umfassen. Darüber hinaus sollte sie eine einfache Möglichkeit bieten, die Kompromisse zwischen Performance, Genauigkeit und Kosten zu verstehen, damit die Teams fundierte, kontextbezogene Deployment-Entscheidungen treffen können.
2. Reproduzierbare Genauigkeit: Echte Validierung erfordert transparente und wiederholbare Genauigkeitstests. KI-Modelle sollten anhand mehrerer kuratierter und konkurrenzfähiger Datensätze mit klar dokumentierten Methoden evaluiert werden, mit denen die Ergebnisse konsistent in verschiedenen Teams und über einen längeren Zeitraum reproduziert werden können.

Nur wenn ein Modell anhand dieser Messwerte erfolgreich funktioniert, kann es als wirklich unternehmensgerecht bezeichnet werden.

Der Ansatz von Red Hat für die Modellvalidierung

Red Hat ist stolz darauf, validierte KI-Modelle von Drittanbietern vorstellen zu können, die Vertrauen, Vorhersagbarkeit und Flexibilität beim Deployment auf der Red Hat AI-Plattform bieten.

Bei einer wachsenden Auswahl an Basismodellen, Inferenz-Serverkonfigurationen und Hardwarebeschleunigern ist es keine leichte Aufgabe, die richtige Kombination für einen bestimmten Use Case zu finden. Red Hat AI bietet Unternehmen Einblick in Rechenkapazität und empirische Testergebnisse, damit Kunden fundierte Entscheidungen auf der Basis echter Performance-Daten treffen können.

Zwei zentrale Problempunkte angehen

• Klarheit bei Kompromissen: Das Abwägen von Kompromissen bei Performance, Genauigkeit und Kosten moderner KI-Modelle kann sich anfühlen wie der Versuch, ein komplexes Rätsel zu lösen. Red Hat erleichtert dies, indem es workloadspezifische Benchmarks durchführt und die Ergebnisse in einem transparenten, reproduzierbaren Format präsentiert.
• Geschäftlicher Kontext: Es ist entscheidend, diese Kompromisse mit echten Use Cases in Unternehmen zu vergleichen. Red Hat hilft Kunden zu verstehen, wie sich KI-Modelle und Infrastrukturentscheidungen auf das Anwendungsverhalten in der Produktion auswirken.

Das Team von Red Hat AI unterzieht einen kuratierten Satz von Drittanbietermodellen strengen Performance-Tests und Genauigkeitsbewertungen in verschiedenen Hardware- und Konfigurationsszenarien. So können wir Modelle validieren, die nicht nur leistungsfähig sind, sondern auch in Red Hat AI Inference Server, Red Hat Enterprise Linux AI und Red Hat OpenShift AI bereitgestellt werden können.

Validierte Modelle sind mit dem Badge „Red Hat AI Validated Model“ gekennzeichnet und werden auf der Red Hat AI Seite auf Hugging Face, im Red Hat AI Ecosystem Catalog und im Red Hat OpenShift AI Model Catalog vorgestellt.

Red Hat validiert und testet regelmäßig neu veröffentlichte KI-Modelle, um sicherzustellen, dass sie in vLLM für jedes Produkt der Red Hat AI-Plattform effizient ausgeführt werden können. So können Unternehmen schnell auf die neuesten Modelle zugreifen.

Kunden können sich auch von den KI-Experteninnen und -Experten von Red Hat beraten lassen, um die Ergebnisse der Modellvalidierung zu prüfen und eine individuelle Anleitung zur Kapazitätsplanung zu erhalten. Dank dieser Einblicke können Teams den Hype um die Bestenliste hinter sich lassen und die am besten geeigneten Drittanbietermodelle auf der Infrastruktur ihrer Wahl bereitstellen – bei vollem Einblick in die erwartete Performance, Genauigkeit und Kosten.

Erfahren Sie mehr über die validierten Modelle von Red Hat AI, und nutzen Sie diese noch heute für Ihre KI-Deployments.