Für beliebige Modelle, Beschleuniger und Clouds: Unternehmens-KI mit Open Source-Innovationen erschließen

Für beliebige Workloads, Anwendungen und Umgebungen – das war das Motto beim Red Hat Summit 2023. In den letzten 2 Jahren haben wir dann so einige Veränderungen in der IT erlebt. Aber die Vision von Red Hat hat sich nicht geändert. Im Gegenteil: sie hat sich weiterentwickelt.

Beliebige Modelle. Beliebige Beschleuniger. Beliebige Clouds.

Das ist die Hybrid Cloud-Botschaft für die Ära der KI. Und das Beste daran? Genau wie schon bei der „alten“ Hybrid Cloud wird auch diese Vision von Open Source-Innovationen befeuert. Beim Red Hat Summit zeigen wir diese Woche, wie KI-Ökosysteme, die rund um Open Source und offene Modelle strukturiert sind, Unternehmen neue Möglichkeiten eröffnen. Offenheit sorgt für eine größere Auswahl an Möglichkeiten, was wiederum für mehr Flexibilität sorgt – vom Modell, das die Anforderungen des Unternehmens am besten erfüllt, bis hin zum zugrunde liegenden Beschleuniger und zur Umgebung, in der eine Workload letztendlich ausgeführt werden soll. Erfolgreiche KI-Strategien richten sich nach den Daten, unabhängig davon, wo diese sich in der Hybrid Cloud befinden. 

Und was befeuert die Hybrid Cloud? Open Source.

Bessere KI mit Inferenz

Meiner Meinung nach müssen wir über Modelle hinausblicken. Modelle sind zwar für KI-Strategien unheimlich wichtig. Aber ohne Inferenz, also ohne diese aktive Phase der KI, sind Modelle lediglich Datenansammlungen, die eben nichts aktiv tun. Inferenz bezieht sich darauf, wie schnell ein Modell auf den Input von Nutzenden reagiert und wie effizient Entscheidungen bei beschleunigten Computing-Ressourcen getroffen werden können. Letztendlich kosten langsame Reaktionen und eine dürftige Effizienz nicht nur Geld, sondern auch Kundenvertrauen.

Daher freue ich mich, dass Red Hat Inferenz bei unserer Arbeit mit Open Source-KI an die vorderste Front stellt, angefangen beim Launch von Red Hat AI Inference Server. Red Hat AI Inference Server baut auf dem führendem Open Source vLLM Projekt auf und wurde mit Technologien von Neural Magic erweitert. Damit bietet die Lösung einen unterstützten, produktionsreifen und über den gesamten Lifecycle hinweg aktualisierten Inferenzserver für KI-Deployments. Und das Beste ist, dass der Server sich wirklich an Ihren Daten ausrichten kann, und zwar unabhängig davon, wo diese sich befinden – die Lösung kann mit sämtlichen Linux-Plattformen, Kubernetes-Distributionen, Red Hat und anderen Anbietern arbeiten.

Was ist noch besser als Unternehmens-KI? Unternehmens-KI in großem Umfang.

Die Killeranwendung für die Unternehmens-IT ist keine einzige, einheitliche Workload oder ein neuer Cloud Service, sondern die Fähigkeit, schnell und effizient zu skalieren. Das gilt auch für KI. Aber KI hat die überraschende Besonderheit, dass die beschleunigten Computing-Ressourcen, die KI-Workloads zugrunde liegen, auch skalieren müssen. In Anbetracht des Aufwands und der Kompetenzen, die zur ordnungsgemäßen Implementierung dieser Hardware erforderlich sind, ist das keine kleine Aufgabe.

Wir müssen KI nicht nur skalieren können. Wir müssen auch in der Lage sein, massive KI-Workloads auf mehrere beschleunigte Computing-Cluster zu verteilen. Dies wird zusätzlich noch durch die Skalierung der Inferenzzeit erschwert, die für Reasoning Models und agentische KI (Agentic AI) erforderlich ist. Wird die Last geteilt, können wir Performance-Engpässe reduzieren, die Effizienz optimieren und letztendlich das Benutzererlebnis verbessern. Mit dem Open Source-Projekt llm-d hat Red Hat einen ersten Schritt gemacht, um diesen Problempunkt zu lösen.

llm-d wird von Red Hat geführt und von den Marktführern der KI-Branche in Bereichen wie Hardwarebeschleunigung, Modellentwicklung und Cloud Computing unterstützt. Das Projekt koppelt die bewährten Vorteile von Kubernetes-Orchestrierung mit vLLM und kombiniert damit 2 führende Kapazitäten in Sachen Open Source, um auf ein sehr reales Bedürfnis zu reagieren. Zusammen mit Technologien wie KI-gestütztem Netzwerk-Routing und der Auslagerung des KV-Caches (Key Value) dezentralisiert und demokratisiert llm-d KI-Inferenz. Dadurch können Unternehmen mehr aus ihren Computing-Ressourcen herausholen und profitieren gleichzeitig von kostengünstigeren und effektiveren KI -Workloads.

(Quell-)Offen für die nächsten Innovationen in der KI

Die Open Source-Technologien llm-d und vLLM – bereitgestellt über Red Hat AI Inference Server – sind bestens dafür gerüstet, die Herausforderungen von heute in der Unternehmens-KI zu meistern. Aber Upstream Communities konzentrieren sich nicht nur darauf, was jetzt gerade getan werden muss. KI-Technologien komprimieren Zeitleisten auf besondere Weise. Das schnelle Innovationstempo führt dazu, dass etwas, das eigentlich auf Jahre hinaus noch keine Herausforderung darstellen sollte, plötzlich dringend gelöst werden muss.

Deswegen stellt Red Hat Ressourcen für den Upstream in Llama Stack zur Verfügung, dem von Meta geführten Projekt zur Bereitstellung von standardisierten Bausteinen und APIs für gen KI-Anwendungs-Lifecycles. Llama Stack ist außerdem bestens für die Entwicklung agentischer KI-Anwendungen geeignet, die eine Weiterentwicklung der leistungsstarken gen KI-Workloads von heute darstellen. Zusätzlich zum Upstream machen wir Llama Stack auch als Entwicklungsvorschau in Red Hat AI verfügbar – für Unternehmen, die sich schon jetzt mit der Zukunft beschäftigen wollen.

Wenn es um KI-Agenten geht, fehlt uns immer noch ein allgemeines Protokoll dafür, wie andere Anwendungen diesen Kontext und andere Informationen bereitstellen. Hier kommt MCP (Model Context Protocol) ins Spiel. Es wurde Ende 2024 von Anthropic entwickelt und als Open Source zur Verfügung gestellt und bietet ein standardisiertes Protokoll für Interaktionen zwischen Agenten und Anwendungen, ähnlich den Cient-Server-Protokollen im traditionellen Computing. Aber das Besondere daran ist, dass bestehende Anwendungen plötzlich ohne eine umfangreiche Neuentwicklung KI-fähig werden können. Das ist ein gigantischer Schritt, der ohne Open Source nicht möglich wäre. Wie auch Llama Stack ist MCP in der Red Hat AI Plattform als Entwicklungsvorschau verfügbar.

Proprietäre KI-Modelle haben zwar frühzeitig eine Führungsrolle eingenommen, aber offene IT-Ökosysteme haben diese zweifellos übernommen – insbesondere bei Software, die diese KI-Modelle der nächsten Generation unterstützen. Mit vLLM, llm-d und gehärteten Open Source-Produkten für Unternehmen sieht die Zukunft von KI vielversprechend aus, und zwar unabhängig von Modell, Beschleuniger oder Cloud. Und diese Zukunft wird unterstützt von Open Source und Red Hat.