L'IA selon le modèle, l'accélérateur et le cloud de votre choix : libérez le potentiel de l'IA d'entreprise grâce aux innovations Open Source

« Toutes les charges de travail, toutes les applications, tous les environnements » : tel était le mantra du Red Hat Summit 2023. Le secteur informatique a connu de nombreux changements ces deux dernières années. Chez Red Hat, notre vision n'a pas changé : elle a évolué.

L'IA selon le modèle, l'accélérateur et le cloud de votre choix.

C'est l'avantage du cloud hybride à l'ère de l'IA. Et le meilleur, c'est qu'à l'instar de l'« ancien » cloud hybride, tout repose sur les innovations Open Source. À l'occasion du Red Hat Summit, nous expliquons comment les écosystèmes d'IA construits autour de technologies Open Source et de modèles ouverts offrent un fort potentiel aux entreprises. L'Open Source est synonyme de choix, et le choix renforce la flexibilité, que ce soit pour le modèle qui répondra aux besoins de l'entreprise, pour l'accélérateur sous-jacent et pour l'environnement d'exécution des charges de travail. Pour être efficaces, les stratégies d'IA doivent suivre les données, où qu'elles se trouvent dans le cloud hybride. 

Et sur quoi repose le cloud hybride ? L'Open Source.

L'inférence renforce les capacités de l'IA

Je suis convaincu que nous devons penser au-delà des modèles. Oui, les modèles sont essentiels aux stratégies d'IA, mais sans l'inférence (la phase d'exécution de l'IA), ils ne sont que des collections de données qui n'exécutent rien. L'inférence représente la capacité d'un modèle à répondre rapidement aux requêtes de l'utilisateur et à faciliter la prise de décisions efficaces avec une plus grande puissance de calcul. De longs délais de réponse et une faible efficacité ont à terme un coût élevé et ébranlent la confiance des clients.

Je suis donc ravi de voir que Red Hat place l'inférence au cœur de notre travail avec l'IA Open Source, à commencer par le lancement de la solution Red Hat AI Inference Server. Reposant sur le projet Open Source phare du vLLM et optimisée par les technologies de Neural Magic, la solution Red Hat AI Inference Server offre un serveur d'inférence pris en charge, prêt pour la production et associé à un cycle de vie pour les déploiements de l'IA. Elle permet de véritablement suivre vos données où qu'elles soient stockées, en assurant la compatibilité avec toutes les plateformes Linux, distributions Kubernetes, solutions Red Hat ou tierces.

Mieux que l'IA d'entreprise, l'IA d'entreprise à grande échelle

L'avantage ultime pour l'informatique d'entreprise n'est pas de disposer d'une charge de travail unique et unifiée, ou d'un nouveau service cloud : c'est de pouvoir évoluer rapidement et efficacement. Il en va de même pour l'IA. Cependant, l'IA a une particularité : les ressources de calcul intensif nécessaires aux charges de travail d'IA ont également besoin d'évoluer. Ce processus n'est pas négligeable, compte tenu des dépenses et compétences requises pour mettre en œuvre le matériel nécessaire.

Il ne suffit pas d'avoir la capacité de mettre à l'échelle l'IA, il faut également distribuer de très grandes charges de travail d'IA dans de multiples clusters de calcul intensif. Et la situation se complique davantage lorsqu'il faut mettre à l'échelle les délais d'inférence pour les modèles de raisonnement et l'IA agentique. La répartition de ce travail permet de réduire les goulets d'étranglement et de renforcer l'efficacité, avec à la clé une meilleure expérience utilisateur. Pour remédier à ces difficultés, Red Hat a lancé le projet Open Source llm-d.

Piloté par Red Hat et soutenu par les leaders du secteur de l'IA dans les domaines de l'accélération matérielle, du développement de modèles et du cloud computing, le projet llm-d associe l'efficacité de la plateforme d'orchestration Kubernetes au vLLM. Deux projets phares de l'Open Source sont ainsi combinés pour répondre à un réel besoin. En parallèle aux technologies telles que le routage réseau sensible à l'IA et le déchargement du cache clé-valeur, le projet llm-d décentralise et facilite l'accès à l'inférence d'IA en aidant les entreprises à mieux exploiter leurs ressources de calcul ainsi qu'à renforcer la rentabilité et l'efficacité des charges de travail.

L'avenir de l'IA est Open Source

Accessibles via Red Hat AI Inference Server, les projets llm-d et vLLM sont des technologies Open Source capables de relever les défis actuels de l'IA d'entreprise, et ce dès aujourd'hui. Les communautés en amont ne se contentent toutefois pas de répondre aux besoins actuels. Avec les technologies basées sur l'IA, tout va plus vite : le rythme des innovations est tel que les défis que nous ne pensons pas devoir relever avant longtemps deviennent soudainement des problèmes urgents.

C'est pourquoi Red Hat travaille en amont dans le cadre du projet Llama Stack mené par Meta, afin de fournir des éléments de base standardisés et des API pour les cycles de vie des applications d'IA générative. De plus, le projet Llama Stack est particulièrement adapté à la création d'applications d'IA agentique, une évolution des puissantes charges de travail d'IA générative que nous connaissons aujourd'hui. Au-delà de ce travail en amont, nous fournissons une version préliminaire pour les développeurs de Llama Stack dans Red Hat AI, à destination des entreprises qui souhaitent se préparer à l'avenir.

En ce qui concerne les agents IA, nous ne disposons toujours pas d'un protocole commun de transmission d'informations et de contexte de la part des autres applications. C'est là qu'intervient le MCP (model context protocol). Développé et mis à disposition en Open Source par Anthropic fin 2024, il fournit un protocole standardisé pour ces interactions entre les agents et applications, similaire aux protocoles entre les clients et serveurs dans l'informatique traditionnelle. Le point clé ici, c'est que les applications existantes peuvent prendre en charge l'IA sans redéveloppement approfondi. Il s'agit là d'une grande avancée rendue possible par l'Open Source. Tout comme Llama Stack, le MCP est disponible sous forme de version préliminaire pour les développeurs sur la plateforme Red Hat AI.

Si les modèles d'IA propriétaires ont pris de l'avance, les écosystèmes Open Source ont pris le relais, notamment au niveau des logiciels qui soutiennent ces modèles d'IA de nouvelle génération. Avec les projets vLLM et llm-d, ainsi que les produits Open Source d'entreprise sécurisés, l'avenir de l'IA s'annonce prometteur, quel que soit le modèle, l'accélérateur ou le cloud choisi. Et c'est grâce à l'Open Source et aux efforts déployés par Red Hat.