De tendance à confiance : la logique de « validation » d'un modèle pour l'IA en entreprise

L'IA générative fait désormais partie de notre quotidien. La plupart des entreprises ne se demandent plus s'il faut ou non utiliser de grands modèles de langage, mais comment et lesquels. Il s'agit maintenant de faire le tri parmi ce que la publicité et les classements affirment pour déterminer les véritables atouts à rechercher dans un modèle d'IA.

Cet article définit la « validation » par rapport à la pile d'IA générative en entreprise et explique comment notre approche aide les équipes à sélectionner les modèles d'IA les plus adaptés à leurs besoins.

Problème : la validation de l'IA est corrompue

Aujourd'hui, la plupart des entreprises « valident » leurs modèles d'IA avec un ensemble fragmenté de méthodes :

• Consultation des classements Open Source (par exemple, Chatbot Arena ou Artificial Analysis)
• Exécution de tests internes avec des scripts ponctuels sur une petite sélection d'instructions génératives
• Estimation des coûts, de l'utilisation et des besoins en matériel à l'aide de calculs rapides

Bien qu'intéressantes, ces méthodes n'aboutissent pas à une vision globale. Indépendamment les unes des autres, elles laissent souvent penser qu'un modèle d'IA est prêt pour les environnements de production, alors qu'il ne l'est pas.

Résultat : les applications d'IA finissent par tomber en panne ou deviennent ingérables à grande échelle, et les entreprises restent bloquées à l'étape de preuve de concept. Les coûts d'inférence s'accumulent, la latence augmente en même temps que la charge et les modèles rencontrent des problèmes d'alignement inattendus. Pourtant, tous ces problèmes pourraient être identifiés à l'avance.

La validation d'un modèle d'IA n'est pas une évaluation ponctuelle. Il s'agit d'un processus structuré qui prend en compte des contraintes réelles.

Définition de la « validation » dans le contexte de l'IA pour les entreprises

La validation des modèles d'IA est un processus de science des données qui permet de tester la précision d'un modèle avec des charges d'exploitation réelles. Pour les entreprises, cette approche doit être complétée par une évaluation par rapport aux données et aux tâches réelles, sur différents types de matériel, en ciblant des cas d'utilisation clés. Pour aider les entreprises à passer de la preuve de concept à la production en toute confiance, il convient de redéfinir la validation des modèles d'IA autour de deux piliers :

1. Performances évolutives : un modèle validé doit conserver une latence faible et stable face au trafic simultané des utilisateurs, et toujours respecter les objectifs de niveau de service. La validation doit inclure des tests rigoureux avec diverses charges de travail et configurations matérielles. Elle doit également simplifier les compromis entre performances, précision et coûts, pour que les équipes prennent des décisions de déploiement éclairées en tenant compte du contexte.
2. Précision reproductible : une véritable validation nécessite des tests de précision transparents et reproductibles. L'évaluation des modèles d'IA doit s'appuyer sur de multiples ensembles de données contradictoires et soigneusement sélectionnés, selon des méthodes clairement documentées qui permettent de reproduire les résultats de manière cohérente entre les équipes au fil du temps.

Ce n'est qu'une fois qu'un modèle fonctionne correctement sur la base de ces mesures qu'il peut être considéré comme réellement adapté aux entreprises.

Approche de Red Hat en matière de validation de modèles

Nous sommes fiers de proposer des modèles d'IA tiers validés, qui offrent confiance, prévisibilité et flexibilité lors de leur déploiement sur la plateforme unifiée Red Hat AI.

Le choix de modèles de fondation, de configurations de serveurs d'inférence et d'accélérateurs matériels est si vaste qu'il est difficile d'identifier la bonne combinaison pour un cas d'utilisation donné. Red Hat AI met à disposition des conseils sur la capacité de calcul et des résultats de tests empiriques pour aider les clients à prendre des décisions fondées sur des données de performances réelles.

Résolution de deux problèmes majeurs

• Clarté des compromis : les compromis qu'imposent les modèles d'IA modernes en matière de performances, de précision et de coûts demandent beaucoup de réflexion. Chez Red Hat, nous les simplifions en réalisant des tests de performances propres aux charges de travail et en présentant les résultats dans un format transparent et reproductible
• Contexte métier : il est essentiel de mettre en correspondance ces compromis avec les cas d'utilisation réels de l'entreprise. Nous aidons nos clients à comprendre comment les modèles d'IA et les décisions liées à l'infrastructure modifieront le comportement des applications en production.

Sur une sélection de modèles tiers, l'équipe Red Hat AI effectue des tests de performances et des évaluations de précision avec différents matériels et différentes configurations. Elle peut ainsi valider des modèles performants et prêts à être déployés sur Red Hat AI Inference Server, Red Hat Enterprise Linux AI et Red Hat OpenShift AI.

Les modèles validés sont identifiés par un badge spécial et s'affichent sur la page Red Hat AI de Hugging Face, dans le Red Hat AI Ecosystem Catalog et dans le Red Hat OpenShift AI Model Catalog.

Nous validons et testons régulièrement nos nouveaux modèles d'IA pour vérifier qu'ils fonctionnent correctement dans vLLM sur chaque produit Red Hat AI. Les entreprises peuvent accéder rapidement aux derniers modèles d'avant-garde.

Les clients peuvent également s'adresser aux spécialistes Red Hat pour examiner les résultats de la validation des modèles et bénéficier de conseils adaptés sur la planification des capacités. Ces informations permettent de voir plus loin que les tendances et de déployer en toute confiance les modèles tiers les plus adaptés à l'infrastructure concernée, en profitant d'une visibilité totale sur les performances attendues, la précision et les coûts.

Obtenez plus d'informations sur les modèles validés par Red Hat AI et commencez à les utiliser dès aujourd'hui pour vos déploiements d'IA.