I modelli convalidati da Red Hat AI
Grazie ai modelli convalidati da Red Hat® AI gli utenti possono distribuire i modelli di IA gen sviluppati da terze parti su Red Hat AI in maniera sicura, prevedibile e flessibile.
Panoramica
Con tutti i modelli linguistici di grandi dimensioni (LLM), le configurazioni dei server di inferenza e gli acceleratori hardware attualmente disponibili, le organizzazioni devono assicurarsi di adottare la giusta combinazione per gli scenari di utilizzo aziendali che garantisca elevate prestazioni, accuratezza e risparmio sui costi.
Per agevolare la scelta, Red Hat AI mette a disposizione un set di modelli di terze parti convalidati e interamente compatibili con la piattaforma. Questo set di modelli di terze parti viene eseguito in scenari di pianificazione della capacità in modo che le aziende possano scegliere, secondo equilibrio, il modello, le impostazioni di deployment e gli acceleratori hardware più confacenti ai loro scenari di utilizzo specifici.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Caratteristiche e vantaggi
Maggiore flessibilità
Accedi alla raccolta di modelli convalidati e ottimizzati per l'inferenza in hosting su Hugging Face. I modelli convalidati aiutano ad aumentare la coerenza e l'affidabilità delle app di IA, accorciando il time to value.
Inferenza ottimizzata
Razionalizza l'infrastruttura di IA e riduci i costi e i tempi di deployment scegliendo il modello, le impostazioni di deployment e gli acceleratori hardware più adatti agli scenari di utilizzo aziendali.
Maggiore sicurezza
Accedi a benchmark di settore, valutazioni dell'accuratezza e strumenti di ottimizzazione dei modelli per analizzare, comprimere e convalidare i modelli di terze parti per il deployment in diversi scenari.
Massimizza i vantaggi dei tuoi modelli
La convalida del modelli di Red Hat AI si esegue tramite strumenti open source, quali GuideLLM, Language Model Evaluation Harness e vLLM , per assicurare la riproducibilità.
Modelli convalidati
Questi non sono LLM qualunque. Testiamo i modelli di terze parti in scenari realistici per esaminare come si comporteranno in contesti reali. Utilizziamo strumenti specifici per valutare le prestazioni degli LLM su diversi hardware.
- GuideLLM valuta le prestazioni e i costi dell'esecuzione su diverse configurazioni hardware.
- LM Evaluation Harness testa la capacità di generalizzazione dei modelli in diversi contesti.
Modelli ottimizzati
Sottoposti a compressione per aumentarne velocità ed efficienza, questi LLM sono progettati per il deployment su vLLM dove garantiscono prestazioni e accuratezza elevate e una significativa riduzione nell'utilizzo di risorse.
- LLM Compressor è una libreria open source che accorpa in un unico strumento le ultime tecnologie per la compressione dei modelli in maniera più efficiente e rapida.
- vLLM è il principale motore inferenziale e di model serving open source che assicura elevata produttività e basso consumo di memoria per LLM ottimizzati.
Soluzioni personalizzate con Red Hat AI
Red Hat AI è la piattaforma di IA open source che si adatta ai tuoi obiettivi e alle modalità che hai scelto per realizzarli. Modelli efficienti che riducono i costi, personalizzazione agevole con i tuoi dati e alla portata di tutti i team, distribuzione e gestione coerenti dei carichi di lavoro in tutta l'infrastruttura, il tutto con strumenti progettati per agevolare la collaborazione tra i team e la scalabilità delle attività.
Domande frequenti
Dove posso trovare i modelli convalidati?
I modelli convalidati sono disponibili nel Red Hat AI Ecosystem Catalog e nel repository di Red Hat AI su Hugging Face. Su Hugging Face sono presenti anche informazioni complete sui modelli, pesi SafeTensor e comandi per snellire il deployment su Red Hat AI Inference Server, RHEL AI e Red Hat OpenShift AI.
Con che frequenza vengono aggiunti nuovi modelli convalidati?
Red Hat punta a rilasciare un nuovo set di modelli convalidati al mese in base all'uscita delle nuove versioni di vLLM upstream. Red Hat si riserva il diritto di sospendere la convalida dei modelli per qualsivoglia motivo.
Qual è il ciclo di vita dei modelli convalidati?
I modelli selezionati vengono convalidati per un minimo di n+2 versioni secondarie di vLLM. Questo significa che ciascun modello viene convalidato su una determinata versione di vLLM e Red Hat si impegna a garantire la compatibilità del modello per almeno due versioni successive di vLLM.
I modelli ottimizzati e convalidati godono del supporto completo di Red Hat?
No, Red Hat non si occupa di supportare, tutelare, certificare o garantire in alcun modo i modelli di terze parti. Inoltre, le valutazioni sulla capacità sono semplici indicazioni e non una garanzia di prestazioni o accuratezza. Per maggiori dettagli sulla licenza di un modello specifico, contatta il provider del modello.
È possibile ricevere assistenza personalizzata per quanto riguarda configurazione, deployment del modello LLM e uso di acceleratori hardware per il proprio scenario di utilizzo?
Per maggiori informazioni, invia una richiesta a [email protected].
