Per il modello, l'acceleratore e il cloud che scegli tu: IA enterprise con innovazioni open source

Il mantra del Red Hat Summit 2023 è stato "i tuoi carichi di lavoro, le tue app, ovunque", ma negli ultimi due anni... beh, diciamo che le cose sono un po' cambiate nell'IT. La vision di Red Hat però non è cambiata, si è solo evoluta.

Per il modello, l'acceleratore e il cloud che scegli tu.

Ecco il succo del cloud ibrido nell'era dell'IA. E vuoi sapere qual è la parte più bella? Proprio come il "vecchio" cloud ibrido, anche questo si basa sull'innovazione open source. Al Red Hat Summit di questa settimana dimostreremo come gli ecosistemi IA strutturati su una base e con modelli open source creino nuove opportunità per le aziende. L'open source porta con sé la possibilità di scegliere, che a sua volta porta flessibilità: dal modello che risponde meglio alle esigenze della tua organizzazione, all'acceleratore alla base, fino all'ambiente in cui vengono effettivamente eseguiti i carichi di lavoro. Per utilizzare al meglio l'IA si devono seguire i dati, ovunque si trovino nel cloud ibrido. 

E indovina che tipo di tecnologia c'è alla base del cloud ibrido? Proprio open source.

L'inferenza migliora l'IA

Secondo me, il concetto di modello è superato. Per quanto, sì, sia un elemento fondamentale durante l'elaborazione di una strategia per l'IA, senza l'inferenza, la fase veramente operativa dell'IA, un modello alla fine è solo un insieme di dati. Per inferenza si intende la velocità di risposta di un modello all'input di un utente e il grado di efficienza delle decisioni prese su risorse di elaborazione accelerate: tempi di risposta lenti e scarsa efficienza spesso si traducono in perdite monetarie e in termini di fiducia dei clienti.

Ecco perché sono felice che Red Hat stia dando la giusta importanza all'inferenza nello sviluppo dell'IA open source, a partire dal lancio di Red Hat AI Inference Server. Basato su un progetto vLLM open source e migliorato con tecnologie Neural Magic, Red Hat AI Inference Server offre un server di inferenza supportato, con un ciclo di vita organizzato e pronto all'uso per i deployment IA. E il bello è che puoi davvero seguire i dati, ovunque si trovino: su piattaforme Linux, distribuzioni Kubernetes, Red Hat o di altri fornitori.

Cosa c'è di meglio di una soluzione IA per le aziende? Una soluzione IA per le aziende scalabile.

La soluzione non è un'unica app per l'IT aziendale con carichi di lavoro unificati o nuovi servizi cloud, quanto piuttosto la possibilità di ottenere scalabilità, rapidità ed efficienza. Lo stesso vale per l'IA. Ma per l'IA si devono anche poter distribuire i carichi di lavoro IA che stanno alla base delle risorse di elaborazione accelerate. Non proprio una passeggiata, date anche le spese e le competenze necessarie per implementare un hardware di questo tipo.

Non basta quindi poter distribuire l'IA, si devono anche distribuire enormi carichi di lavoro IA su diversi cluster di elaborazione accelerati e considerare il tempo di inferenza necessario per reasoning model e Agentic AI. Se le attività sono distribuite, gli ostacoli nelle performance si riducono, l'efficienza aumenta e l'esperienza utente risulta migliorata. Red Hat ha fatto un passo avanti per risolvere questa problematica con il progetto llm-d open source.

Portato avanti da Red Hat in collaborazione con i leader del settore IA negli ambiti di accelerazione dell'hardware, sviluppo di modelli e cloud computing, llm-d unisce i vantaggi comprovati dell'orchestrazione Kubernetes con vLLM, utilizzando cioè due muse dell'open source per risolvere un problema reale. Oltre a tecnologie come il routing di rete con tecnologia IA, il trasferimento della cache KV e altre, llm-d decentralizza e distribuisce equamente l'inferenza AI, per ottenere il massimo dalle risorse di elaborazione, riducendo i costi e aumentando l'efficienza dei carichi di lavoro IA.

L'open source per i prossimi sviluppi in campo IA

Llm-d e vLLM, inclusi in Red Hat AI Inference Server, sono tecnologie open source realizzate per affrontare immediatamente le più recenti sfide nell'ambito dell'IA per le aziende. Ma le community upstream non pensano solo al presente: le tecnologie IA si rinnovano con straordinaria rapidità, quindi è possibile che qualcosa che si credeva non avrebbe costituito un problema per anni, improvvisamente deve essere gestito come priorità.

Ecco perché Red Hat impiega le risorse in upstream Llama Stack, un progetto guidato da Meta che ha l'obiettivo di offrire elementi essenziali e API personalizzati per i cicli di vita delle applicazioni IA. Oltre a questo, Llama Stack ha tutte le carte in regola per realizzare applicazioni Agentic AI, un'ulteriore evoluzione nei potenti carichi di lavoro IA gen oggi disponibili. Oltre che per l'upstream, Llama Stack è disponibile come anteprima di sviluppo all'interno di Red Hat AI, per le organizzazioni che vogliono pensare al futuro fin da ora.

E gli agenti IA? Ancora non esiste un protocollo comune che indichi in che modo le altre applicazioni debbano loro fornire contesto e informazioni. Ed è qui che entra in gioco il protocollo per il contesto del modello (Model Context Protocol, MCP). Sviluppato e reso disponibile come open source da Anthropic alla fine del 2024, offre un protocollo standardizzato per le interazioni agente-applicazioni, simile a quelli utilizzati per la comunicazione client-server nell'informatica tradizionale. Ma la grande novità sta nel fatto che le applicazioni esistenti diventano immediatamente compatibili con l'IA senza dover essere sviluppate da zero o quasi. È un cambiamento enorme, che non sarebbe stato possibile senza l'open source. Come Llama Stack, anche MCP è disponibile come anteprima per gli sviluppatori sulla piattaforma Red Hat AI.

Se i modelli di IA proprietari sono stati i primi, gli ecosistemi open source li hanno sicuramente soppiantati, specialmente nei software che supportano modelli IA di nuova generazione. Grazie a vLLM, llm-d e prodotti open source di livello enterprise migliorati, il futuro dell'IA è luminoso, a prescindere dal modello, l'acceleratore o il cloud. E basato su tecnologie open source e Red Hat.