Sviluppa, addestra, testa e distribuisci il machine learning nel cloud ibrido

Caratteristiche

Vantaggi

Offre un'interfaccia interattiva e collaborativa, basata su JupyterLab, per l'analisi dei dati esplorativa e per l'addestramento, l'ottimizzazione e la distribuzione dei modelli. I data scientist hanno accesso continuo alle principali librerie di AI/ML, ai framework più comuni e a un'ampia gamma di immagini e workbench predefiniti e forniti dagli utenti con cui accelerare la sperimentazione sui modelli.

Consentono agli utenti di organizzare i file di sviluppo dei modelli, le connessioni dei dati e altri componenti necessari per un determinato progetto, semplificando la sperimentazione e ottimizzando la collaborazione.

Consentono di usare più nodi del cluster contemporaneamente per addestrare e ottimizzare in modo più efficiente i modelli di IA predittiva e generativa, offrendo la scalabilità necessaria per gestire le operazioni altrimenti infattibili a livello di elaborazione.

GPU e acceleratori

Offrono l'accesso autonomo alle GPU ai team ITOps perché possano definire in anticipo l'ambiente delle risorse GPU, sia on premise che nel cloud, così da facilitare a data scientist e sviluppatori la selezione delle configurazioni delle attività di progetto.

Consentono a data scientist e ingegneri dell'IA di automatizzare i passaggi di distribuzione e test dei modelli in fase di sviluppo e produzione. È possibile creare versioni delle pipeline, monitorarle e gestirle per ridurre gli errori degli utenti e semplificare i workflow di sperimentazione e produzione. 

Distribuisce modelli forniti dai provider e framework come Hugging Face, ONNX, PyTorch, TensorFlow, ma anche runtime noti come vLLM. Le risorse del cluster, come CPU e GPU, possono essere estese a più nodi, a seconda delle esigenze legate ai carichi di lavoro.

Monitora metriche come il numero delle richieste di inferenza riuscite e non, i tempi di risposta medi dell'inferenza e l'uso della potenza di calcolo per adeguare le risorse in modo proattivo, se necessario.

Rilevamento del drift

Rileva le deviazioni nelle distribuzioni di dati di input per i modelli di ML distribuiti per individuare il momento in cui i dati in tempo reale utilizzati per l'inferenza iniziano a discostarsi in modo significativo dai dati su cui è stato addestrato il modello.

Rilevamento di bias

Include strumenti per il monitoraggio dei modelli volti a garantirne l'equità e l'imparzialità, non solo rispetto ai dati per l'addestramento ma anche nei deployment in contesti reali.

AI Guardrails

Aiuta a eliminare linguaggio d'odio, offensivo o volgare, informazioni personali o concorrenziali e altre informazioni che deviano dai requisiti specifici del dominio.

Valutazione dei modelli

Offre informazioni essenziali sulla qualità del modello linguistico di grandi dimensioni e ne valuta le prestazioni in un'ampia varietà di operazioni.

Registro dei modelli

Offre uno spazio centralizzato dove visualizzare e gestire i modelli registrati. Qui i data scientist possono condividere, gestire le versioni, distribuire e tenere traccia dei modelli di IA generativa e predittiva, dei metadati e dei componenti dei modelli.

Edge e ambienti disconnessi

Semplificano la distribuzione di cluster disconnessi in una rete limitata, spesso dietro un firewall, per i settori in cui sono necessarie distribuzioni air gap a causa dei requisiti normativi e di sicurezza.