AI010
Red Hat AI Inference Server Technical Overview
Resumen
Aprovecha todo el potencial de la infraestructura de Kubernetes.
Descripción del curso
- Obtén información esencial sobre la implementación de la inteligencia artificial con el curso Red Hat AI Inference Server Technical Overview. Aprende a abordar las complejidades y los costos de ejecutar modelos de inteligencia artificial en la producción. Descubre la manera en que la solución de Red Hat, con la tecnología de los modelos de lenguaje de gran tamaño virtuales (vLLM), optimiza el rendimiento y reduce los costos significativamente en los entornos de nube, los locales, los virtualizados y del extremo de la red. Profundiza en técnicas avanzadas, como la cuantificación y la decodificación especulativa, para mejorar las funciones de inferencia de la inteligencia artificial. En este video con acceso por solicitud se muestra la implementación y la gestión sencillas de los modelos dentro de OpenShift AI. También se demuestra la manera en que puedes lograr una eficiencia y una flexibilidad sin precedentes para las cargas de trabajo de inteligencia artificial.
Resumen del contenido del curso
- definición de la inferencia;
- desafíos relacionados con la inferencia;
- solución Red Hat AI Inference Server;
- integración con la cartera de productos de Red Hat AI;
- flexibilidad de la implementación;
- herramienta de compresión de LLM (cuantificación);
- técnicas de optimización del rendimiento (caché de KV, decodificación especulativa, inferencia paralela de tensores);
- Estudios de casos
- implementación y gestión de los modelos;
- conexiones de almacenamiento para los modelos;
- indicadores y supervisión;
- integración con Hugging Face.
Público destinatario del curso
- ingenieros y especialistas en inteligencia artificial/machine learning (aprendizaje automático);
- ingenieros de DevOps;
- arquitectos e ingenieros de nube;
- responsables de la toma de decisiones técnicas.
Capacitación recomendada
- Este resumen técnico no supone requisitos previos.
Aspectos tecnológicos que debes tener en cuenta
- N/C
Descripción
Descripción del curso
- definición de la inferencia;
- desafíos relacionados con la inferencia;
- solución Red Hat AI Inference Server;
- integración con la cartera de productos de Red Hat AI;
- flexibilidad de la implementación;
- herramienta de compresión de LLM (cuantificación);
- técnicas de optimización del rendimiento (caché de KV, decodificación especulativa, inferencia paralela de tensores);
- Estudios de casos
- implementación y gestión de los modelos;
- conexiones de almacenamiento para los modelos;
- indicadores y supervisión;
- integración con Hugging Face.
