AI010
Red Hat AI Inference Server Technical Overview
Visão geral
Explore todo o potencial da sua infraestrutura Kubernetes.
Descrição do curso
- Conheça os principais insights sobre a implantação de IA com esta visão geral técnica do Red Hat AI Inference Server. Aprenda a lidar com as complexidades e os custos da execução de modelos de IA na produção. Descubra como a solução da Red Hat, com tecnologia vLLM, otimiza o desempenho e oferece economia em ambientes de nuvem, on-premise, virtualizados e de edge. Explore técnicas avançadas, como quantização e decodificação especulativa, para aprimorar seus recursos de inferência de IA. Este vídeo sob demanda mostra como implantar e gerenciar modelos no OpenShift AI de forma simples e como alcançar eficiência e flexibilidade incomparáveis para suas cargas de trabalho de IA.
Resumo do conteúdo do curso
- O que é inferência?
- Desafios da inferência
- Solução Red Hat AI Inference Server
- Integração ao portfólio do Red Hat AI
- Flexibilidade de implantação
- Ferramenta de compactação LLM (quantização)
- Técnicas de otimização de desempenho (KV cache, decodificação especulativa, inferência paralela de tensores)
- Estudos de caso
- Implantação e gerenciamento de modelos
- Conexões de armazenamento para modelos
- Métricas e monitoramento
- Integração do Hugging Face
Público-alvo do curso
- Profissionais e engenheiros de inteligência artificial e machine learning
- Engenheiros de DevOps
- Arquitetos e engenheiros de nuvem
- Tomadores de decisões técnicas
Treinamentos recomendados
- Não há pré-requisitos para esta visão geral técnica.
Requisitos técnicos
- N/D
Tópicos
Tópicos do curso
- O que é inferência?
- Desafios da inferência
- Solução Red Hat AI Inference Server
- Integração ao portfólio do Red Hat AI
- Flexibilidade de implantação
- Ferramenta de compactação LLM (quantização)
- Técnicas de otimização de desempenho (KV cache, decodificação especulativa, inferência paralela de tensores)
- Estudos de caso
- Implantação e gerenciamento de modelos
- Conexões de armazenamento para modelos
- Métricas e monitoramento
- Integração do Hugging Face
