Modelos validados pelo Red Hat AI
Os modelos validados pelo Red Hat® AI oferecem confiança, previsibilidade e flexibilidade na implantação de modelos de IA generativa de terceiros nessa plataforma.
Visão geral
O mercado tem disponíveis inúmeras opções de Large Language Models (LLMs), configurações de servidor de inferência e aceleradores de hardware. Por isso, é essencial avaliar com cuidado a combinação certa desses elementos com base nas suas necessidades para encontrar o equilíbrio perfeito entre desempenho, precisão e custo para seu caso de uso.
Para tornar isso possível, o Red Hat AI oferece acesso a um repositório de modelos de terceiros validados e totalmente compatíveis com nossa plataforma. Esse conjunto de modelos oferecidos por líderes do setor passam por simulações em cenários de planejamento orientados à capacidade. Assim, você pode tomar melhores decisões ao escolher a combinação certa de modelos, configurações de implantação e aceleradores de hardware para os seus casos de uso específicos.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Funcionalidades e benefícios
Maior flexibilidade
Acesse o conjunto de modelos validados, otimizados e prontos para inferênciadisponíveis no Hugging Face. Eles reduzem o time to value, promovem a consistência e aumentam a confiabilidade das soluções de IA.
Inferência otimizada
Otimize a infraestrutura de IA escolhendo o modelo, as configurações de implantação e os aceleradores de hardware certos. Isso possibilita uma implantação eficiente e econômica, alinhada aos casos de uso da sua empresa.
Mais confiança
Acesse benchmarks do setor, avaliações de precisão e ferramentas de otimização de modelos para verificar, comprimir e validar modelos de terceiros em diversos cenários de implantação.
Faça mais com seus modelos
A validação de modelos do Red Hat AI é realizada com ferramentas open source como oGuideLLM, Language Model Evaluation Harness e vLLM para garantir a reprodutibilidade para os clientes.
Modelos validados
Não estamos falando de qualquer LLM. Testamos modelos de terceiros em cenários realistas para prever exatamente seu desempenho. Utilizamos ferramentas especializadas para avaliar o desempenho do LLM em uma variedade de hardware.
- O GuideLLM avalia o desempenho e o custo em diferentes configurações de hardware.
- O LM Evaluation Harness testa a generalização dos modelos em diferentes tarefas.
Modelos otimizados
Passam por compressão para assegurar a alta velocidade e eficiência. Esses LLMs são projetados para ter execução mais rápida e usar menos recursos sem prejudicar a precisão, quando implantados no vLLM.
- LLM Compressor é uma biblioteca open source que reúne as pesquisas mais recentes em compressão de modelos em uma única ferramenta, permitindo gerar modelos compactos com mínimo esforço.
- O vLLM é o principal mecanismo open source de inferência e disponibilização do setor. Ele oferece alto desempenho, aumenta a eficiência no uso de memória e otimiza os LLMs.
Crie as soluções de que você precisa com o Red Hat AI
O Red Hat AI é a plataforma de IA open source que funciona do seu jeito. Reduza custos com modelos eficientes e personalize-os com seus dados e expertise técnica. Implante e gerencie cargas de trabalho com consistência em qualquer infraestrutura. Tudo isso com ferramentas desenvolvidas para ajudar as equipes a colaborar e escalar.
Perguntas frequentes
Onde encontro os modelos validados?
Os modelos validados estão disponíveis no Red Hat AI Ecosystem Catalog e no repositório do Red Hat AI no Hugging Face. Nesse repositório, você também encontra informações completas sobre os modelos, pesos do SafeTensor e comandos para acelerar as implantações no Red Hat AI Inference Server, RHEL AI e Red Hat OpenShift AI.
Com que frequência vocês disponibilizam novos modelos validados?
A intenção da Red Hat é disponibilizar um novo conjunto de modelos validados por mês, acompanhando a frequência dos lançamentos upstream do vLLM. A Red Hat se reserva o direito de interromper a validação de modelos por qualquer motivo.
Como é o ciclo de vida dos modelos validados?
A intenção é manter a validação dos modelos selecionados por pelo menos duas versões menores futuras do vLLM (n+2). Cada modelo validado em uma versão do vLLM será compatível com, no mínimo, as duas versões seguintes.
Os modelos validados e otimizados recebem suporte completo da equipe do Red Hat Support?
A Red Hat não oferece suporte, indenizações, certificações ou garantias para modelos de terceiros. Além disso, as orientações de capacidade são apenas recomendações, e não uma garantia de desempenho ou precisão. Para mais informações sobre licenças de modelos específicos, contate o fornecedor.
Como faço para receber orientações sobre implantação de LLMs, configurações e aceleradores de hardware com base no caso de uso da minha empresa?
Envie um e-mail a [email protected] para receber mais informações.
