Uma plataforma aberta para modelos de IA na nuvem híbrida

A inteligência artificial (IA), o machine learning (ML) e o deep learning (DL) vêm influenciando muito os esforços de modernização de aplicações em diversos negócios e setores. A necessidade de inovar, extrair valor estratégico e obter novos insights a partir de dados vem estimulando o uso de aplicações nativas em nuvem com IA e metodologias de MLOps. Ao mesmo tempo, esse novo cenário pode ser complexo e afetar desenvolvedores, cientistas de dados e equipes de operações. Operacionalizar a inteligência artificial e o machine learning não é simples. Muitas vezes exige meses, enquanto a inovação em IA generativa (gen IA) progride diariamente. Essa incompatibilidade pode levar a falhas em projetos, colocando o negócio em risco em um cenário já repleto de obstáculos.

• Acompanhar a evolução da IA pode ser um grande desafio. É preciso manter ferramentas e serviços atualizados, lidar com o rápido avanço das aplicações, provisionar recursos de hardware, como unidades de processamento gráfico (GPUs), e garantir que as soluções com IA sejam escaláveis.
• As organizações precisam mitigar riscos ao investir em IA sem deixar de gerar valor, especialmente quando utilizam dados sensíveis para alimentar modelos e aplicações.
• Manter diferentes plataformas para desenvolvedores de aplicações e cientistas de dados pode atrapalhar a colaboração e prejudicar a velocidade do desenvolvimento.
• A implantação de aplicações com IA deve ocorrer em escala e perto da origem dos dados.

Desenvolvido no Red Hat® OpenShift®, plataforma de aplicações em nuvem híbrida líder do setor e parte do portfólio do Red Hat AI, o Red Hat OpenShift AI oferece a desenvolvedores e cientistas de dados uma poderosa plataforma de inteligência artificial e machine learning (IA/ML) para criar e implantar aplicações inteligentes. Com ele, as empresas podem experimentar uma variedade de ferramentas, colaborar e acelerar o time to market, tudo no mesmo lugar. O Red Hat OpenShift AI combina o ambiente self-service que desenvolvedores e cientistas de dados desejam com a confiança de que a TI empresarial precisa.

Ter uma base confiável reduz o atrito em todo o ciclo de vida. O Red Hat OpenShift AI oferece uma plataforma robusta, um vasto ecossistema de ferramentas certificadas amplamente utilizadas e fluxos de trabalho intuitivos para implantar modelos em produção. Com essas vantagens, as equipes podem colaborar de maneira fluida e acelerar o lançamento de aplicações com IA para obter maior valor de negócios.

O Red Hat OpenShift AI é uma plataforma de IA flexível e escalável, com ferramentas para criar, implantar e gerenciar aplicações com inteligência artificial. Ele foi desenvolvido com tecnologias open source e oferece recursos confiáveis e operacionalmente consistentes para as equipes experimentarem, disponibilizarem modelos e entregarem aplicações inovadoras. O Red Hat OpenShift AI acelera a evolução dos modelos de machine learning, permitindo que avancem mais rapidamente de pilotos iniciais para aplicações inteligentes, em uma plataforma compartilhada e consistente. 

A solução oferece uma experiência de interface de usuário (IU) integrada com ferramentas para criar, treinar, ajustar, implantar e monitorar modelos de IA preditiva e generativa. Implante modelos on-premise ou nas principais nuvens públicas e ganhe a flexibilidade de executar cargas de trabalho onde precisar, sem dependência de fornecedor. O Red Hat OpenShift AI é baseado no projeto da comunidade Open Data Hub e em projetos open source como o Jupyter, o Pytorch, o vLLM e o Kubeflow.

Reduza os custos para escalar na produção    

Como complemento do Red Hat OpenShift, o OpenShift AI oferece uma plataforma criada para executar as cargas de trabalho mais exigentes. O OpenShift AI ajuda a reduzir os custos operacionais de projetos de IA generativa e preditiva, automatizando tarefas por meio de pipelines de dados e simplificando o provisionamento de recursos da fase experimental à produção. Além disso, ele reduz os custos de inferência de modelos usando serving engines e runtimes otimizados, como vLLM, e escalando a infraestrutura subjacente, conforme a demanda da carga de trabalho.  

Cientistas de dados podem trabalhar com as ferramentas e frameworks que já conhecem ou explorar um crescente ecossistema de parceiros de tecnologia para ampliar suas capacidades em IA e ML, sem ficarem presos a um conjunto de ferramentas pré-definidas. Em vez de esperar que a equipe de TI provisione os recursos, eles podem acessar uma infraestrutura sob demanda com um clique, sem abrir nenhum ticket. 

Reduza a complexidade operacional

O Red Hat OpenShift AI oferece uma experiência de usuário consistente que permite que cientistas de dados, engenheiros de dados, engenheiros de aplicação e equipes de DevOps colaborem para entregar soluções de IA oportunas, com eficiência. Ele oferece acesso self-service a fluxos de trabalho colaborativos, acelera o processamento com o uso de GPUs e simplifica as operações. As empresas podem oferecer soluções de IA em ambientes de nuvem híbrida e na edge, com consistência e em escala.

Por ser um complemento para o Red Hat OpenShift, o OpenShift AI permite que s equipe de TI ofereça configurações mais simples para cientistas de dados e desenvolvedores de aplicações, em uma plataforma estável, testada e fácil de escalar verticalmente. A equipe de TI não precisa se preocupar tanto com governança e segurança quando não há necessidade de monitorar acessos não autorizados em plataformas de nuvem.

Aproveite a flexibilidade da nuvem híbrida

O Red Hat OpenShift AI permite treinar, implantar e monitorar cargas de trabalho de inteligência artificial e machine learning em ambientes de nuvem, data centers on-premise ou na edge, próximo à origem ou local de armazenamento dos dados. Com essa flexibilidade, as estratégias de IA evoluem, movendo as operações para a nuvem ou para a edge, conforme a necessidade do negócio. As empresas podem treinar e implantar modelos e aplicações com IA onde for necessário para atender aos requisitos regulatórios, de segurança e de dados, inclusive em ambientes isolados ou sem conexão com a internet.

A Figura 1 ilustra como o ciclo de vida de operação de modelos incorpora o OpenShift AI como plataforma padrão, ampliando os recursos do Red Hat OpenShift, principal plataforma de aplicações do mercado. As empresas criam suas soluções em uma plataforma de nuvem híbrida consolidada, que pode ser executada de forma autogerenciada, como software tradicional, ou oferecida como serviço de nuvem gerenciado, o que proporciona maior flexibilidade. A versão autogerenciada pode ser executada em qualquer lugar com o Red Hat OpenShift, seja on-premise ou em qualquer um dos três principais ambientes de nuvem pública. A versão para serviço em nuvem está disponível no Red Hat OpenShift Service on AWS e no Red Hat OpenShift Dedicated (na AWS ou no Google Cloud Platform). 

Nossas soluções também permitem expandir os recursos de IA por meio da colaboração com um rico ecossistema com dezenas de softwares de IA e parceiros de software como serviço (SaaS). O Red Hat OpenShift AI é flexível e modular, o que permite que os clientes montem uma plataforma de IA/ML de ponta a ponta adaptada às suas necessidades específicas.

Para quem está começando a usar modelos de gen IA, o OpenShift AI inclui componentes do Red Hat Enterprise Linux® AI, uma plataforma de modelos base que permite desenvolver, testar e executar Large Language Models (LLMs) da família Granite para potencializar aplicações empresariais. Além dos modelos da família Granite, o framework do Red Hat OpenShift AI é compatível com modelos do HuggingFace, do Stability AI e de outros repositórios.

O Red Hat OpenShift AI é um componente base do IBM watsonx.ai, oferecendo ferramentas e serviços de IA fundamentais para cargas de trabalho gen IA. O Watsonx é um ambiente empresarial que facilita o desenvolvimento de aplicações de IA generativa com pouco ou nenhum código. Ele oferece fluxos de trabalho intuitivos para criação e acesso a uma biblioteca com modelos base da IBM e opções open source selecionadas. O Red Hat OpenShift e o OpenShift AI são pré-requisitos técnicos integrados ao watsonx.

Os recursos e ferramentas essenciais do Red Hat OpenShift AI oferecem uma base sólida para o desenvolvimento de soluções com IA.

• Criação e ajuste fino de modelos. Cientistas de dados podem conduzir experimentos exploratórios diretamente na interface do  JupyterLab, que oferece imagens de notebooks prontas para uso seguras e equipadas com as principais bibliotecas e pacotes Python, como  TensorFlow,  PyTorch e CUDA. Além disso, as empresas podem oferecer as próprias imagens de notebook personalizadas, permitindo criar e colaborar em notebooks enquanto organizam o trabalho em projetos e workbenches.
• Modelo de serviço: o Red Hat OpenShift AI oferece uma variedade de frameworks para roteamento de modelo de serviço, a fim de simplificar a implantação de machine learning preditivo ou modelos fundamentais para ambientes de produção, independentemente dos requisitos de processamento. Para cargas de trabalho de IA generativa, o OpenShift AI oferece inferência de modelo com tecnologia de vLLM, proporcionando desempenho e eficiência líderes do setor para os Large Language Models (LLMs) open source mais conhecidos. A solução também permite que os clientes usem seus runtimes de preferência, garantindo flexibilidade e controle.
• Pipelines de ciência de dados: o Red Hat OpenShift AI também inclui um componente de pipelines de ciência de dados, que permite orquestrar tarefas e construir fluxos completos por meio de uma interface gráfica. As empresas podem organizar processos como preparação de dados, criação de modelos e disponibilização para inferência em etapas conectadas.
• Monitoramento de modelo: profissionais com perfil de operações podem monitorar o funcionamento e o desempenho dos servidores e dos modelos implantados com o Red Hat OpenShift AI. Os cientistas de dados podem utilizar visualizações prontas para uso para obter métricas de desempenho e operações ou integrar dados com outros serviços de observabilidade.
• Cargas de trabalho distribuídas: cargas de trabalho distribuídas permitem que as equipes acelerem o processamento de dados, o treinamento, o ajuste e a disponibilização de modelos. Esse recurso permite priorizar e distribuir a execução de tarefas, além de otimizar o uso dos nós disponíveis. O suporte avançado de GPUs ajuda a atender às demandas de carga de trabalho dos modelos fundamentais.
• Detecção de desvio e vieses: O Red Hat OpenShift AI oferece ferramentas que ajudam os cientistas de dados a monitorar se os  modelos se mantêm justos e imparciais, tanto durante o treinamento quanto nas implantações em ambientes reais. Ferramentas de detecção de desvio analisam a distribuição de dados de entrada para modelos de ML em produção, identificando quando os dados em tempo real divergem significativamente dos utilizados no treinamento.
• AI Guardrails (prévia de tecnologia):o recurso inclui detectores de entrada, que controlam os tipos de solicitações feitas pelos usuários, e detectores de saída, que ajudam a verificar a segurança das respostas geradas pelos modelos. Essas medidas ajudam a filtrar discursos de ódio, abusivos ou ofensivos, informações de identificação pessoal, informações da concorrência ou outras restrições específicas do domínio. Oferecemos um conjunto de ferramentas de detecção, e os clientes podem adicionar seus próprios recursos.
• Avaliação do modelo: durante a fase de exploração e desenvolvimento, o componente de avaliação de LM (LM-Eval) oferece informações importantes sobre a qualidade do modelo. O LM-Eval permite que os cientistas de dados comparem o desempenho de modelos de LLM em uma variedade de tarefas, como raciocínio lógico, raciocínio matemático, linguagem natural contraditória e entre outras. As comparações que oferecemos são baseadas nos padrões do setor.
• Registro de modelos: o Red Hat OpenShift AI oferece um ambiente centralizado para visualizar e gerenciar modelos registrados, o que ajuda os cientistas de dados a compartilhar, implantar, monitorar e controlar versões de artefatos de modelo, metadados e modelos de IA preditiva e de gen IA.

Além das imagens do Jupyter Notebook e do Jupyter spawner para implantar imagens pré-empacotadas ou personalizadas, para as equipes de ciência de dados, o OpenShift AI também inclui o plug-in Git para o JupyterLab, que permite a integração com o Git diretamente da interface do usuário. Outros pacotes de analytics são oferecidos como parte da solução para simplificar a operação e disponibilizar as ferramentas para iniciar o projeto sem complicações. O Pandas, o scikit-learn e o NumPy, são algumas delas. Para oferecer mais opções aos cientistas de dados, o servidor RStudio (testado e verificado) e o VS Code Server também são oferecidos como IDEs alternativas ao JupyterLab. A interface de usuário do projeto permite aos cientistas de dados criar seus próprios espaços de trabalho para organizar e compartilhar imagens e artefatos de notebook como projetos e colaborar com outros usuários.

Para projetos de gen IA, o OpenShift AI disponibiliza treinamento distribuído do InstructLab como funcionalidade em apresentação prévia. O InstructLab é um componente essencial do Red Hat Enterprise Linux AI e oferece ferramentas de alinhamento de modelos para ajudar a ajustar modelos de linguagem menores usando dados privados com mais eficiência, mesmo que as equipes não tenham expertise em IA. O Red Hat OpenShift AI também oferece suporte ao ajuste fino eficiente de Large Language Models (LLMs) com LoRa/QLoRA para reduzir despesas operacionais com processamento e recursos de memória, além do suporte a embeddings para facilitar a integração de informações de texto com bancos de dados vetoriais necessário à RAG (Retrieval-Augmented Generation).

A necessidade de disponibilizar soluções de IA preditiva e generativa exige uma abordagem flexível para o serviço de modelos. O Red Hat OpenShift AI oferece suporte a diversos frameworks de serviço de modelos. Você pode escolher entre os servidores de inferência de modelo único, de vários modelos, ou ainda optar pelo seu servidor de inferência personalizado. A interface de serviço de modelos está diretamente integrada ao dashboard do Red Hat OpenShift AI e ao ambiente de trabalho dos projetos. Os recursos de cluster subjacentes podem ser expandidos ou reduzidos conforme a necessidade da sua carga de trabalho. Para LLMs que exigem escalabilidade máxima, o Red Hat OpenShift AI oferece serviço em paralelo entre múltiplos nós, utilizando runtimes vLLM para lidar com várias requisições em tempo real. 

O Red Hat OpenShift oferece os serviços e software necessários para as organizações treinarem e implantarem seus modelos e movê-los para produção com sucesso. (Figura 2). Esse processo se integra não apenas ao OpenShift AI, mas também ao Red Hat Application Foundations, que inclui o Streams for Apache Kafka para streaming de dados e eventos em tempo real, o Red Hat 3scale para gerenciamento de APIs e o Red Hat build do Apache Camel para a integração de dados.

O dashboard do Red Hat OpenShift AI centraliza o acesso a aplicações e à documentação, facilitando a adoção da plataforma. Tutoriais inteligentes para iniciantes estão disponíveis no dashboard e trazem as práticas recomendadas para componentes típicos e software integrados de parceiros. Eles ajudam os cientistas de dados a aprender e começar com mais rapidez. As seções a seguir descrevem as ferramentas de parceiros de tecnologia integradas ao Red Hat OpenShift AI. Algumas ferramentas exigem licença adicional do parceiro. 

Starburst

OStarburst acelera a análise de dados, permitindo que as equipes usem essas informações com eficiência para impulsionar os resultados do negócio Oferecido como uma solução autogerenciada ou um serviço totalmente gerenciado, o Starburst democratiza o acesso aos dados, trazendo insights mais abrangentes. O Starburst é baseado no Trino, projeto open source anteriormente conhecido como PrestoSQL, o principal engine SQL de processamento paralelo em larga escala. Desenvolvido e operado por especialistas em Trino e pelos criadores do Presto, o Starburst oferece liberdade para consultar conjuntos de dados onde quer que estejam, sem a necessidade de mover informações.

O Starburst se integra ao armazenamento em nuvem escalável e aos serviços de computação oferecidos pelo Red Hat OpenShift, gerando uma forma mais estável, segura, eficiente e econômica de consultar todos os seus dados empresariais. Os benefícios incluem:

• Automação: os operadores do Starburst e do Red Hat OpenShift contam com configuração, ajuste e gerenciamento automáticos de clusters.
• Alta disponibilidade e redução gradual de escala: o balanceador de carga do Red Hat OpenShift pode manter serviços como o Trino em um estado de atividade contínua.
• Escalabilidade elástica: o Red Hat OpenShift pode escalar automaticamente o cluster de nós de trabalho do Trino com base no volume de consultas.

As empresas precisam de soluções de gerenciamento de dados que facilitem desde experimentos em laptops até implantações essenciais. O HPE Machine Learning Data Management (anteriormente conhecido como  Pachyderm) permite que equipes de ciência de dados desenvolvam pipelines de ML em containers orientados por dados, com escalabilidade e linhagem de dados garantida por meio de controle de versão automático. Projetado para resolver problemas de ciência de dados reais, o Pachyderm oferece uma base de dados que garante a reprodutibilidade ao automatizar e escalar o ciclo de vida de machine learning. Com casos de uso que vão de dados não estruturados à data warehouses, processamento de linguagem natural, extração, transformação e carregamento (ETL) de vídeo e imagem, serviços financeiros e ciências biológicas, o HPE Machine Learning Data Management Software oferece:

• Controle de versão automatizado, o que garante às equipes alto desempenho no monitoramento de todas as variações nas informações.
• Pipelines em containers e orientados por dados, que aumentam a eficiência do processamento e reduzem os custos.
• Linhagem de dados imutável, com registro fixo de todas as atividades e recursos no ciclo de vida de machine learning.
• Um console que proporciona uma visualização intuitiva do seu gráfico acíclico direcionado (DAG) e ajuda com a depuração e a reprodutibilidade dos dados.
• Suporte ao Jupyter notebook por meio da extensão JupyterLab Mount para criar uma interface point-and-click para os dados versionados.
• Administração empresarial com ferramentas robustas para implantar e administrar o HPE Machine Learning Data Management Software em escala e para diferentes equipes.

As plataformas de hardware e software de computação acelerada da NVIDIA impulsionam a nova era da computação

À medida que aplicações de IA e machine learning se tornam cada vez mais essenciais para o sucesso dos negócios, as organizações precisam de plataformas capazes de processar cargas de trabalho complexas, otimizar o uso de hardware e oferecer escalabilidade. Processamento escalável, inteligência e treinamento de dados e inferência de machine learning são tarefas computacionais com uso intensivo de recursos  adequadas para computação acelerada. O software NVIDIA AI Enterprise acelera a implantação de soluções de IA com nível de produção. O NVIDIA NIM, parte do NVIDIA AI Enterprise, é um conjunto de microsserviços de fácil uso voltado à implantação segura e confiável de inferência de IA com alto desempenho. Ele aprimora o gerenciamento e o desempenho de modelos de IA no ambiente do Red Hat OpenShift, permitindo que as aplicações de IA usem todo o potencial da computação acelerada da NVIDIA e do software NVIDIA AI Enterprise. Juntos, a computação acelerada da NVIDIA, o software NVIDIA AI Enterprise e o Red Hat OpenShift AI permitem uma melhor alocação de recursos, maior eficiência e execução mais rápida de cargas de trabalho de IA.

Ferramentas Intel OpenVINO

A distribuição da Intel das ferramentas OpenVINO acelera o desenvolvimento e a implantação de aplicações de inferência de DL com alto desempenho, em plataformas Intel. Com essas ferramentas, você pode adotar, otimizar e ajustar quase todos os modelos de rede neural, além de executar diversas inferências de IA utilizando o ecossistema de ferramentas de desenvolvimento OpenVINO.

• Modelar: os desenvolvedores de software têm a flexibilidade de usar os próprios modelos de DL. Para acelerar o time to market, eles também podem usar modelos pré-treinados e pré-otimizados disponibilizados por meio da colaboração da Intel com a Hugging Face e suas ferramentas OpenVINO.
• Otimizar: as ferramentas OpenVINO oferecem diversas maneiras de converter modelos para maior conveniência e desempenho, ajudando os desenvolvedores de software a obter uma execução de modelos de IA mais rápida e eficiente. Os desenvolvedores podem executar inferência a partir dos formatos TensorFlow, TensorFlow Lite, ONNX ou PaddlePaddle, sem precisar converter os modelos. A conversão para o formato OpenVINO IR oferece desempenho otimizado, reduzindo o tempo da primeira inferência e economizando espaço de armazenamento. O Neural Network Compression Framework pode oferecer mais melhorias.
• Implantar: o mecanismo de inferência OpenVINO Runtime é uma interface de programação de aplicações (API) projetada para ser integrada às suas aplicações e acelerar o processo de inferência. Com a abordagem "escreva uma vez, implante em qualquer lugar", você pode executar tarefas de inferência com eficiência em diversos hardwares Intel, incluindo unidades central de processamento (CPUs), GPUs e aceleradores.

AI Tools da Intel®

O AI Tools da Intel (anteriormente conhecido por Intel AI Analytics Toolkit) oferece a cientistas de dados, desenvolvedores de IA e pesquisadores ferramentas Python e frameworks para acelerar os pipelines de analytics e a ciência de dados, de ponta a ponta, em arquiteturas Intel. Os componentes usam bibliotecas oneAPI da Intel para otimizações de computação no nível do usuário. Esse conjunto de ferramentas otimiza o desempenho do pré-processamento utilizando machine learning e oferece interoperabilidade para o desenvolvimento eficiente do modelo.

Com o AI Tools da Intel, você:

• Oferece alto desempenho no treinamento de deep learning em XPUs da Intel e integra inferências mais rápidas ao seu fluxo de trabalho de desenvolvimento de IA com frameworks otimizados pela Intel para o TensorFlow e PyTorch, incluindo modelos pré-treinados e ferramentas de baixa precisão.
• Obtém aceleração imediata para pré-processamento de dados e fluxos de trabalho de ML com pacotes Python de computação intensiva, Modin, scikit-learn e XGBoost, otimizados para Intel.
• Obtém acesso direto a otimizações de analytics e IA da Intel para garantir que seus softwares trabalhem em sincronia e sem interrupções.

Elastic

O Elastic Search AI Platform (desenvolvido no ELK Stack) combina a precisão da busca com a inteliência da IA, permitindo que usuários criem protótipos e integrem com LLMs com mais rapidez, além de usar gen IA para criar aplicações escaláveis e econômicas. O Elastic Search AI Platform permite desenvolver aplicações de RAG avançadas, resolver proativamente problemas de observabilidade e enfrentar ameaças complexas de segurança O Elasticsearch pode ser implantado onde quer que as aplicações estejam: on-premise, no provedor de nuvem de sua escolha ou em ambientes isolados.

O Elastic se integra a modelos de embedding a partir do ecossistema, incluindo Red Hat OpenShift AI, Hugging Face, Cohere, OpenAI e outros, por meio de uma chamada de API direta. Essa abordagem garante um código limpo para gerenciamento de inferência híbrida em cargas de trabalho de RAG, com funcionalidades que incluem:

• Fragmentação, conectorese rastreadores web para ingestão de diversos conjuntos de dados na sua camada de pesquisa.
• Pesquisa semântica com Elastic Learned Sparse EncodeR (ELSER), modelo de ML integrado, e o modelo de embedding E5, permitindo a pesquisa vetorial multilíngue.
• Segurança em nível de documento e de campo, implementando permissões e direitos que mapeiam o controle de acesso baseado em funções da sua empresa.

Com o Elastic Search AI Platform, você faz parte de uma comunidade global de desenvolvedores, onde colaboração e inspiração estão sempre ao seu alcance. Encontre a comunidade da Elastic no Slack, em nossos fóruns de discussão ou nas redes sociais.

Com o Red Hat OpenShift AI, as organizações podem experimentar, colaborar e acelerar a jornada de aplicações com tecnologia de IA. Cientistas de dados podem usar o Red Hat OpenShift AI como um serviço em nuvem gerenciado pela Red Hat ou como uma solução autogerenciada, simplificando as tarefas em qualquer ambiente de desenvolvimento. As equipes de operações de TI devem contar com os recursos de MLOps para acelerar a implantação de modelos em produção. Os serviços self-service para desenvolvedores e cientistas de dados, incluindo acesso a GPUs, impulsiona a inovação em plataformas de aplicações que já estão em atividade e conquistaram a total confiança das empresas. Essa é uma abordagem singular que evita cadeias de ferramentas restritivas, permitindo que os cientistas de dados escolham livremente suas ferramentas e gerem novos insights sem limitações.