Descubra o poder da IA generativa com o Cloudera Data Platform e o Red Hat OpenShift

Em muitos filmes de ficção científica, a tripulação pede a um computador para resolver o problema. O computador entra em cena com uma voz calma para apresentar as possíveis soluções. A tripulação escuta com atenção e continua a conversa como se estivesse falando com um colega. Isso era uma fantasia científica até pouco tempo atrás. Muitas crianças sonhavam em ter um computador para conduzirr a nave espacial por territórios desconhecidos. Vamos rapidamente para 2023 e isso não é mais imaginação ou ficção científica, mas sim uma realidade. Sim, estamos falando da introdução e ampla adoção da inteligência artificial generativa (GenAI).

Essa tecnologia abriu novas fronteiras. A GenAI pode não apenas ajudar a responder perguntas e apresentar soluções, mas também contar histórias, criar pinturas e até mesmo compor músicas!

Basicamente, a GenAI é Machine Learning (ML) que envolve vários conjuntos de dados grandes para compor conteúdo de maneira autônoma. A GenAI é acoplada a um modelo de linguagem de larga escala (LLM) que usa Deep Learning para realizar várias tarefas de processamento de linguagem natural (NLP). LLMs usam modelos transformadores com um enorme conjunto de dados, por isso o termo "larga escala".

Em cenários de ficção científica, a GenAI é usada em operações diárias. E se aplicarmos esse exemplo a cenários de negócios, onde as pessoas podem usar o modelo para tomar decisões relevantes para seus negócios? Exemplos incluem: fazer a previsão da disponibilidade da cadeia de suprimentos para produzir um produto em uma fábrica ou indicar a necessidade de inventário para uma determinada loja de varejo para garantir a disponibilidade aos clientes. As possibilidades são infinitas.

Este artigo discute alguns dos principais desafios que as organizações enfrentam ao implantar cargas de trabalho de GenAI e discute como a Cloudera e a Red Hat estão colaborando para liberar o poder da GenAI para as organizações aproveitarem melhor seus dados com governança e uma postura de segurança aprimorada.

Entendendo os desafios e por que a IA generativa privada é importante

É inegável que a GenAI e os LLMs têm o poder de transformar a maneira como as empresas operam e interagem com os clientes, mas eles certamente não são uma solução milagrosa. As empresas que adotam essas tecnologias devem implementar práticas para mitigar os riscos e desafios inerentes e explorar maneiras de lidar com eles para criar soluções baseadas em IA mais responsáveis e confiáveis.

O primeiro desafio associado à adoção da GenAI pelas empresas é com relação à privacidade dos dados. Essa é uma das principais preocupações de todas as organizações, mas a GenAI introduz uma camada adicional de complexidade devido aos seguintes fatores:

1. A grande quantidade de conjuntos de dados necessários para o treinamento do modelo.

2. Os novos dados que os LLMs gerarão como saída.

Os prompts podem inadvertidamente injetar dados sigilosos ou confidenciais em um LLM, levando a possíveis violações e exposições. Além disso, os serviços de GenAI hospedados em nuvens públicas podem representar um risco para as organizações que armazenam e processam dados sigilosos e confidenciais que podem ser expostos durante uma violação de segurança ou acesso não autorizado.

Para lidar com esses riscos de privacidade de dados, as organizações estão migrando a GenAI para nuvens privadas visando evitar a migração de dados críticos e confidenciais a um serviço de GenAI hospedado publicamente. Dessa forma, as empresas podem reutilizar modelos-base nas nuvens privadas, mantendo os dados confidenciais mais protegidos e controlados.

Outro desafio inerente é a limitação contextual dos LLMs. Embora os serviços de IA disponíveis publicamente sejam atraentes para as empresas, elas precisam criar essas experiências interativas em seus dados proprietários no contexto certo, sem compartilhar seus dados com serviços externos. LLMs poderosos podem abranger diversos tópicos, desde dicas sobre estilo de vida até informações sobre o design de arquiteturas transformadoras. No entanto, as organizações têm necessidades muito mais específicas: elas precisam de respostas para seu contexto empresarial.

A implementação de um novo projeto de GenAI pode exigir um novo conjunto de ferramentas e habilidades. No entanto, o uso de uma plataforma de análise de dados executada em uma plataforma de desenvolvimento poderosa fornecerá acesso fácil às empresas para implementar uma estratégia e um projeto da GenAI. Ao utilizar essas plataformas poderosas, as organizações podem utilizar habilidades e conhecimentos existentes, ao mesmo tempo em que aceleram o time to market.

Cloudera Data Platform no Red Hat OpenShift

A nuvem privada do Cloudera Data Platform (CDP) oferece análises avançadas, cargas de trabalho transacionais e de machine learning em uma plataforma de dados híbrida com tecnologia Kubernetes. Naturalmente, o CDP Private Cloud Data Services é executado no Red Hat OpenShift e utiliza muitos dos recursos adicionais que o OpenShift oferece.

A implantação da nuvem privada do CDP no OpenShift traz muitas vantagens para a implantação geral, incluindo:

• Postura de segurança aprimorada: à medida que as aplicações são implantadas ou atualizadas, é essencial fornecer controles de segurança dinâmicos para manter a empresa o mais segura possível. O OpenShift pode aplicar controles de segurança à cadeia de suprimentos de software, melhorando os recursos de segurança das aplicações sem reduzir a produtividade do desenvolvedor. Com o Red Hat OpenShift, as empresas controlam, defendem e estendem suas plataformas de aplicações por todo o ciclo de vida.
• Governança e conformidade: Red Hat Advanced Cluster Management for Kubernetes, incluído no Red Hat OpenShift Platform Plus, ajuda as organizações a acelerar a implantação de apps, o gerenciamento de vários clusters e a aplicação de políticas em clusters em escala. O OpenShift oferece recursos essenciais de segurança, como controles de acesso, rede e registro empresarial com um verificador integrado. Red Hat Advanced Cluster Security for Kubernetes conta ainda com recursos adicionais de segurança, como detecção de ameaças no ambiente de execução, gerenciamento de vulnerabilidades em todo o ciclo de vida e perfis de risco.
• Capacidade de gerenciamento e flexibilidade: o OpenShift simplifica a implantação e o gerenciamento de infraestruturas híbridas. Sua organização também pode usar o gasto comprometido da AWS ou do Microsoft Azure em soluções e serviços da Red Hat.Red Hat Advanced Cluster Management controla clusters e aplicações a partir de um único console com políticas de segurança integradas.
• Escalabilidade: as aplicações executadas no OpenShift podem ser escaladas para milhares de instâncias em centenas de nós em segundos. Você pode simplificar e automatizar as compilações, implantações, escalas e gerenciamento de integridade de containers e aplicações e muito mais.

Red Hat e a Cloudera oferecem uma solução otimizada para cargas de trabalho de IA que ajuda as organizações a gerenciar todo o ciclo de vida dos dados com mais recursos de segurança, colocando os dados para trabalhar com mais rapidez e reduzindo o time to value (TTV). A nuvem privada CDP no Red Hat OpenShift oferece serviços de dados em containers para engenharia de dados, data warehouse e Machine Learning. Assim, as empresas obtêm insights mais acionáveis dos dados em um ambiente de nuvem híbrida otimizado para operações avançadas de segurança.

A plataforma híbrida de próxima geração de nuvem privada do CDP, combinada com as ferramentas de gerenciamento de nível empresarial do OpenShift, pode provisionar e escalar cargas de trabalho analíticas com mais consistência, alocando recursos apenas o suficiente para atender à demanda, permitindo que as organizações:

• Capacite todos os funcionários a gerar valor a partir dos dados por meio de um único painel intuitivo.
• Crie ambientes personalizados de nível empresarial e mantenha o controle de todo o ciclo de vida dos dados enquanto aproveita as vantagens de custo de um ambiente de nuvem privada on-premise.
• Implante serviços de dados escaláveis com flexibilidade para migrar dados para qualquer plataforma, incluindo ambientes híbridos, sem depender de fornecedor.
• Ofereça uma experiência mais consistente para desenvolvedores e profissionais de dados com um ambiente moderno.

Com a Cloudera e a Red Hat, as empresas podem criar suas próprias aplicações de IA com base em um LLM open source de sua escolha com seus dados, todos hospedados internamente na empresa. Isso capacita desenvolvedores e linhas de negócios, não apenas cientistas de dados e equipes de ML, a democratizar verdadeiramente a IA, mantendo uma postura de segurança, governança, conformidade e capacidade de gerenciamento aprimoradas em uma única plataforma. Convidamos você a explorar mais o que a Cloudera e a Red Hat podem oferecer neste caso de cliente. Além disso, saiba mais sobre o Cloudera Data Platform no Red Hat OpenShift aqui.