Segurança e proteção de sistemas de IA

É difícil imaginar um sistema computacional moderno que não tenha sido aprimorado pelo poder da inteligência artificial (IA). Por exemplo, quando você tira uma foto com a câmera do seu smartphone, em média, mais de 20 modelos de deep learning (DL) entram em ação, desde a detecção de objetos até a percepção de profundidade, todos trabalhando em uníssono para ajudar você a tirar a foto perfeita!

Processos de negócios, aplicações de produtividade e experiências de usuário podem ser aprimorados com o uso de alguma forma de IA. Além disso tudo, poucas tecnologias cresceram com o mesmo tamanho, velocidade e alcance que a IA. No entanto, como qualquer outra tecnologia, a IA também envolve riscos que, nesse caso, incluem a segurança e, possivelmente, até mesmo obrigações legais. Neste artigo, vamos dar uma breve olhada em algumas dessas preocupações de segurança, especialmente aquelas relacionadas à IA generativa (gen AI), e como podemos desenvolver sistemas de IA mais seguros, protegidos e confiáveis.

Diferenciação entre segurança e proteção

Como qualquer sistema de computador (hardware ou software), os sistemas de IA podem ser usados para fins nefastos, como jailbreak, injeção de prompt, treinamento adversarial e outros. No entanto, os sistemas de IA trazem um novo paradigma para o setor: o conceito de segurança dos dados de saída. Isso se deve principalmente ao seguinte:

• A saída (output) de um sistema de IA é geralmente originada com base no treinamento anterior do modelo, e a qualidade da saída depende da qualidade dos dados usados no treinamento. Os modelos conhecidos se orgulham de usar o máximo de dados disponíveis, o que geralmente é medido pelo número de tokens usados para treinar o modelo. A teoria é que quanto mais tokens forem usados, mais eficaz será o treinamento do modelo
• Os resultados do modelo podem ser usados para tomar decisões técnicas, de negócios ou de usuários. Isso representa o risco de perdas financeiras, além de possíveis implicações legais e de segurança. Por exemplo, não faltam códigos inseguros na Internet. Portanto, qualquer modelo treinado nela corre o risco de gerar código inseguro como resultado. Se esse código gerado for usado diretamente em um projeto de software, poderá se tornar um tipo totalmente novo de ataque à cadeia de suprimentos.

Embora alguns aspectos da segurança e proteção da IA sejam complexos, a maioria dos frameworks de segurança tende a lidar com eles separadamente. Padrões de segurança para computadores são um paradigma relativamente novo para a maioria das empresas e ainda estamos tentando entendê-los.

Considerações sobre segurança ao usar modelos de IA

Em resumo, os modelos de IA de geração funcionam prevendo a próxima palavra em uma frase. Embora esses modelos tenham evoluído para serem muito mais avançados, eles ainda operam fundamentalmente com base nesse princípio. Isso significa haver alguns pontos interessantes a considerar ao falar sobre a segurança da IA.

Lixo entra, lixo sai

Lixo entra, lixo sai é um princípio muito básico de computação que ainda é aplicável a modelos de IA, mas de uma maneira um pouco diferente. Um modelo de IA generativa "aprende" com um conjunto específico de dados na fase de treinamento. Normalmente, essa fase de treinamento é dividida em duas partes. A primeira parte é a fase de pré-treinamento, em que um grande conjunto de dados é usado, muitas vezes obtido da Internet. A segunda parte é a fase de ajuste fino, na qual os dados específicos à finalidade do modelo são usados para torná-lo melhor em uma tarefa ou conjunto de tarefas mais focadas. Alguns modelos podem passar por mais de duas fases, dependendo da arquitetura e da finalidade do modelo.

Como você pode esperar, treinar seu modelo com dados obtidos em massa da internet, sem filtrar o conteúdo confidencial, inseguro e ofensivo, pode trazer alguns resultados inesperados e desfavoráveis.

Alucinação

Costumo comparar modelos de IA a crianças pequenas. Quando as crianças não sabem a resposta a uma pergunta, muitas vezes inventam uma história totalmente falsa, mas convincente. Os modelos são semelhantes de várias maneiras, mas o resultado pode ser mais perigoso ou prejudicial, especialmente quando os modelos geram respostas que podem ter implicações financeiras, sociais ou de segurança.

Testes de segurança e benchmark

Embora o setor de IA ainda esteja em sua fase inicial, houve algumas propostas de padrões para benchmark que consideramos interessantes e que valem a pena prestar atenção:

• O grupo de trabalho de segurança de IA MLCommons lançou a prova de conceito (POC ) do benchmark [] MLCommons AI Segurança v0.5. A POC se concentra em medir a segurança de grandes modelos de linguagem (LLMs), avaliando as respostas dos modelos a prompts em várias categorias de risco
• O Instituto Nacional de Padrões e Tecnologia (NIST), vinculado ao Departamento de Comércio dos Estados Unidos, publicou o documento Artificial Intelligence Risk Management Framework (AI RMF 1.0).O AI RMF discute como quantificar e detectar riscos, bem como entender suas manifestações, impactos e gerenciamento
• Trusty AI é um projeto open source iniciado pela Red Hat que trabalha para mitigar problemas relacionados ao viés de IA

Criação de grades de proteção

Aplicações e modelos de guardrail usam vários métodos para garantir que a saída de um modelo esteja conforme os requisitos de segurança definidos. Existem várias ferramentas open source e projetos que podem ajudar a configurar essas proteções. No entanto, uma grade de proteção é somente mais uma peça de software e traz seus próprios riscos e limitações. Cabe aos criadores de modelos estabelecer mecanismos para medir e comparar a nocividade de seus modelos antes de colocá-los em produção.

Por que o open source faz a diferença

Enquanto o setor ainda discute o que constitui um modelo open source para IA e como esse modelo deve ser, a IBM e a Red Hat estão liderando o caminho ao implementar padrões e dados abertos para os modelos de IA que oferecemos. Isso inclui:

• Os modelos de base IBM Granite, que vêm com o Red Hat Enterprise Linux (RHEL) AI, são pré-treinados em dados open source. Isso significa que todas as fontes desses dados estão publicadas e disponíveis para inspeção. Várias técnicas de depuração de dados também são usadas nos dados de pré-treinamento para filtrar conteúdo potencialmente confidencial, inseguro e ofensivo antes que ele seja enviado para o modelo.
• O projeto InstructLab da Red Hat ajuda a simplificar a fase de ajuste fino do treinamento de modelos. Entre outras coisas, isso ajuda a reduzir possíveis problemas éticos e de segurança com a saída do modelo. Uma quantidade considerável de pesquisas recentes apoia essa teoria. Você pode saber mais neste blog do Google: Proteção de usuários com dados de treinamento sintéticos com privacidade diferencial

A Red Hat também é membro fundadora da AI Alliance. A IA Alliance é uma rede colaborativa de empresas, startups, universidades, instituições de pesquisa, organizações governamentais e fundações sem fins lucrativos na vanguarda da tecnologia, uso e governança de IA. Como parte dessa aliança, estamos trabalhando para incentivar a criação de um ambiente de IA verdadeiramente aberto, mais seguro e protegido, não apenas para nossos clientes, mas também para a comunidade open source na totalidade.

Conclusão

A inteligência artificial está em seus estágios iniciais de desenvolvimento, e é essencial pensarmos na segurança e proteção dela agora, em vez de tentar aplicá-la em etapas posteriores. A Red Hat acredita que essa é uma área do desenvolvimento de IA onde o open source e os sistemas open source podem fazer a diferença.

Conheça o RHEL AI