신뢰 구축: AI의 보안, 안전성, 투명성 기반

이 블로그는 같은 이름의 Red Hat 연구 보고서를 각색한 것입니다(Bestavros, Chen, Fox, Mollett & Sidhpurwala, 2024). 여기에서 전체 문서에 액세스할 수 있습니다.

공개적으로 사용 가능한 인공지능(AI) 모델이 빠르게 진화함에 따라 잠재적인 보안 및 안전 영향도 진화하기 때문에 위험과 취약점에 대한 더 큰 이해가 필요합니다. AI 모델의 개발과 운영, 그리고 그들의 오픈 생태계와 커뮤니티에서 표준화된 보안, 안전성, 투명성을 위한 기반을 개발하려면, 모델에 대한 일관된 정보 부족, 보안과 안전 문제의 구분 부족, 그리고 모델 생성자가 사용하고 있는 부족하고 비표준화된 안전 평가와 같은 현재의 도전에 접근하는 방식을 변화시켜야 합니다.

리스크 및 취약점

AI 보안(AI security)과 AI 안전(AI safety)은 유사하지만 AI 시스템의 위험 관리 측면에서 별개의 측면입니다. AI 보안은 외부 및 내부 위협으로부터 시스템을 보호하는 반면, AI 안전은 시스템과 데이터가 모델의 운영, 교육 또는 사용으로 인해 사용자, 사회 또는 환경을 위협하거나 해를 끼치지 않는다는 확신을 제공합니다. 그러나 AI 보안과 안전 간의 관계는 모호한 경우가 많습니다.

일반적으로 보안 문제로 간주되는 공격은 모델이 유해하거나 유해한 콘텐츠를 생성하거나 개인 정보를 노출하는 등 안전 문제(또는 그 반대)로 이어질 수 있습니다. AI 보안과 안전의 교차점은 보안과 안전 문제를 동시에 해결하는 포괄적인 AI 위험 관리 접근 방식의 필요성을 강조합니다.

현재 과제 및 동향

AI 업계가 보안 및 안전 문제를 해결하기 위한 조치를 취했지만, 안전보다 속도를 우선시하는 것, 부적절한 거버넌스, 보고 사례의 결함과 같은 몇 가지 주요 과제가 남아 있습니다. 새로운 트렌드는 이러한 성장 영역을 목표로 하는 것이 AI에서 효과적인 안전, 보안, 투명한 사례를 개발하는 데 매우 중요함을 시사합니다.

안전보다 속도

AI 기술을 신속하게 개발하고 배포하여 시장 점유율을 '확보'하기 위해 많은 조직이 안전성 테스트와 윤리 고려 사항보다 시장 출시 속도를 앞당기는 것을 우선시하고 있습니다. 과거 보안 인시던트에서 볼 수 있듯이, 보안은 초기 기술보다 수년 뒤처지는 경우가 많으며, 일반적으로 업계에서 자체 수정을 시작하기 전에 대규모 인시던트로 이어집니다. 개인이 AI에서 위험 관리를 추진하지 않을 경우 중대하고 중대한 안전 및 보안 인시던트가 발생할 수 있다고 예측하는 것이 합리적입니다. 보안과 안전을 염두에 두고 새로운 모델이 도입되고 있지만, 필수 안전 및 투명성 정보를 전달하는 방법에 대한 합의가 이루어지지 않아 평가하기가 어렵습니다.

거버넌스 및 자율 규제

시행 중인 정부 법안이 거의 없는 상황에서 AI 산업은 자발적인 자율 규제와 구속력이 없는 윤리 지침에 의존해 왔으며, 이는 보안 및 안전 문제를 해결하는 데 충분하지 않은 것으로 입증되었습니다. 또한 제안된 법안은 기술 업계의 현실이나 업계 리더 및 커뮤니티가 제기한 우려 사항에 부합하지 않는 경우가 많습니다. 한편 기업의 AI 이니셔티브는 자체 사용을 위해 개발된 결과 구조적 문제를 해결하거나 의미 있는 책임을 제공하지 못할 수 있습니다.

셀프 거버넌스는 제한적인 성공을 거두었으며 주요 기능 개발과는 별도로 구현된 정의된 모범 사례를 수반하는 경향이 있습니다. 여러 산업 전반에서 역사적으로 보았듯이, 기능을 희생하면서 보안을 우선시하는 것은 이해관계자들이 원하지 않는 절충안인 경우가 많습니다. AI는 이 과제를 안전에 직접적인 영향을 포함하도록 확장함으로써 이 문제를 더욱 복잡하게 만듭니다.

잘못된 보고 사례

현재 업계에서는 사용자가 보고한 모델 결함을 처리하는 일반적인 방법과 사례가 부족합니다. 이는 부분적으로 업계의 소프트웨어 취약점에 대한 결함이 있지만 기능적 공개 및 보고 시스템이 AI 보고를 위한 완벽한 솔루션이 아니기 때문입니다. AI는 데이터와 수학에 중점을 두고 사용자 상호작용, 시스템 보안, 위협 모델링을 위한 확립된 방법론을 가진 시스템을 구축하는 전통적인 소프트웨어 엔지니어링 및 기술 개발과 구별되는, 데이터 과학과 기계 학습(ML)의 기술적 진화입니다. 안전 위험에 대해 잘 알려진 공개 및 보고 시스템이 없으면 모델 생성자에게 직접 연락하여 문제를 보고하는 것이 번거롭고 비현실적일 수 있습니다. 잘 이해되고 표준화된 보고 프로세스가 없으면 조정 및 해결 지연으로 인해 AI 안전 인시던트의 영향이 예상보다 훨씬 심각할 수 있습니다.

솔루션 및 전략

Cattel, Ghosh & Kaffee (2024)의 이전 작업을 크게 참고하여, Red Hat은 모델/시스템 카드 확장과 위험 추적이 AI 산업의 보안과 안전을 개선하는 데 필수적이라고 생각합니다.

모델/안전 카드 확장

모델 카드는 AI 모델의 사용 가능성과 해당 아키텍처 및 모델에 사용되는 교육 데이터를 문서화하는 데 사용됩니다. 모델 카드(Model cards)는 현재 모델에 대한 초기 인간 생성 자료를 제공하는 데 사용되며, 이를 통해 모델의 실행 가능성을 평가하지만, 모델 카드는 현재 사용 방식에 관계없이, 모델이 배포되는 위치나 사용되는 곳에 상관없이 더 큰 잠재력과 적용 가능성을 가질 수 있습니다.

모델을 효과적으로 비교하기 위해 채택자와 엔지니어는 카드에 일관된 일련의 필드와 콘텐츠가 있어야 하며, 이는 사양을 통해 달성할 수 있습니다. Barnes, Gebr, Hutchinson, Mitchell, Raji, Spitzer, Vasserman, Wu & Zaldivar, 2019에서 권장하는 필드 외에도 다음과 같은 변경 사항 및 추가 사항을 제안합니다.

• 의도와 용도를 확장하여 모델의 사용자(누가)와 활용 사례(대상)를 설명하고 모델을 어떻게 사용할지 설명합니다.
• 모델 생성자가 의도하지 않았거나 해결할 수 있는 능력이 없는 알려진 문제를 제외하도록 범위를 추가합니다. 이렇게 하면 위험 보고자가 정의된 사용에 대해 해결할 수 없는 것으로 언급된 우려 사항을 보고하기 전에 모델의 목적을 이해할 수 있습니다.
• 평가 데이터를 조정하여 프레임워크도 사용되었는지 여부와 모델에서 실행된 평가 출력을 전달하는 중첩 구조를 제공합니다. 표준화된 안전성 평가를 통해 숙련된 사용자는 지속 가능하게 동등한 모델을 구축할 수 있습니다.
• 모델에 대한 거버넌스 정보를 추가하여 채택자 또는 소비자가 모델 생성자와 협력하는 방법 또는 모델이 생성된 방법을 이해합니다.
• 아티팩트 및 기타 콘텐츠와 같은 선택적 참조를 제공하여 잠재적인 소비자가 모델의 작동을 이해하고 지정된 모델의 성숙도 및 전문성을 입증할 수 있도록 합니다.

모델 카드에 이러한 필드를 요구하면 업계에서 추론, 의사 결정 및 모델 재현에 필수적인 콘텐츠를 구축할 수 있습니다. 모델 카드에 대한 업계 표준을 개발하여 에코시스템 전반에서 모델과 해당 메타데이터의 상호운용성을 증진할 수 있습니다.

위험 추적

보안 결함을 추적하는 데 사용되는 일반적인 취약점 공개 프로세스는 전통적인 소프트웨어 보안에서 효과적이지만 AI 시스템에 적용하는 데는 몇 가지 과제가 있습니다. 첫째, ML 모델 문제는 통계적 유효성 임계값을 충족해야 합니다. 즉, 편향과 같이 AI 모델에서 식별된 모든 문제를 측정하고 기존 통계 표준에 따라 평가하여 의미 있고 유의미한지 확인해야 합니다. 둘째, 신뢰성 및 편향과 관련된 우려 사항은 보안 취약점의 범위를 벗어나는 경우가 많아 일반적으로 인정되는 정의와 일치하지 않을 수 있습니다. 이러한 한계를 감안할 때 Red Hat은 중앙집중식으로 조율된 위험 정보 공개 및 노출 위원회와 공통 결함 및 노출(Common Faults and Exposure, CFE) 번호를 통해 에코시스템을 확장하면 이러한 우려 사항을 충족할 수 있다고 생각합니다. 이는 CVE 가 소프트웨어 및 펌웨어의 취약점을 식별하고 분류하기 위해 1999년에 출시된 방식과 유사합니다.

안전 문제를 발견한 사용자는 모델 제공업체와 협력하여 문제를 분류하고 추가로 분석해야 합니다. 문제가 안전 위험으로 확인되면 위원회는 CFE 번호를 할당합니다. 모델 제조업체와 총판은 자체 모델에서 발견한 안전 위험을 추적하기 위해 CFE 번호를 요청할 수도 있습니다. 조정된 위험 정보 공개 및 노출 위원회는 CFE 수치의 관리인으로서, CFE 수치를 안전 위험 요소에 할당하고, 추적하고, 게시할 책임이 있습니다. 또한, 부속 패널을 구성하면 다툼이 있는 안전 위험 요소를 쉽게 해결할 수 있습니다.

다음 단계는 무엇일까요?

오픈소스 원칙에 따라 개발된 모델은 AI의 미래에서 중요한 역할을 할 잠재력이 있습니다. 업계 및 소비자의 기대에 반하는 모델을 개발하고 관리하는 데 필요한 프레임워크와 툴은 조직이 합리적으로 위험을 평가할 수 있도록 개방성과 일관성을 요구합니다. 투명성이 강화되고 중요 기능에 대한 액세스가 향상됨에 따라 안전 및 보안 위험 요소가 광범위한 영향을 미치기 전에 발견, 추적, 해결할 수 있는 능력이 향상됩니다. Red Hat의 제안은 기존 거버넌스, 워크플로우, 구조를 통해 유연성과 일관성을 제공하기 위한 것입니다. 이를 구현하면 AI 안전을 효과적으로 관리해야 하는 시급한 요구 사항을 해결할 수 있는 더 효율적인 방법을 제공할 수 있습니다.