유행을 넘어 신뢰로: 엔터프라이즈 AI의 '검증된' 모델을 만드는 핵심 요소

이제 생성형 AI의 허니문 단계는 지났습니다. 대부분의 기업은 대규모 언어 모델(LLM)을 사용할지 여부가 아닌 LLM 사용 방법과 사용할 LLM에 대해 묻습니다. 하지만 화려한 데모와 성공 사례가 난무하는 상황에서 AI 모델이 기업용으로 적합하다는 것은 실제로 무엇을 의미할까요?

이 문서에서는 엔터프라이즈 생성형 AI 스택과 관련하여 "검증"이 무슨 의미인지, 그리고 Red Hat의 접근 방식이 팀의 요구 사항에 적합한 AI 모델을 선택하는 데 어떻게 도움이 되는지 살펴봅니다.

문제: AI 검증이 중단됨

오늘날 대부분의 조직은 다음과 같이 단편화된 방법을 통해 AI 모델을 '검증'합니다.

• 오픈소스 리더보드 확인(예: Chatbot Arena, Artificial Analysis)
• 엄선된 소수의 프롬프트에서 애드혹 스크립트로 내부 테스트 실행
• 대략적인 계산을 통해 사용량 및 비용/하드웨어 요구 사항 예측

위의 각 항목은 어느 정도의 정보를 제공하지만 전체 상황을 보여주지는 않습니다. 개별적으로 보면 AI 모델이 프로덕션 환경에 준비가 되어 있지 않은데도 준비되어 있다고 오해를 일으키는 경우가 많습니다.

그 결과 AI 애플리케이션은 규모에 따라 중단되거나 관리할 수 없게 되며, 조직은 기술 검증(POC) 단계에서 영원히 고착됩니다. 이로 인해 추론 비용이 급증하고, 부하가 증가할 때 대기 시간이 길어지거나, 예기치 않은 모델 조정 문제가 발생합니다. 단, 이 모든 것은 사전에 식별할 수도 있었습니다.

강인공지능(true AI) 검증은 일회성 벤치마크가 아닙니다. 이는 실제 제약 조건에 근거한 정형화된 프로세스입니다.

엔터프라이즈 AI의 맥락에서 '검증' 정의

AI 모델 검증은 데이터 과학자가 실제 운영 부하에서 모델의 정확성을 테스트하는 데 사용하는 프로세스입니다. 기업을 위한 더욱 포괄적인 접근 방식에는 주요 엔터프라이즈 활용 사례를 타겟팅하여 다양한 하드웨어 전반에서 실제 데이터와 태스크로 AI 모델을 평가하는 것이 포함되어야 합니다. 조직이 POC에서 프로덕션으로 안정적으로 이전할 수 있게 지원하려면 AI 모델 검증을 다음 두 가지 핵심 요소를 중심으로 재정의해야 합니다.

1. 확장 가능한 성능: 검증된 모델은 동시 사용자 트래픽에서 짧고 안정적인 대기 시간을 유지하고 서비스 수준 목표(SLO)를 일관되게 충족해야 합니다. 검증에는 다양한 워크로드 시나리오 및 하드웨어 구성에 대한 엄격한 테스트가 포함되어야 합니다. 또한 성능, 정확성, 비용 측면의 장단점을 간단한 방법으로 파악함으로써 팀이 정보 및 컨텍스트 인식에 기반한 배포 결정을 내릴 수 있도록 지원해야 합니다.
2. 재현 가능한 정확성: 진정한 검증을 위해서는 투명하고 반복 가능한 정확성 테스트가 필요합니다. AI 모델은 여러 팀에서, 그리고 시간 경과에 따라 결과를 일관되게 재현할 수 있도록 명확하게 문서화된 방법론과 함께 엄선된 여러 개의 적대적 데이터 세트를 사용하여 평가해야 합니다.

이러한 측정을 기반으로 모델이 성공적으로 수행되는 경우에만 진정한 엔터프라이즈 레디(enterprise-ready)로 간주할 수 있습니다.

Red Hat의 모델 검증 방식

Red Hat은 검증된 타사 AI 모델을 도입하여 Red Hat AI 플랫폼 전반에 배포할 때 신뢰성, 예측 가능성, 유연성을 제공합니다.

선택할 수 있는 파운데이션 모델, 추론 서버 구성, 하드웨어 가속기가 많아짐에 따라 주어진 활용 사례에 적합한 조합을 식별하는 것은 쉬운 일이 아닙니다. Red Hat AI는 컴퓨팅 용량 지침과 경험적 테스트 결과를 조직이 확인할 수 있도록 하여 고객이 실제 성능 데이터를 기반으로 정보에 근거한 의사 결정을 내릴 수 있게 지원합니다.

두 가지 주요 고충 해결

• 장단점 명확성: 최신 AI 모델의 성능, 정확성, 비용 균형을 탐색하는 것은 복잡한 퍼즐을 푸는 것처럼 느껴질 수 있습니다. Red Hat은 워크로드별 벤치마크를 실행하고 투명하고 재현 가능한 형식으로 결과를 제시함으로써 이 과정을 더 용이하게 만듭니다.
• 비즈니스 컨텍스트: 이러한 장단점을 실제 엔터프라이즈 활용 사례에 매핑하는 것이 필수적입니다. Red Hat은 AI 모델과 인프라 의사 결정이 프로덕션 단계의 애플리케이션 동작에 어떤 영향을 미치는지 파악할 수 있도록 고객을 지원합니다.

Red Hat AI 팀은 엄선된 타사 모델 세트를 대상으로 여러 하드웨어 및 구성 시나리오 전반에서 엄격한 성능 테스트와 정확성 평가를 실행합니다. 이를 통해 성능뿐만 아니라 Red Hat AI Inference Server, Red Hat Enterprise Linux AI 및 Red Hat OpenShift AI 전반에 배포할 준비가 된 모델을 검증할 수 있습니다.

검증된 모델에는 'Red Hat AI 검증 모델' 배지가 표시되며 Hugging Face의 Red Hat AI 페이지, Red Hat AI 에코시스템 카탈로그 및 Red Hat OpenShift AI 모델 카탈로그에 소개됩니다.

Red Hat은 새로 출시된 AI 모델을 정기적으로 검증하고 테스트하여 Red Hat AI 플랫폼의 각 제품에서 vLLM으로 효과적으로 실행되도록 함으로써 조직이 최신 프런티어 모델에 빠르게 액세스할 수 있도록 지원합니다.

또한 고객은 Red Hat AI 전문가와 협력하여 모델 검증 결과를 검토하고 맞춤형 용량 계획 지침을 받을 수 있습니다. 이러한 인사이트를 통해 팀은 순위 경쟁을 넘어서서 기대되는 성능, 정확성, 비용에 대한 완전한 가시성을 바탕으로 원하는 인프라에 가장 적합한 타사 모델을 자신 있게 배포할 수 있습니다.

Red Hat AI 검증 모델에 대해 자세히 알아보고 지금 바로 AI 배포에 사용해 보세요.