Red Hat AI의 검증된 모델
Red Hat® AI의 검증된 모델을 사용하면 예측 가능성을 바탕으로 Red Hat AI 플랫폼 전반에 안심하고 타사 생성형 AI 모델을 유연하게 배포할 수 있습니다.
개요
대규모 언어 모델(LLM), 추론 서버 설정, 하드웨어 가속기 등의 옵션이 매우 다양하므로 활용 사례에 따른 성능, 정확성, 비용 간에 적절한 균형을 이룰 수 있도록 조직의 요구 사항에 맞게 옵션들을 알맞게 결합해 이를 신중하게 평가해야 합니다.
이를 지원하기 위해 Red Hat AI는 플랫폼 전반에서 효율적으로 실행되도록 검증된 타사 모델의 리포지토리에 대한 액세스 권한을 제공합니다. 이러한 주요 타사 모델 세트는 용량 지침 계획 시나리오를 통해 실행되므로 영역별 활용 사례에 알맞은 모델, 배포 설정, 하드웨어 가속기의 조합을 정보에 입각하여 결정할 수 있습니다.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
특징 및 장점
유연성 향상
Hugging Face에서 호스팅되어 즉시 추론이 가능한 검증되고 최적화된 모델 컬렉션에 액세스해 가치 창출 시간을 줄이고, 일관성을 높이고, AI 애플리케이션의 안정성을 개선할 수 있습니다.
최적화된 추론
엔터프라이즈 활용 사례에 부합하는 경제적이고 효율적인 배포에 적합한 모델, 배포 설정, 하드웨어 가속기를 선택하여 AI 인프라를 최적화할 수 있습니다.
신뢰 향상
다양한 배포 시나리오에서 타사 모델을 평가, 압축 및 검증하는 산업 벤치마크, 정확성 평가, 모델 최적화 툴에 액세스할 수 있습니다.
모델 활용의 극대화
Red Hat AI 모델 검증은 고객에게 재현 가능성을 제공하기 위해 GuideLLM, Language Model Evaluation Harness, vLLM 등과 같은 오픈소스 툴링을 사용해 수행됩니다.
검증된 모델
Red Hat AI는 아무 LLM이나 사용하지 않습니다. Red Hat은 실제 환경에서 타사 모델이 어떻게 작동할지 정확히 파악하기 위해 현실적인 시나리오를 사용해 타사 모델을 테스트했습니다. 다양한 하드웨어에서 LLM 성능을 평가할 때는 전문적인 툴링을 사용합니다.
- GuideLLM은 하드웨어 설정 전반에서 성능과 비용을 평가합니다.
- LM Evaluation Harness는 여러 태스크 전반에서 모델 일반화를 테스트합니다.
Red Hat AI로 필요한 솔루션을 빌드하세요
Red Hat AI는 사용자가 수행하는 방식으로 작동하는 오픈소스 AI 플랫폼입니다. 효율적인 모델로 비용을 줄이고, 데이터와 도메인 전문 지식으로 모델을 사용자 정의하고, 모든 인프라에 일관되게 워크로드를 배포하고 관리할 수 있습니다. 또한 제공되는 모든 툴은 팀의 협업과 확장에 도움이 되도록 설계되었습니다.
자주 묻는 질문
검증된 모델은 어디에서 찾을 수 있나요?
검증된 모델은 Red Hat AI 에코시스템 카탈로그와 Hugging Face 기반의 Red Hat AI 리포지토리에 있습니다. 후자에는 전체 모델 상세 정보, SafeTensor 가중치, 커맨드 등이 포함되어 있어 Red Hat AI Inference Server, RHEL AI 및 Red Hat OpenShift AI에 빠르게 배포할 수 있습니다.
새로운 검증된 모델을 얼마나 자주 추가하나요?
Red Hat은 업스트림 vLLM 릴리스 주기에 따라 새로운 검증된 모델 세트를 매월 릴리스할 계획입니다. Red Hat은 어떤 이유로든 모델의 검증을 중단할 권리가 있습니다.
검증된 모델 라이프사이클을 설명해 줄 수 있나요?
Red Hat은 선택한 모델을 최소 n+2 vLLM 마이너 버전 이상에서 성실히 검증할 것입니다. vLLM 버전에서 어느 한 모델을 검증할 때마다 Red Hat은 vLLM의 최소 다음 두 버전에 대해 해당 모델의 상위 호환성을 제공하고자 노력할 것입니다.
Red Hat 지원 팀이 검증되고 최적화된 모델을 전적으로 지원하나요?
아니요. Red Hat은 타사 모델을 어떤 방식으로든 지원, 보상 또는 보장하지 않습니다. 또한 용량 지침은 어디까지나 지침일 뿐, 성능이나 정확성을 보장하지는 않습니다. 특정 모델의 라이센스에 대한 자세한 내용은 모델 공급업체에 문의하세요.
엔터프라이즈 활용 사례에 맞는 맞춤형 LLM 배포, 구성 및 하드웨어 가속기 지침은 어떻게 받을 수 있나요?
자세한 내용은 [email protected]으로 문의해 주세요.
