하이브리드 클라우드 전반에서 ML 개발, 학습, 테스트 및 배포
Red Hat® OpenShift® AI는 하이브리드 클라우드 환경에서 AI 모델 및 애플리케이션을 규모에 맞게 개발하고, 학습시키고, 배포할 수 있는 인공지능(AI) 플랫폼입니다.
제품 개요
OpenShift AI는 조직이 인공지능 및 머신 러닝(AI/ML) 모델링을 수행할 수 있도록 공통 오픈소스 및 타사 툴의 통합 세트를 효율적으로 배포할 수 있는 방법을 제공합니다. 플랫폼을 도입하는 사용자는 인프라에 대한 걱정 없이 실험적인 모델을 빌드할 수 있는 협업형 오픈소스 툴셋과 플랫폼을 확보할 수 있습니다. 또한 파트너 툴을 활용하여 기본 플랫폼을 확장하고 역량을 높일 수 있습니다. 모델은 클라우드, 온프레미스 및 엣지 환경 전반에서 컨테이너 지원 형식으로 일관되게 프로덕션 단계에 제공될 수 있습니다.
OpenShift AI는 Red Hat AI에 포함되어 있으며, 입증되고 확장 가능한 보안 중심의 플랫폼에서 간편한 구성으로 관리하기 쉬운 환경을 IT 운영 팀에 제공합니다.
기존 소프트웨어 제품 또는 관리형 클라우드 서비스로 제공되는 OpenShift AI는 자주 사용되는 생성형 AI 파운데이션 모델을 지원합니다. 따라서 사용자는 고유의 활용 사례를 위해 자체 데이터를 사용하여 사전 학습된 모델을 미세 조정하고 제공할 수 있습니다. 또한 워크로드를 위치에 상관없이 여러 Red Hat OpenShift 클러스터 전반에 분배할 수도 있습니다. 그리고 이 플랫폼은 OpenShift를 기반으로 구축되어 Nvidia, AMD, Intel 등 CPU 및 GPU(그래픽 처리 장치) 기반 하드웨어 인프라를 지원하므로 AI 하드웨어 가속화를 더 간단하게 활용할 수 있습니다.
생성형 AI 모델을 처음 사용하는 고객을 위해 OpenShift AI에는 Red Hat Enterprise Linux® AI의 구성 요소가 포함되는데, 이 솔루션은 Granite 대규모 언어 모델(LLM) 제품군을 개발, 테스트, 실행하여 엔터프라이즈 애플리케이션의 기능을 강화할 수 있는 파운데이션 모델 플랫폼입니다. 이 프레임워크는 Red Hat OpenShift AI에서 제공하는 Granite 모델 외에도 HuggingFace, Stability AI 및 기타 모델 리포지토리의 모델을 지원합니다.
표 1. Red Hat OpenShift AI의 특징 및 장점
주요 내용
인프라를 확장하고 자동화하여 실험 단계에서 프로덕션 단계로 전환할 때 비용을 절감합니다.
데이터 사이언티스트, 데이터 엔지니어, 애플리케이션 개발자, DevOps 팀의 역량을 강화하는 일관된 사용자 환경으로 팀 간 AI/ML 운영 효율성을 높입니다.
온프레미스, 클라우드 또는 엣지에서 AI/ML 워크로드를 구축, 학습, 배포, 모니터링함으로써 하이브리드 클라우드의 유연성을 제공합니다.
특징 | 장점 |
| 모델 개발 툴링 | 탐색적 데이터 사이언스와 모델 학습, 튜닝 및 서빙을 위해 JupyterLab 기반의 대화형 협업 인터페이스를 제공합니다. 데이터 사이언티스트가 핵심 AI/ML 라이브러리, 보편적인 프레임워크, 사전 정의되고 고객이 제공하는 광범위한 이미지 및 워크벤치 등을 지속적으로 이용하여 모델 실험을 가속화할 수 있습니다. |
| 모델 학습 프로젝트 | 사용자가 특정 프로젝트에 필요한 모델 개발 파일, 데이터 연결, 기타 아티팩트를 구성할 수 있으므로 실험이 간소화되고 협업이 강화됩니다. |
| 모델 학습 분산 워크로드 | 여러 클러스터 노드를 동시에 사용하여 예측 및 생성형 AI 모델을 더 효율적으로 학습시키고 튜닝할 수 있으므로 계산상 실행 불가능한 태스크들도 처리할 수 있는 확장성을 확보하게 됩니다. |
GPU 및 가속기
| ITOps 직원이 셀프 서비스로 GPU에 액세스하여 데이터 사이언티스트와 애플리케이션 개발자가 프로젝트 태스크를 위한 구성을 간단하게 선택할 수 있도록 온프레미스와 클라우드 모두에서 GPU 리소스 환경을 사전 정의할 수 있습니다. |
| 데이터 사이언스 파이프라인 | 데이터 사이언티스트와 AI 엔지니어가 개발과 프로덕션 과정에서 모델을 제공하고 테스트하는 단계를 자동화할 수 있습니다. 파이프라인을 버전 관리, 추적 및 관리할 수 있으므로 사용자 오류가 줄고 실험 및 프로덕션 워크플로우가 간소화됩니다. |
| 모델 서빙 | vLLM과 같이 널리 사용되는 서빙 런타임은 물론, Hugging Face, ONNX, PyTorch, TensorFlow 등과 같은 공급업체 및 프레임워크의 모델을 서빙합니다. CPU나 GPU와 같은 클러스터 리소스는 워크로드 요구 사항에 따라 여러 노드 전반에 확장할 수 있습니다. |
| 모델 모니터링 | 성공/실패한 추론 요청 수, 평균 추론 응답 시간, 컴퓨팅 사용 횟수 등과 같은 메트릭을 추적하여 필요한 경우 리소스를 사전 예방적으로 조정합니다. |
드리프트 감지 | 배포된 ML 모델의 입력 데이터 분포 변경 사항을 모니터링하여 모델 추론에 사용된 실시간 데이터와 모델 학습에 사용된 데이터 사이에 큰 차이가 있는 경우를 감지합니다. |
편향 감지 | 학습 데이터를 기반으로 모델이 공정하고 편향되지 않았는지 모니터링하고 나아가 실제 배포 과정에서도 공정성을 유지하도록 지원하는 툴링을 제공합니다. |
AI 가드레일 | 혐오 표현, 욕설 또는 비속어, 개인 식별 정보, 경쟁 관련 기밀 정보 또는 기타 도메인별 제약 조건을 필터링합니다. |
모델 평가 | LLM 모델의 품질에 대한 중요 정보를 제공하고 다양한 태스크 전반에서 LLM 모델의 성능을 벤치마킹합니다. |
모델 레지스트리 | 등록된 모델을 확인하고 관리할 수 있는 중앙 위치를 제공하여 데이터 사이언티스트가 예측 및 생성 AI 모델, 메타데이터, 모델 아티팩트를 공유, 버전 관리, 배포, 추적할 수 있도록 지원합니다. |
분리된 환경 및 엣지 | 제한된 네트워크(주로 방화벽 뒤)에서 연결이 해제된 클러스터의 배포를 간소화하여 보안 및 규제 컴플라이언스에 따라 에어 갭 배포가 필요한 산업을 지원합니다. |
OpenShift AI에서 제공되는 기능들 외에도 많은 기술 파트너 제품들이 사용자 인터페이스(UI)에 통합되었습니다. 그러한 제품으로는 다양한 데이터 세트 전반에 분포된 데이터에 액세스하기 위한 Starburst, 데이터 계보 및 버전 관리를 위한 HPE, GPU 성능 관리를 위한 NVIDIA, Intel 하드웨어 기반의 고성능 추론을 위한 Intel, RAG(검색 증강 생성) 애플리케이션이 포함된 벡터 데이터베이스를 위한 Elastic 등이 있습니다.
다음 단계:
Red Hat OpenShift AI에 대해 자세히 알아보고 유용한 동영상을 시청하세요.
