Red Hat AI Inference Server

Red Hat® AI Inference Server는 하이브리드 클라우드 환경에서 모델 추론을 최적화하여 더 빠르고 비용 효율적인 모델 배포를 지원합니다.

Red Hatter에게 문의하기 보도 자료 보기

추론 서버란?

추론 서버는 인공지능(AI) 애플리케이션이 대규모 언어 모델(LLM)과 통신하고 데이터를 기반으로 응답을 생성할 수 있도록 지원하는 소프트웨어입니다. 그리고 이러한 프로세스를 추론이라고 합니다. 바로 이러한 과정에서 비즈니스 가치가 발생하고 최종 결과가 제공됩니다.

효과적인 작업 수행을 위해 LLM에는 대규모 추론을 위한 대규모의 스토리지, 메모리, 인프라가 필요합니다. 그렇기 때문에 예산의 대부분이 소요될 수 있습니다.

Red Hat AI 플랫폼의 일부인 Red Hat AI Inference Server는 전통적으로 높은 비용과 광범위한 인프라 문제를 해결하기 위해 추론 기능을 최적화합니다.

AI 추론에 대해 자세히 알아보기

Red Hat AI Inference Server를 통한 빠르고 비용 효율적인 AI 추론. (영상 길이: 2분 28초)

Red Hat AI Inference Server 소개

Red Hat AI Inference Server의 작동 원리

Red Hat AI Inference Server는 빠르고 비용 효율적인 추론을 대규모로 제공합니다. 이 소프트웨어는 오픈소스를 기반으로 하므로 어떠한 AI 가속기와 클라우드 환경에서도 모든 생성형 AI(생성 AI) 모델을 지원할 수 있습니다.

vLLM 기반의 추론 서버는 GPU 활용을 극대화하고 응답 시간을 단축합니다. 이 서버가 LLM 압축기 기능과 결합되면 성능을 저해하지 않고도 추론 효율성을 높일 수 있습니다. vLLM은 교차 플랫폼 적응력을 갖추고 있고 기여자 커뮤니티가 확장하고 있어 생성 AI 추론의 Linux®로 부상하고 있습니다.

vLLM에 대해 자세히 알아보기

50%

LLM 압축기를 사용한 일부 고객이 성능 저하 없이 50%의 비용 절감 효과를 봤습니다.*

*Zelenović, Saša. "LLM 활용의 극대화: vLLM을 통한 작업 수행에 최적화(Unleash the full potential of LLMs: Optimize for performance with vLLM)." Red Hat 블로그, 2025년 2월 27일.

모델 선택의 유연성

Red Hat AI Inference Server는 모든 주요 오픈소스 모델을 지원하고 유연한 GPU 이식성을 유지합니다. 따라서 모든 생성 AI 모델을 사용할 수 있고, Red Hat이 최적화한 검증된 오픈소스 타사 모델 컬렉션에서 선택할 수 있습니다.

또한 Red Hat AI Inference Server는 Red Hat AI의 일부로서 모든 Red Hat 제품에 사용될 수 있도록 인증되었습니다. 아울러 Red Hat의 타사 지원 정책에 따른 지원을 통해 다른 Linux 및 쿠버네티스 플랫폼에도 배포될 수 있습니다.

Hugging Face 기반의 모델 리포지토리 살펴보기