Red Hat AI Inference Server
Red Hat® AI Inference Server optimiza la inferencia de modelos en la nube híbrida para implementar modelos de manera más rápida y rentable.
Los servidores de inferencias
Los servidores de inferencias son sistemas de software que permiten que las aplicaciones de inteligencia artificial se comuniquen con los modelos de lenguaje de gran tamaño (LLM) y generen respuestas basadas en los datos. En este proceso, denominado inferencia, es donde se obtiene el valor empresarial y se ofrece el resultado final.
Para funcionar de forma eficaz, los LLM deben contar con un gran volumen de almacenamiento, memoria e infraestructura que les permita realizar inferencias según sea necesario, por lo que pueden consumir la mayor parte de tu presupuesto.
Como parte de la plataforma Red Hat AI, Red Hat AI Inference Server optimiza las funciones de inferencia para reducir los costos elevados y la extensa infraestructura.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Introduction to Red Hat AI Inference Server
Funcionamiento de Red Hat AI Inference Server
Red Hat AI Inference Server permite realizar inferencias rápidas y rentables según las necesidades de cada empresa. Su tecnología de open source permite que sea compatible con todos los modelos de inteligencia artificial generativa en cualquier acelerador de inteligencia artificial y entorno de nube.
Gracias a vLLM, el servidor de inferencias potencia al máximo el uso de la GPU y ofrece tiempos de respuesta más rápidos. Al combinar la inferencia con las funciones de LLM Compressor, aumenta su eficiencia sin comprometer el rendimiento. Con su capacidad para adaptarse a varias plataformas y la creciente comunidad de colaboradores, vLLM se posiciona como la inferencia de inteligencia artificial generativa más destacada del sector, tal como Linux® es un estándar del mundo open source.
50 % Algunos usuarios que utilizaron LLM Compressor lograron un ahorro de costos del 50 % sin comprometer el rendimiento*.
* Zelenović, Saša. "Unleash the full potential of LLMs: Optimize for performance with vLLM".Blog de Red Hat, 27 de febrero de 2025.
Tú eliges tus modelos
Red Hat AI Inference Server admite todos los modelos open source principales y mantiene una portabilidad flexible de GPU. Por lo tanto, puedes utilizar cualquier modelo de inteligencia artificial generativa y elegir uno de nuestra colección optimizada de modelos open source validados de terceros.
Además, como parte de Red Hat AI, Red Hat AI Inference Server está certificado para su uso con todos los productos de Red Hat. También se puede implementar en otras plataformas de Linux y Kubernetes con soporte según la política de soporte de terceros de Red Hat.
Soporte de Red Hat AI
Como uno de los mayores colaboradores comerciales de vLLM, contamos con un gran conocimiento de la tecnología. Nuestros consultores tienen la experiencia en vLLM necesaria para ayudarte a alcanzar tus objetivos empresariales relacionados con la inteligencia artificial.
Métodos de compra
Red Hat AI Inference Server se encuentra disponible como producto independiente o como parte de Red Hat AI. Viene incluido en Red Hat Enterprise Linux® AI y Red Hat OpenShift® AI.
Implementación con partners
Los especialistas y las tecnologías se combinan para que nuestros clientes puedan obtener mejores resultados con la inteligencia artificial. Descubre todos los partners que trabajan con Red Hat para certificar el funcionamiento de sus productos con nuestras soluciones.
Preguntas frecuentes
¿Es necesario adquirir Red Hat Enterprise Linux AI o Red Hat OpenShift AI para utilizar Red Hat AI Inference Server?
No. Puedes adquirir Red Hat AI Inference Server como producto independiente de Red Hat.
¿Es necesario adquirir Red Hat AI Inference Server para utilizar Red Hat Enterprise Linux AI?
No. Red Hat AI Inference Server viene incluido cuando adquieres Red Hat Enterprise Linux AI o Red Hat OpenShift AI.
¿Se puede ejecutar Red Hat AI Inference Server en Red Hat Enterprise Linux o Red Hat OpenShift?
Sí, se puede. También se puede ejecutar en entornos de Linux de terceros según nuestro acuerdo con terceros.
¿Cómo se cobra Red Hat AI Inference Server?
El precio se determina por acelerador.
