红帽 OpenShift AI
借助红帽® OpenShift® AI 平台，您可以在混合云环境中大规模管理预测性 AI 和生成式 AI 模型生命周期。
什么是红帽 OpenShift AI？
OpenShift AI 采用开源技术构建，能提供值得信赖且运维一致的功能，助力团队进行实验、供应模型以及交付创新应用。
OpenShift AI 支持数据的获取和准备、模型的训练和微调、模型供应、模型监控及硬件加速。凭借由硬件和软件合作伙伴组成的开放式生态系统，OpenShift AI 能够满足不同的需求和场景。
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
将 AI 驱动的应用更快投入生产
这款一站式企业就绪型 AI 应用平台集结了红帽 Openshift AI 和红帽 OpenShift 成熟可靠的功能，能够让不同团队团结一心、顺畅协作。数据科学家、工程师和应用开发人员可以在统一的平台上进行协作，从而提高一致性、安全性和可扩展性。
最新发布的 OpenShift AI 包含一系列精挑细选的、经过优化的生产就绪型第三方模型，这些模型均已通过红帽 OpenShift AI 验证。拥有这个第三方模型目录的访问权限后，您的团队能够更好地控制模型可访问性和可见性，这有助于满足安全性与政策要求。
此外，OpenShift AI 还借助优化的 vLLM 框架提供的分布式服务功能，帮助用户管理推理成本。为进一步降低运维复杂性，OpenShift AI 提供了高级工具，能够自动化部署，并支持用户自助访问模型、工具和资源。
轻松管理 AI 基础架构，省时又省力
让您的团队能够按需获取资源，从而实现模型训练和服务环境的自助式扩展。此外，通过在弹性集群环境中统一管理 AI 加速器（GPU）及工作负载资源，显著简化运维流程。
经过测试、享受全面支持的 AI/ML 工具
红帽平台可替您测试、集成和支持 AI/ML 工具和模型服务，无需您自己费心费力。OpenShift AI 借鉴了红帽 Open Data Hub 社区项目及 Kubeflow 等开源项目多年的孵化经验。
我们凭借丰富的经验和开源专业知识，提供生成式 AI 就绪型基础，让客户在制定生成式 AI 策略时拥有更多选择与更大的信心。
混合云：灵活之选
红帽 OpenShift AI 既可以作为自助管理软件使用，也可作为 OpenShift 上的全托管云服务提供，借助这个既安全又灵活的平台，您可以选择在任何位置开发和部署模型，无论是在本地、公共云中还是在边缘。
运用最佳实践
红帽服务提供专业知识、培训和支持，助您克服 AI 技术采用过程中的各种挑战，无论您处于采用之旅哪个阶段。
无论您是想构建 AI 解决方案原型、简化 AI 平台的部署，还是推进 MLOps 策略，红帽咨询都将为您提供支持和指导。
利用 vLLM 进行优化，以实现大规模快速且经济高效的推理。
红帽 AI 推理服务器是红帽 AI 平台的一部分。它既可以作为独立产品使用，同时也集成在红帽企业 Linux® AI 和红帽 OpenShift® AI 解决方案中。
构建可扩展的 AI 平台：Kubernetes 基础架构
了解如何应用机器学习运维（MLOPs）原则和实践来构建 AI 驱动的应用。
模型工作台，助力高效协作
为您的数据科学家提供预构建或定制的集群镜像，以便他们使用偏好的 IDE（如 JupyterLab）来处理模型。红帽 OpenShift AI 会跟踪 Jupyter、TensorFlow、PyTorch 及其他开源 AI 技术的变更。
借助红帽 OpenShift AI 扩展模型供应
您可以使用经过优化的 vLLM 版本（或您选择的其他模型服务器）来供应模型，以集成到在本地、公共云中或边缘运行的依托 AI 技术的应用中。还可以基于对源 notebook 的更改来重新构建、重新部署和监控这些模型。
模型偏差和漂移问题可能会损害模型的完整性，增加模型规模化应用的难度。为帮助维护模型公平性、安全性和可扩展性，OpenShift AI 允许数据从业人员监控模型输出与训练数据之间的一致性。
该平台提供的漂移检测工具可监控模型推理所用的实时数据何时偏离原始训练数据。此外，平台内置的 AI 防护机制可以保护模型输入和输出免受有害信息（如辱骂性和亵渎性言论、个人数据或特定领域限制）的影响。
解决方案模式
使用红帽技术和 NVIDIA AI Enterprise 构建的 AI 应用
创建 RAG 应用
红帽 OpenShift AI 是一个用于构建数据科学项目并为依托 AI 的应用提供服务的平台。您可以集成支持 检索增强生成（RAG）所需的所有工具，这是一种从自己的参考文档中获取 AI 答案的方法。将 OpenShift AI 与 NVIDIA AI Enterprise 关联后，您可以尝试各种 大语言模型（LLM），以找到适用于您应用的最佳模型。
构建文档处理管道
要使用 RAG，首先需要将文档导入到一个向量数据库中。在示例应用中，我们将一组产品文档嵌入到 Redis 数据库中。由于这些文档经常更改，我们可以为此过程创建一个管道并定期运行，以确保始终拥有最新版本的文档。
浏览 LLM 目录
NVIDIA AI Enterprise 支持访问不同 LLM 的目录，因此您可以尝试不同的选择，并选取能够提供最佳效果的模型。这些模型托管在 NVIDIA API 目录中。设置 API 令牌后，您就可以直接从 OpenShift AI 使用 NVIDIA NIM 模型服务平台来部署模型。
选择合适的模型
在测试不同的 LLM 时，您可以让用户对每个生成的响应进行评分。您还可以设置一个 Grafana 监控面板，用于比较各个模型的评分、延迟和响应时间。然后，您就可以根据这些数据来选择最适合在生产环境中使用的 LLM。
如何试用红帽 OpenShift AI
开发人员沙盒
适合想要尝试在灵活的预配置环境中构建依托 AI 技术的应用的开发人员和数据科学家。
60 天试用
企业组织准备好评估 OpenShift AI 的全部功能后，可以通过 60 天产品试用进行探索。需要用到现有的红帽 OpenShift 集群。
