利用模型即服务加速 AI 价值实现

人工智能（AI）通过帮助企业组织更好地利用数据获取有价值的见解，从而推动创新。企业正迅速采用 AI 应用，但大规模开发、训练和管理 AI 工作负载方面仍面临挑战。模型即服务（MaaS）通过使企业能够将 AI 模型作为可扩展的服务进行实施，帮助解决这一挑战。

什么是模型即服务（MaaS）？

借助模型即服务（MaaS），企业组织可加快价值实现速度并更快地交付成果。模型即服务通过混合云 AI 平台上的 API 网关，提供预训练的 AI 模型。

模型即服务可由内部专业团队开发和部署，并向企业组织中的其他部门开放使用。这使得其他团队能够通过 API 访问这些预训练的模型，专注于更具战略意义的重要任务，从而提高工作效率。此外，企业组织还可以从可信的提供商处获取模型即服务，而无需组建专门的模型即服务团队。然而，除了提高效率和节约成本外，模型即服务还能帮助企业组织更好地掌控数据隐私及其使用权限。  

模型即服务基础知识

何时应采用模型即服务？

要管理好 GPU 和底层 AI 基础架构，需要具备专业技能的人员来开发、训练和管理 AI 模型。除了提供 AI 基础架构即服务（IaaS）外，企业组织还可以指派少量资深专家，专门负责开发、训练和部署 AI 模型，这些模型可供企业组织内的任何人员使用。

随着模型推理需求不断增加，底层服务框架和 GPU 能够更轻松地扩展以满足需求。模型即服务提供商还负责所有基础架构维护和监控任务，包括更新、性能和安全防护。

另一个关键因素是 GPU 成本高昂，低效使用会导致成本激增。模型即服务降低对基础架构领域重资产投入的需求，帮助企业节省前期成本。

价值实现时间同样至关重要，而模型即服务有助于加速企业组织获得投资回报（ROI）。模型开发和训练过程需要大量时间，而模型即服务可使模型随时供有需要的团队使用，显著缩短价值实现周期。  

了解模型即服务

让我们通过一个预设技术路线的高层次设计来了解模型即服务及其核心组件。模型即服务的核心组件包括模型、可扩展的 AI 平台、AI 编排系统以及强大的 API 管理。

谈到模型即服务，选择真正契合您业务用例的 AI 模型只是其中一个方面。围绕模型还有许多其他方面，例如数据采集、验证、资源管理以及部署和监控模型所需的基础架构。

在 AI 应用领域，此类活动通过机器学习运维（MLOps）实现自动化。MLOps 涵盖了 AI 项目的整个生命周期，由跨职能团队承担类似 DevOps 的职责。在模型即服务生命周期内，模型即服务提供商具有类似的跨职能业务专家团队，包括数据科学家、机器学习工程师和 IT 运维人员，他们积极协作以交付并管理模型即服务产品。  

模型

模型即服务提供商负责通过整合开源、第三方或自有模型来开发模型目录。根据企业组织的需求，模型即服务提供商可以选择通过微调等调优技术来自定义模型，或借助检索增强生成（RAG）或检索增强与微调（RAFT）技术提升用户体验。模型调优完成后，将存储到数据存储系统中，模型元数据详细信息则会存储到模型镜像仓库中，至此模型已就绪可供部署。模型即服务提供商还可以构建包含所有可用模型的模型目录，并将模型及公开 API 的相关文档集成到开发人员门户中，以供开发人员使用。 

红帽 OpenShift AI

模型即服务的基础是用于调优、部署和监控模型的 AI 平台。模型即服务提供商负责设置该系统，并配备适当的可观测性工具以进行监控。

模型即服务提供商需要高效部署模型、管理多租户、监控并缓解安全威胁，并集成多个数据源。 

在我们预设技术路线的架构设计中，我们选择使用红帽 OpenShift AI 作为 AI 平台，因为它能够满足模型即服务的需求，提供多租户支持、强健的模型服务安全态势以及数据服务集成等功能。OpenShift AI 可简化数据获取、模型训练、模型部署及可观测性等工作流，并实现团队间的无缝协作。

红帽 OpenShift AI 的优势

OpenShift AI 为希望构建模型即服务系统的用户提供了诸多优势，包括：

• 能够高效扩展以应对更大规模的 AI 工作负载需求
• 能够在混合云环境中运行 AI 工作负载，包括边缘环境和非联网环境
• 内置身份验证和基于角色的访问控制（RBAC）
• 多种控制措施，可帮助解决安全性和合规性方面的挑战

此外，OpenShift AI 采用模块化设计，使您的模型即服务团队能够构建定制化的 AI/ML 堆栈，并根据需要集成合作伙伴或其他开源技术。 

AI 编排

红帽 OpenShift AI 还提供了 AI 编排功能，使模型即服务提供商能够针对特定用例，灵活试验并更好地管控同一模型的不同版本，甚至是完全不同的模型。AI 编排的主要目的之一是将 API 请求路由到正确的模型实例。该层还可能包含额外组件，以管理各种模型调优技术。

API 管理

API 管理是模型即服务设计中最重要的组成部分之一。模型即服务提供商必须能够管理访问权限、接入应用、提供分析数据以及追溯的成本分摊情况，从而使客户能够管理和观察其应用，并有效衡量投资回报率（ROI）。API 管理组件还支持全面的接入和使用策略，并提供详细的分析数据，帮助用户了解已发布 API 的使用、过度使用、使用不足以及潜在滥用情况。

API 管理组件支持高可用性（HA）、流量控制、API 身份验证、第三方身份提供商集成、数据分析、访问控制、货币化及开发人员工作流。

智能应用

消费者应用（如聊天机器人、移动应用或门户网站）是该架构中的最后一个组成部分。这里的主要利益相关者是希望通过模型即服务提供商发布的 API，将可用的 AI 模型集成到自己的智能应用中的开发人员。开发人员应能够通过专属的开发人员门户网站接入应用并利用 API 管理功能。

开放人员现在能够通过 API 无缝集成模型，从而为最终用户提供智能应用。这使开发人员能够专注于利用现成的模型 API 解决业务问题，而模型即服务提供商则负责管理模型、MLOps 及底层基础架构。

结论

通过将基础架构和数据科学复杂性抽象化，企业组织能够利用模型即服务更快、更高效地交付 AI 解决方案，同时保持对 MLOps 成本与复杂性的掌控力。

随着 AI 采用率不断提升，模型即服务成为是加速 AI 开发和缩短上市时间的理想方案。立即探索红帽 OpenShift AI 的强大功能，了解我们如何帮助您构建模型即服务，并释放 AI 投资的全部价值。