经红帽 AI 验证的模型
经红帽® AI 验证的模型可为您在红帽 AI 平台部署第三方生成式 AI 模型时提供可靠性、可预测性和灵活性保障。
概述
面对众多大语言模型（LLM）、推理服务器设置和硬件加速器选择，您需要根据具体用例，仔细评估适合自身需求的组合，确保在性能、精度和成本之间取得最佳平衡。
为支持这一需求，红帽 AI 提供了经过验证的第三方模型库，这些模型均能在该平台上高效运行。这套领先的第三方模型已通过容量指导规划场景测试，可帮助您根据特定领域用例，明智地选择模型、部署设置与硬件加速器的最佳组合。
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
功能和优势
提高灵活性
快速访问我们在 Hugging Face 上托管、经过验证和优化且随时可用于推理的模型集，加速价值实现、促进一致性并提升 AI 应用的可靠性。
优化推理
通过选择合适的模型、部署设置和硬件加速器来优化您的 AI 基础架构，实现符合企业用例需求且经济高效的部署。
增强信心
提供行业基准测试、精度评估和模型优化工具，助您在多样化部署场景下高效评估、压缩并验证第三方模型，提升可控性。
经验证的模型
这些模型并非普通的 LLM。我们通过真实场景对第三方模型进行了全面测试，以精准评估其在实际环境中的表现，并运用专业工具对不同硬件环境下的 LLM 性能进行了系统化评估。
- GuideLLM 可跨硬件设置进行性能与成本评估。
- LM Evaluation Harness 可跨任务测试模型的泛化能力。
经优化的模型
模型均经过压缩优化，实现更快的速度和更高的效率。这些 LLM 经过专门设计，在 vLLM 上部署时，能够在保证准确性的前提下，以更少的资源实现更快的运行速度。
- LLM Compressor 是一个开源库，整合了模型压缩领域的最新研究成果，通过单一工具即可轻松生成压缩模型，毫不费力。
- vLLM 是领先的开源推理和服务引擎，以高吞吐、高内存利用率著称，专为优化后的 LLM 设计。
红帽 AI：打造您的专属解决方案
红帽 AI 是一个与您的工作方式深度契合的开源 AI 平台。您不仅可以借助高效的模型降低成本，运用自身的数据和领域专业知识对模型进行定制，还能在任何基础架构上一致地部署和管理工作负载。全流程配备一系列精心设计的工具，助力您的团队开展协作并实现规模化扩展。
常见问题解答
在哪里可以找到经验证的模型？
用户可通过以下平台获取经验证的模型：红帽 AI 生态系统目录和 Hugging Face 上的红帽 AI 模型库。后者包含完整的模型详情、SafeTensor 权重，以及可快速部署至以下平台的命令：红帽 AI 推理服务器、RHEL AI 和红帽 OpenShift AI。
红帽多久添加一次新的经验证模型？
红帽计划每月发布一组新的经验证模型，与上游 vLLM 版本的发布节奏保持一致。红帽保留因任何原因停止验证模型的权利。
经验证模型的生命周期如何？
红帽将对选定的模型进行持续验证，覆盖当前 vLLM 版本及后续两个次要版本（n+2）。对于在某个 vLLM 版本上验证的所有模型，我们将尽力确保它们至少能在该 vLLM 的未来两个版本中保持前向兼容。
这些经验证和优化的模型能否获得红帽支持团队的全面支持？
不能。红帽不会以任何形式对第三方模型提供支持、担保、认证或保证。此外，容量指导仅为建议性参考，并非性能或准确性的保证。有关具体模型的许可详情，请咨询模型提供方。
如何获取针对具体企业用例的个性化 LLM 部署、配置及硬件加速器指导？
请发送咨询邮件至 [email protected]，获取更多信息。
