红帽在OpenShift AI平台上推出NVIDIA NIM集成功能

时间:2024-05-14来源:EEPW

全球领先的开源解决方案提供商红帽公司日前宣布,即将在红帽OpenShift AI上集成支持NVIDIA NIM微服务。这一举措旨在在一致的开源AI/ML混合云平台支持下,为数十种人工智能(AI)模型实现优化推理。企业将能够利用红帽OpenShift AI和NVIDIA NIM(NVIDIA 企业AI 软件平台的一部分,是一套易于使用的推理微服务),加速生成式AI(GenAI)应用的交付,从而更快地实现价值。

红帽OpenShift AI对NVIDIA NIM的支持,基于红帽行业领先的开放混合云技术,包括红帽企业Linux和红帽OpenShift,建立在对NVIDIA企业AI 的现有优化基础之上。作为最新合作的一部分,NVIDIA将实现NIM与KServe的互操作性,KServe是一个基于Kubernetes的开源项目,适用于高度可扩展的AI用例,同时也是 红帽OpenShift AI的核心上游贡献者。这将有助于促进NVIDIA NIM微服务在红帽 penShift AI未来迭代中的持续互操作性。

这种集成使企业能够利用GenAI功能提高生产率,例如利用虚拟助理扩展客户服务、对 IT 单据进行案例汇总,以及利用特定领域的协同机器人加速业务运营。

通过将红帽OpenShift AI 与 NVIDIA NIM 结合使用,企业可以从以下方面获益:

●   简化集成路径:与其他人工智能部署一起部署 NVIDIA NIM,提高一致性并简化管理,使通用工作流程更加顺畅。

●   协调与混合云环境中其他人工智能模型部署:对 NVIDIA NIM 部署进行集成扩展和监控,确保与现有环境的协调性,并提供扩展性支持。

●   企业级的安全性、支持和稳定性:确保企业在从原型到生产的过程中,基于人工智能的业务运作平稳过渡,从而满足业务的持续需求。

NVIDIA NIM微服务旨在加速企业的GenAI部署。NIM支持多种AI模型,包括开源社区模型、NVIDIA AI基础模型和自定义模型,通过行业标准的应用编程接口(API),能够在企业内部或云端提供无缝、可扩展的AI推断服务。

支持证言

Chris Wright, 红帽CTO兼全球工程高级副总裁

“在与 NVIDIA 的合作中,红帽专注于消除障碍,降低复杂性,从而让企业能快速构建、管理和部署AI应用。红帽 OpenShift AI 为扩展 NIM 微服务的覆盖范围提供了一个可扩展、灵活的基础,通过预构建的容器和行业标准 API 为开发人员赋能,所有这些都由开源创新驱动。”

Justin Boitano,NVIDIA企业产品副总裁

“每个企业开发团队都希望尽可能快速、安全地将他们的生成式人工智能应用投入生产。在红帽 OpenShift AI 中集成 NVIDIA NIM 标志着我们合作的一个新里程碑,因为这将帮助开发人员利用性能优化的基础和嵌入模型,在任何云或数据中心中快速构建和扩展现代企业应用。”

关键词: 红帽 OpenShift AI NVIDIA NIM

加入微信
获取电子行业最新资讯
搜索微信公众号:EEPW

或用微信扫描左侧二维码

相关文章

查看电脑版