AIR-520 LLM服务器:Nvidia四卡加持,助力DeepSeek私有化部署!

网络与存储 时间:2025-02-25来源:研华嵌入式物联网

DeepSeek-R1的发布让大家度过了一个热闹的春节。DeepSeek用较低的成本,取得了跟OpenAI相同的效果,这也意味我们的客户可以私有化部署与OpenAI能力接近的基座大模型。

(图:AIR-520边缘AI服务器)

研华AIR-520 是一款支持4卡单槽GPU或2卡双槽GPU的桌面级LLM服务器,主要用于推理和微调两个方向。我们已经打包好3个推荐配置,便于大家直接选型。推荐配置如和您的应用有差距,也可灵活调配。

图片

(图:AIR-520 三款配置清单)

近半年来随着AI Agent的广泛使用,大家对LLM服务器的推理能力比较看重,在DeepSeek发布后,我们也使用AIR-520-L70A1 RTX 4000 ADA 4卡版主机,对工业客户最常用的DeepSeek-R1 32B、70B两个模型进行了测试。

系统配置:

图片

DeepSeek-R1 32B 测试:

图片

DeepSeek-R1 70B测试:

图片

通过测试,我们可以看到AIR-520的优异表现。

关键词: 边缘AI 服务器

加入微信
获取电子行业最新资讯
搜索微信公众号:EEPW

或用微信扫描左侧二维码

相关文章

查看电脑版