电子产品世界

作为人工智能产业的引领者，NVIDIA相信，有了来自边缘的所有实时数据以及对这些数据的理解能力，AI 应用就成为了能够与真实世界互动的智能体。边缘智能行业应用空间广泛，尤其是在制造业、政府、电信、医疗等重点领域，敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护成为这些应用的核心需求，边缘智能将成为实现行业数字化转型的关键。随着商业神经网络的成熟，物联网设备的普及以及并行计算和 5G 的进步，我们现在能够通过强大的基础架构来实现通用机器学习。企业应该把握良机，将 AI 应用于他们的营业场所并依据实时洞察采取行动，同时降低成本并加强隐私。

面对边缘设备的智能应用需求，NVIDIA 在边缘智能领域的技术创新和产品支持为行业发展注入了强大的动力。NVIDIA 此前发布了 Jetson 生成式 AI 实验室（Jetson Generative AI Lab），使开发者能够通过 NVIDIA Jetson 边缘设备在现实世界中探索生成式 AI 的无限可能性。此外，边缘AI应用对硬件的尺寸、功耗和性能都有非常高的要求，NVIDIA 的Jetson Nano 开发套件功耗只有 5 W，是传统计算机的十分之一，这意味着它可以在移动设备、嵌入式系统、机器人等低功耗场景中使用。普遍来看，在使用 Jetson 模组等嵌入式系统时，必须根据功率分配和计算资源来优化应用。Jetson 模组自带 GPU、CPU 和各种 AI 加速器，还配有高效率的功率管理集成电路（PMIC）、稳压器和电源树来进行功率效率优化。同时，NVIDIA 提供包括各种功率模式、功率与散热和电气管理功能、用于监控功率和散热状态的 Jetson Power GUI、用于提供模组命令行统计数据的 Tegrastats以及JTOP等多种工具和资源，帮助用户充分利用功率架构并优化资源使用。每个 Jetson 模组都支持多种预配置功率模式，也能够针对 10 W、15 W、30 W等特定功率进行预算优化。

智能工业是边缘AI非常重要的应用场景，NVIDIA 推出了Jetson AGX Orin工业级模块等开发工具，帮助开发者开发边缘AI应用。Jetson AGX Orin 工业级模块可在 15-75 W 功率范围内提供高达 248 TOPS 的 AI 性能。其外形尺寸和引脚与 Jetson AGX Orin 兼容，性能比 Jetson AGX Xavier 工业级模块提升了 8 倍以上。其能够在恶劣环境下提供更高级别的计算能力。许多应用程序，包括农业、工业制造、采矿、建筑和交通等领域，都必须经受极端环境和长时间的冲击和震动。例如，在广泛的农业应用中，强大的硬件至关重要，因为它使机械能够承受重负荷、在崎岖的地形中导航，并在不同温度下持续运行。NVIDIA Jetson 模块已经改变了智能农业，为自动驾驶拖拉机和智能收割、除草和选择性喷洒系统提供动力。在铁路应用中，火车高速行驶时会产生振动，火车车轮和铁轨之间的相互作用也会产生额外的间歇性振动和冲击。运输公司正在使用 Jetson探测物体、预防事故和优化维护成本。采矿是另一个需要符合工业要求的领域。例如 Tage IDriver 推出了基于 Jetson AGX Xavier 工业级模块的智能矿场地面-云端协调无人运输矿车解决方案。在露天矿场环境下，无人矿车需要具备更强的耐用性。在近地或外太空中，辐射水平带来了巨大的挑战，部署耐用且能够耐受辐射的模块对于确保可靠高效的运行至关重要。许多卫星公司都希望在边缘部署人工智能，但是他们在寻找合适的计算模块时面临着挑战。NVIDIA Jetson 模块装有激光雷达、摄像头、雷达等传感器，能够在恶劣的环境中实现所需的精准感知。

近两年来，随着生成式AI的火爆，NVIDIA 的技术成为推动生成式AI应用发展的技术动力源泉，在边缘侧应用提供生成式AI将成为极具发展潜力的应用领域。随着该领域快速发展，几乎每天都有新的 LLM 出现，并且量化程序库的发展也在一夜之间重塑了基准，NVIDIA 认识到了提供最新信息和有效工具的重要性。因此 NVIDIA 提供简单易学的教程和预构建容器，而实现这一切的是 jetson-containers，一个精心设计和维护的开源项目，旨在为 Jetson 设备构建容器。该项目使用 GitHub Actions，以 CI/CD 的方式构建了 100 个容器。这些容器使用户能够在 Jetson 上快速测试最新的 AI 模型、程序库和应用，无需繁琐地配置底层工具和程序库。

在开发者支持方面，NVIDIA Jetson AGX Orin 开发者套件与所有 Jetson Orin 模块共享同样的 SoC 架构，因此能够仿真任何模块，使开发者能够轻松地开始开发新一代产品。拥有紧凑的尺寸、大量的连接器和高达 275 TOPS 的 AI 性能，该开发者套件是开发先进 AI 机器人和其他边缘 AI 设备原型的最佳选择。此外，NVIDIA IGX Orin 开发者套件可提供一个满足工业和医疗环境需求的工业级边缘 AI 平台。内置的 NVIDIA Holoscan 是一套能够协调数据移动、加速计算、实时可视化和 AI 推理的 SDK。该平台让开发者能够将开源 LLM 添加到边缘 AI 流式传输工作流和产品中，为实时 AI 传感器处理带来了新的可能性，同时确保敏感数据保持在 IGX 硬件的安全边界内。IGX Orin 专为边缘环境打造，可以处理来自摄像头、激光雷达传感器、无线电天线、加速度计、超声探头等的流信息。这一通用性使各种先进的应用能够无缝地将 LLM 的强大功能与实时数据流融合。在集成到 Holoscan 操作系统后，这些 LLM 可显著增强 AI 传感器处理管道的能力和功能。

在软件方面，NVIDIA 发布了 NVIDIA AI Enterprise IGX，该软件可以在 IGX 平台上运行，优化 AI 工作流的开发和部署，确保企业机构能够获得必要的 AI 框架和工具。IGX 是一个安全、可靠的自主系统平台，它能够改善人机协同。对于制造业和物流业，IGX 为高度监管的实体工厂和仓库提供了额外的安全层；对于医疗行业的边缘 AI 用例，IGX 提供安全、低延迟的 AI 推理，以满足临床对医疗程序中的一系列仪器和传感器获得即时洞察的需求，例如机器人辅助手术、患者监测系统等。

关键词： NVIDIA Jetson 边缘设备 生成式 AI