NVIDIA：以Jetson边缘设备在现实世界探索生成式AI无限可能

作为人工智能产业的引领者，NVIDIA相信，有了来自边缘的所有实时数据以及对这些数据的理解能力，AI应用就成为了能够与真实世界互动的智能体。边缘智能行业应用空间广泛，尤其是在制造业、政府、电信、医疗等重点领域，敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护成为这些应用的核心需求，边缘智能将成为实现行业数字化转型的关键。随着商业神经网络的成熟，物联网设备的普及以及并行计算和 5G 的进步，我们现在能够通过强大的基础架构来实现通用机器学习。企业应该把握良机，将 AI 应用于他们的营业场所并依据实时洞察采取行动，同时降低成本并加强隐私。

面对边缘设备的智能应用需求，NVIDIA在边缘智能领域的技术创新和产品支持为行业发展注入了强大的动力。NVIDIA此前发布了Jetson 生成式AI实验室（Jetson Generative AI Lab），使开发者能够通过NVIDIA Jetson边缘设备在现实世界中探索生成式 AI的无限可能性。此外，边缘AI 应用对硬件的尺寸、功耗和性能都有非常高的要求，NVIDIA的Jetson Nano开发套件功耗只有5W，是传统计算机的十分之一，这意味着它可以在移动设备、嵌入式系统、机器人等低功耗场景中使用。普遍来看，在使用Jetson模组等嵌入式系统时，必须根据功率分配和计算资源来优化应用。Jetson模组自带GPU、CPU和各种AI加速器，还配有高效率的功率管理集成电路（PMIC）、稳压器和电源树来进行功率效率优化。同时，NVIDIA提供包括各种功率模式、功率与散热和电气管理功能、用于监控功率和散热状态的Jetson Power GUI、用于提供模组命令行统计数据的Tegrastats以及JTOP等多种工具和资源，帮助用户充分利用功率架构并优化资源使用。每个Jetson模组都支持多种预配置功率模式，也能够针对10W、15W、30W等特定功率进行预算优化。

智能工业是边缘AI 非常重要的应用场景，NVIDIA推出了Jetson AGX Orin工业级模块等开发工具，帮助开发者开发边缘AI 应用。Jetson AGX Orin工业级模块可在15-75W功率范围内提供高达248 TOPS 的 AI 性能。其外形尺寸和引脚与 Jetson AGX Orin 兼容，性能比Jetson AGX Xavier工业级模块提升了 8 倍以上。其能够在恶劣环境下提供更高级别的计算能力。许多应用程序，包括农业、工业制造、采矿、建筑和交通等领域，都必须经受极端环境和长时间的冲击和震动。例如，在广泛的农业应用中，强大的硬件至关重要，因为它使机械能够承受重负荷、在崎岖的地形中导航，并在不同温度下持续运行。NVIDIA Jetson模块已经改变了智能农业，为自动驾驶拖拉机和智能收割、除草和选择性喷洒系统提供动力。在铁路应用中，火车高速行驶时会产生振动，火车车轮和铁轨之间的相互作用也会产生额外的间歇性振动和冲击。运输公司正在使用Jetson探测物体、预防事故和优化维护成本。采矿是另一个需要符合工业要求的领域。例如Tage IDriver推出了基于Jetson AGXXavier工业级模块的智能矿场地面- 云端协调无人运输矿车解决方案。在露天矿场环境下，无人矿车需要具备更强的耐用性。在近地或外太空中，辐射水平带来了巨大的挑战，部署耐用且能够耐受辐射的模块对于确保可靠高效的运行至关重要。许多卫星公司都希望在边缘部署人工智能，但是他们在寻找合适的计算模块时面临着挑战。NVIDIA Jetson模块装有激光雷达、摄像头、雷达等传感器，能够在恶劣的环境中实现所需的精准感知。

近两年来，随着生成式AI 的火爆，NVIDIA的技术成为推动生成式AI应用发展的技术动力源泉，在边缘侧应用提供生成式AI将成为极具发展潜力的应用领域。随着该领域快速发展，几乎每天都有新的LLM出现，并且量化程序库的发展也在一夜之间重塑了基准，NVIDIA认识到了提供最新信息和有效工具的重要性。

因此 NVIDIA提供简单易学的教程和预构建容器，而实现这一切的是jetson-containers，一个精心设计和维护的开源项目，旨在为Jetson设备构建容器。该项目使用GitHub Actions，以CI/CD的方式构建了100个容器。这些容器使用户能够在 Jetson 上快速测试最新的AI模型、程序库和应用，无需繁琐地配置底层工具和程序库。

在开发者支持方面，NVIDIA Jetson AGX Orin开发者套件与所有Jetson Orin模块共享同样的SoC架构，因此能够仿真任何模块，使开发者能够轻松地开始开发新一代产品。拥有紧凑的尺寸、大量的连接器和高达275 TOPS的AI性能，该开发者套件是开发先进AI机器人和其他边缘AI设备原型的最佳选择。此外，NVIDIA IGX Orin开发者套件可提供一个满足工业和医疗环境需求的工业级边缘AI平台。内置的NVIDIAHoloscan是一套能够协调数据移动、加速计算、实时可视化和AI推理的SDK。该平台让开发者能够将开源LLM添加到边缘AI流式传输工作流和产品中，为实时AI传感器处理带来了新的可能性，同时确保敏感数据保持在IGX硬件的安全边界内。IGX Orin专为边缘环境打造，可以处理来自摄像头、激光雷达传感器、无线电天线、加速度计、超声探头等的流信息。这一通用性使各种先进的应用能够无缝地将LLM的强大功能与实时数据流融合。在集成到Holoscan操作系统后，这些LLM可显著增强AI传感器处理管道的能力和功能。

在软件方面，NVIDIA发布了NVIDIA AI EnterpriseIGX，该软件可以在IGX平台上运行，优化AI工作流的开发和部署，确保企业机构能够获得必要的AI框架和工具。IGX是一个安全、可靠的自主系统平台，它能够改善人机协同。对于制造业和物流业，IGX为高度监管的实体工厂和仓库提供了额外的安全层；对于医疗行业的边缘AI用例，IGX提供安全、低延迟的AI推理，以满足临床对医疗程序中的一系列仪器和传感器获得即时洞察的需求，例如机器人辅助手术、患者监测系统等。

（本文来源于《EEPW》2024.6）