NVIDIA:以Jetson边缘设备在现实世界探索生成式AI无限可能

发布时间:2024-06-10  

作为人工智能产业的引领者,NVIDIA相信,有了来自边缘的所有实时数据以及对这些数据的理解能力,AI应用就成为了能够与真实世界互动的智能体。边缘智能行业应用空间广泛,尤其是在制造业、政府、电信、医疗等重点领域,敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护成为这些应用的核心需求,边缘智能将成为实现行业数字化转型的关键。随着商业神经网络的成熟,物联网设备的普及以及并行计算和 5G 的进步,我们现在能够通过强大的基础架构来实现通用机器学习。企业应该把握良机,将 AI 应用于他们的营业场所并依据实时洞察采取行动,同时降低成本并加强隐私。

本文引用地址:

面对边缘设备的智能应用需求,NVIDIA在边缘智能领域的技术创新和产品支持为行业发展注入了强大的动力。NVIDIA此前发布了Jetson 生成式AI实验室(Jetson Generative AI Lab),使开发者能够通过NVIDIA Jetson边缘设备在现实世界中探索生成式 AI的无限可能性。此外,边缘AI 应用对硬件的尺寸、功耗和性能都有非常高的要求,NVIDIA的Jetson Nano开发套件功耗只有5W,是传统计算机的十分之一,这意味着它可以在移动设备、嵌入式系统、机器人等低功耗场景中使用。普遍来看,在使用Jetson模组等嵌入式系统时,必须根据功率分配和计算资源来优化应用。Jetson模组自带GPU、CPU和各种AI加速器,还配有高效率的功率管理集成电路(PMIC)、稳压器电源树来进行功率效率优化。同时,NVIDIA提供包括各种功率模式、功率与散热和电气管理功能、用于监控功率和散热状态的Jetson Power GUI、用于提供模组命令行统计数据的Tegrastats以及JTOP等多种工具和资源,帮助用户充分利用功率架构并优化资源使用。每个Jetson模组都支持多种预配置功率模式,也能够针对10W、15W、30W等特定功率进行预算优化。

智能工业是边缘AI 非常重要的应用场景,NVIDIA推出了Jetson AGX Orin工业级模块等开发工具,帮助开发者开发边缘AI 应用。Jetson AGX Orin工业级模块可在15-75W功率范围内提供高达248 TOPS 的 AI 性能。其外形尺寸和引脚与 Jetson AGX Orin 兼容,性能比Jetson AGX Xavier工业级模块提升了 8 倍以上。其能够在恶劣环境下提供更高级别的计算能力。许多应用程序,包括农业、工业制造、采矿、建筑和交通等领域,都必须经受极端环境和长时间的冲击和震动。例如,在广泛的农业应用中,强大的硬件至关重要,因为它使机械能够承受重负荷、在崎岖的地形中导航,并在不同温度下持续运行。NVIDIA Jetson模块已经改变了智能农业,为自动驾驶拖拉机和智能收割、除草和选择性喷洒系统提供动力。在铁路应用中,火车高速行驶时会产生振动,火车车轮和铁轨之间的相互作用也会产生额外的间歇性振动和冲击。运输公司正在使用Jetson探测物体、预防事故和优化维护成本。采矿是另一个需要符合工业要求的领域。例如Tage IDriver推出了基于Jetson AGXXavier工业级模块的智能矿场地面- 云端协调无人运输矿车解决方案。在露天矿场环境下,无人矿车需要具备更强的耐用性。在近地或外太空中,辐射水平带来了巨大的挑战,部署耐用且能够耐受辐射的模块对于确保可靠高效的运行至关重要。许多卫星公司都希望在边缘部署人工智能,但是他们在寻找合适的计算模块时面临着挑战。NVIDIA Jetson模块装有激光雷达、摄像头、雷达等传感器,能够在恶劣的环境中实现所需的精准感知。

近两年来,随着生成式AI 的火爆,NVIDIA的技术成为推动生成式AI应用发展的技术动力源泉,在边缘侧应用提供生成式AI将成为极具发展潜力的应用领域。随着该领域快速发展,几乎每天都有新的LLM出现,并且量化程序库的发展也在一夜之间重塑了基准,NVIDIA认识到了提供最新信息和有效工具的重要性。

因此 NVIDIA提供简单易学的教程和预构建容器,而实现这一切的是jetson-containers,一个精心设计和维护的开源项目,旨在为Jetson设备构建容器。该项目使用GitHub Actions,以CI/CD的方式构建了100个容器。这些容器使用户能够在 Jetson 上快速测试最新的AI模型、程序库和应用,无需繁琐地配置底层工具和程序库。

在开发者支持方面,NVIDIA Jetson AGX Orin开发者套件与所有Jetson Orin模块共享同样的SoC架构,因此能够仿真任何模块,使开发者能够轻松地开始开发新一代产品。拥有紧凑的尺寸、大量的连接器和高达275 TOPS的AI性能,该开发者套件是开发先进AI机器人和其他边缘AI设备原型的最佳选择。此外,NVIDIA IGX Orin开发者套件可提供一个满足工业和医疗环境需求的工业级边缘AI平台。内置的NVIDIAHoloscan是一套能够协调数据移动、加速计算、实时可视化和AI推理的SDK。该平台让开发者能够将开源LLM添加到边缘AI流式传输工作流和产品中,为实时AI传感器处理带来了新的可能性,同时确保敏感数据保持在IGX硬件的安全边界内。IGX Orin专为边缘环境打造,可以处理来自摄像头、激光雷达传感器、无线电天线、加速度计、超声探头等的流信息。这一通用性使各种先进的应用能够无缝地将LLM的强大功能与实时数据流融合。在集成到Holoscan操作系统后,这些LLM可显著增强AI传感器处理管道的能力和功能。

在软件方面,NVIDIA发布了NVIDIA AI EnterpriseIGX,该软件可以在IGX平台上运行,优化AI工作流的开发和部署,确保企业机构能够获得必要的AI框架和工具。IGX是一个安全、可靠的自主系统平台,它能够改善人机协同。对于制造业和物流业,IGX为高度监管的实体工厂和仓库提供了额外的安全层;对于医疗行业的边缘AI用例,IGX提供安全、低延迟的AI推理,以满足临床对医疗程序中的一系列仪器和传感器获得即时洞察的需求,例如机器人辅助手术、患者监测系统等。

(本文来源于《EEPW》2024.6)

文章来源于:电子产品世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>