Vitis视频分析SDK构建自己的智能视频分析解决方案

发布时间:2023-12-28  

Vitis 视频分析 SDK构建自己的智能视频分析解决方案

Vitis 视频分析 SDK 旨在 Xilinx 目标平台或您自己的平台上构建和部署支持人工智能功能的智能视频分析解决方案的完整软件堆栈。它从 USB/MIPI 摄像头输入,通过 RTSP 从文件或数据流获取视频,并使用 Vitis AI 从像素点为各种使用案例生成深度洞察,比如了解智慧城市的交通和行人、医院的健康与安全监控、自助结账以及零售分析等,从而可检查生产设施等的组件缺陷。


核心 SDK 包含多个硬件加速器插件,该插件使用各种加速器,如视频编码器、解码器、多尺度器(用于调整大小和色彩空间转换)以及用于人工智能推断的深度学习处理单元 (DPU) 等。通过在专用加速器中执行所有计算量大的操作,它可实现视频分析应用的最高性能。


对于开发者社区,Vitis 视频还提供一个通用基础架构插件形式的框架、软件加速库和一个简化的接口,可供用户开发自己的加速库,控制自定义的硬件加速器。使用这个框架,用户可轻松将其自定义加速器/内核集成在 Vitis 视频分析 SDK 中。它建立在 Xilinx 运行时 (XRT)、Vitis 和 Vitis AI 基础之上,并抽象了这些复杂的接口,有助于开发人员更轻松地构建视频分析应用。


采用 Vitis 视频分析 SDK,应用可部署在基于 Zynq UltraScale+ MPSoC 的嵌入式平台上,如 kira SoM 和 ZCU104 或 PCIe 加速平台,其中包括 Alveo U30、U50 和 VCK 5000 等。


Vitis 视频分析 SDK 图形架构

Vitis 视频分析 SDK 是一种使用开源 GStreamer 框架构建的优化图形架构,下图是一个从输入视频到输出元数据的典型视频分析应用,所有单独的模块都是所用的各种插件,所有单独的模块都是所用的各种插件,底部是在整个应用中使用的不同硬件引擎,插件之间无内存拷贝的最佳内存管理和各种加速器的使用,可确保最高性能。


Vitis 视频分析 SDK 核心组件

定制插件

高度优化的 GStreamer 插件旨在使用 Xilinx 平台上的优化内核和 IP 提供非常具体的功能。


基础架构插件

这些是正在开发的通用基础架构 GStreamer 插件,可帮助用户将其内核集成在 GStreamer 框架中。

加速软件库

这些是为管理加速内核 /IP 的状态机而开发的优化加速软件库,可公开界面,以便将这些加速软件库连接到 VVAS 通用基础架构插件中。这些可用作开发基于 VVAS 框架的加速库的参考。

加速硬件(内核/ IP)

这些都是 Xilinx 开发的高度优化的内核。

参考平台与应用

VVAS 提供多种参考平台,以满足不同应用/解决方案的需求。

完整的软件堆栈

性能与可扩展性

在边缘、本地和云端间提供业界一流的端到端性能

灵活应变性与灵活性

不仅提供高度灵活的分析工作流程,而且还提供广泛的 AI 模型,可充分满足您的需求

生产力 & TCO

从快速原型设计到全面投产,开发工作更少,部署成本更低

最佳性能展示

来源:WP529,通过 Vitis VAS 和 Deepstream 5.0 使用 Uncanny Vision 的 ANPR 应用进行了基准测试

AI 模型:Yolov3(416x416) + 3 * Resnet18(224x224),使用 Vitis VAS 和 Deepstream 5.0 进行了基准测试


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>