Vitis 视频分析 SDK构建自己的智能视频分析解决方案

Vitis 视频分析 SDK 旨在 Xilinx 目标平台或您自己的平台上构建和部署支持人工智能功能的智能视频分析解决方案的完整软件堆栈。它从 USB/MIPI 摄像头输入，通过 RTSP 从文件或数据流获取视频，并使用 Vitis AI 从像素点为各种使用案例生成深度洞察，比如了解智慧城市的交通和行人、医院的健康与安全监控、自助结账以及零售分析等，从而可检查生产设施等的组件缺陷。

核心 SDK 包含多个硬件加速器插件，该插件使用各种加速器，如视频编码器、解码器、多尺度器（用于调整大小和色彩空间转换）以及用于人工智能推断的深度学习处理单元 （DPU） 等。通过在专用加速器中执行所有计算量大的操作，它可实现视频分析应用的最高性能。

对于开发者社区，Vitis 视频还提供一个通用基础架构插件形式的框架、软件加速库和一个简化的接口，可供用户开发自己的加速库，控制自定义的硬件加速器。使用这个框架，用户可轻松将其自定义加速器/内核集成在 Vitis 视频分析 SDK 中。它建立在 Xilinx 运行时 （XRT）、Vitis 和 Vitis AI 基础之上，并抽象了这些复杂的接口，有助于开发人员更轻松地构建视频分析应用。

采用 Vitis 视频分析 SDK，应用可部署在基于 Zynq UltraScale+ MPSoC 的嵌入式平台上，如 kira SoM 和 ZCU104 或 PCIe 加速平台，其中包括 Alveo U30、U50 和 VCK 5000 等。

Vitis 视频分析 SDK 图形架构

Vitis 视频分析 SDK 是一种使用开源 GStreamer 框架构建的优化图形架构，下图是一个从输入视频到输出元数据的典型视频分析应用，所有单独的模块都是所用的各种插件，所有单独的模块都是所用的各种插件，底部是在整个应用中使用的不同硬件引擎，插件之间无内存拷贝的最佳内存管理和各种加速器的使用，可确保最高性能。

Vitis 视频分析 SDK 核心组件

定制插件

高度优化的 GStreamer 插件旨在使用 Xilinx 平台上的优化内核和 IP 提供非常具体的功能。

基础架构插件

这些是正在开发的通用基础架构 GStreamer 插件，可帮助用户将其内核集成在 GStreamer 框架中。

加速软件库

这些是为管理加速内核 /IP 的状态机而开发的优化加速软件库，可公开界面，以便将这些加速软件库连接到 VVAS 通用基础架构插件中。这些可用作开发基于 VVAS 框架的加速库的参考。

加速硬件（内核/ IP）

这些都是 Xilinx 开发的高度优化的内核。

参考平台与应用

VVAS 提供多种参考平台，以满足不同应用/解决方案的需求。

完整的软件堆栈

性能与可扩展性

在边缘、本地和云端间提供业界一流的端到端性能

灵活应变性与灵活性

不仅提供高度灵活的分析工作流程，而且还提供广泛的 AI 模型，可充分满足您的需求

生产力 & TCO

从快速原型设计到全面投产，开发工作更少，部署成本更低

最佳性能展示

来源：WP529，通过 Vitis VAS 和 Deepstream 5.0 使用 Uncanny Vision 的 ANPR 应用进行了基准测试

AI 模型：Yolov3（416x416） + 3 * Resnet18（224x224），使用 Vitis VAS 和 Deepstream 5.0 进行了基准测试