什么是超视频时代 超视频时代音视频架构分析

发布时间:2022-12-05  

截止到2022年,中国互联网视频用户规模达到了9亿人;IDC(中国互联网数据中心)预计,2025年全球数据空间中80.3%将是以视频、图片、音频为代表的非结构化数据,音视频的高效处理越来越重要。


短视频和直播的兴起拓展出了新的业态,视频直播、智能化内容生成、视频推荐等应用越来越丰富,给视频云业务带来了巨大的发展机遇,同时也对云服务架构提出了新的挑战,其中涉及高并发、分布式存储、音视频编解码以及边缘计算等多项技术。


年轻的架构师对架构设计、技术选型经常充满疑惑,由Science与英特尔联袂推出的“架构师成长计划”第二季系列课程正是针对这类需求量身定做,精心挑选了音视频、云游戏、5G核心网、算力网络、联邦学习、生信大数据等十大热门话题,为架构师群体提供优质学习资源和实操经验分享。


为帮助音视频行业的架构技术人答疑解难,“架构师成长计划”第一期特邀火山引擎总经理谭待、英特尔大数据高级首席工程师程从超、智源人工智能研究院副院长刘江共同探讨《超视频时代音视频架构建设与演进》。


火山引擎:超视频时代音视频架构      

首发讲师谭待结合火山引擎的具体实践,针对视频云备受关注的技术方向:边缘计算、音视频编解码、智能中台等技术的应用,介绍超视频时代的音视频架构演进。课程共分三部分:

第一部分:什么是超视频时代

2020年,疫情爆发,各行各业或主动或被动地与视频开始接触,视频云渗透到更多“传统”行业,在工业、教育、医疗等行业不断涌现更多落地场景,这些场景对音视频架构带来功能、性能和安全层面的不同挑战,视频云来到了超视频时代。


第二部分:字节跳动音视频业务架构设计

边缘端最接近业务场景,首先优选全国各省市丰富的边缘资源和运营商网络,并按地理层级部署优质的单线、多线和BGP的节点,结合多种架构的硬件设备,如:X86、ARM服务器、智能网卡、GPU等,实现面向异构算力的边缘基础底座,构建从1ms到40ms的广域网络接入和边缘数据处理能力。基于边缘基础设施底座构建了云原生边缘平台,灵活管理异构的计算和网络资源,实现边缘一张网调度。

88f044f6-f922-11ec-ba43-dac502259ad0.png

为了降低超大规模、实时处理对中心架构的挑战,通过基于ROI的视频编码理念,来架构对应的计算与存储架构,这不仅取得带宽成本的收益,在用户指标方面,包括平均时长等也有显著的提升。通过自研多场景数据集、眼动仪采集ROI,然后在CPU上使用mobilenet加速时域建模,GPU上并行处理,实现了>90%的准确率,视频压缩性能也显著提升。


通过数据驱动优化体验,建立完整的QoS、QoE数据体系,并进行不断优化,以数据驱动技术再进化。从数据的采集、挖掘、模型的训练到策略的下发,到串联AB实验平台反馈全部打通,在不同用户、不同场景中能够把优化做到个性化、精细化、性价比最大化。


第三部分:视频云未来演进趋势及需要怎么样的视频技术

面向超视频时代,视频云技术应更好满足用户沉浸式、交互性、高清化的极致视频体验。讲师结合今年北京冬奥会上大规模的8K超高清转播,提出视频编码和传输始终是巨大挑战,需要顶尖的视频压缩能力,火山引擎的端云一体H.266视频编码方案,节省了30%-50%的码率,为超高清视频铺平道路。


英特尔分享:

软硬一体的端到端视频优化

英特尔大数据高级首席工程师程从超,在第一期课程中为大家带来了“软硬一体的端到端视频优化方案”。


重点从输入到输出,从软件到硬件,从内容生产、存储、计算和分发等多个环节,解读了英特尔视频云的全栈优化方案。

89152b86-f922-11ec-ba43-dac502259ad0.png

在视频编解码方面,英特尔自研了基于CPU处理器的编解码组件Scalable Video Technology(SVT),SVT技术实现了一张图的分块并行、图与图之间的并行、视频的多个帧之间的并行,通过几层的并行把整个CPU的所有核心都充分利用起来,在每个核心里面又通过AVX-512和SIMD指令集的优化,在一个CPU的指令周期内做更多的处理,最终实现2-20倍的视频编解码性能提升。


SVT具有高度可扩展的核心架构,全面实现SIMD/AVX-512指令集的优化,基于Intel Xeon CPU平台实现更优的线程和进程并发,充分利用多核功能,达到视频转码速度、视频质量、传输速度的最佳权衡。


类似SVT这样的软件层优化及底层基础设施XPU的接口封装好之后,根据负载的不同,可以通过OneAPI来调用底层不同的处理单元,数据具体在哪里执行,可以自动地感知并调度,充分利用云端、边缘端、终端的处理能力,实现编解码、推理、渲染等环节的效率最大化。


大咖对话:

视频云架构如何平衡软硬件投入

交流碰撞火花,沟通启迪灵感。本期圆桌对话中,智源人工智能研究院副院长刘江、讲师谭待、讲师程从超三位大咖围绕“超视频时代音视频架构建设与演进”,进行了深入的切磋和讨论。

 

刘江:在直播和短视频时代,火山引擎如何通过AI、云等技术去提升应用体验?

谭待:在全球整合丰富的边缘节点和网络资源,不管是传统的音视频应用,还是新的边缘计算场景,都能快速得到响应,具体到音视频,通过高效的编解码技术去实现性能和体验的平衡;并且建立了一套基于QoS和QoE的指标体系,用数据驱动持续提升用户体验。

刘江:当处理器算力达到瓶颈时,如何提升音视频的处理效率?英特尔在音视频方面有哪些解决方案?


程从超:英特尔做了很多“软硬一体”的行业解决方案。简单来讲概括为三大块——硬件方面,增速度降成本,未来的云端算力一定是XPU(多重处理单元)的解决方案,CPU、GPU、IPU多种组合在一起,实现更灵活的分布式算力;DPDK、SPDK对网络传输实现了很大优化;软件方面,英特尔一直致力于贡献开源社区,我们做upstream/downstream,尽量使能开源社区。在行业层面,与合作伙伴一起做行业解决方案。


XPU作为重要的云端算力,在深度学习推理方面有哪些新的突破?视频推荐技术的架构怎样建设,如何支持亿级的视频内容理解和分发?硬件迭代周期比软件要长,作为架构师应该如何平衡软硬件的资源投入,实现最高的性价比?


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>