摩尔定律走到尽头了吗?视频编解码技术未来如何卷?

发布时间:2023-08-03  

我们在追求怎样的编码未来?

Cloud 


Imagine

无处不在的视频渗透、井喷式的流量增长、多元的场景技术需求、用户对视频体验的“不将就”……音视频行业的快速发展却伴随着“编码标准升级速度缓慢”、“硬件红利见底”、“编码复杂度带来的成本问题”等众多挑战。   视频编码还“卷”得动吗?   究竟怎样的视频编码技术,才能满足既要又要的体验与成本平衡?   面向机器视觉的视频编码、虚拟现实视频、智能化应用视频......前浪翻滚而来,视频编码的“未来式”如何展开?   本文由IMMENSE、「阿里云视频云」视频编码服务端负责人陈高星和LiveVideoStack策划、采访而成。


需求很多,矛盾更多

技术迭代速度凝固了吗?摩尔定律走到尽头了吗?

视频编解码技术约10年提升50%压缩率,但这“十年磨一剑”的升级速度,早就跟不上视频信息量膨胀的速度。   新编码标准带来的编码复杂度增加,远高于CPU处理能力的增强,随之面临编码技术难以“普惠”的难题。   随着视频在更多应用场景的扩展探索,单一编码标准已难覆盖多种视频应用需求……   显然,一边是AR、VR时代的到来,以及4K、8K的高分辨率,60-120fps高帧率,10-12bit宽色域,让视频本身的信息量数倍膨胀;一边,是资源堆叠置换压缩效率,和“摩尔定律”的进步已经走到了“尽头”。加之,视频的“超低延时”对编码速度的要求,这一切,让视频体验、带宽、计算成本、编码速度之间的“矛盾”越发明显。   于是,我们始终面临更高清、更实时、更高效的编码需求,也面临技术与需求之间的诸多“矛盾”。   在这些似乎难以平衡的“矛盾”背景下,也衍生出许多值得进一步探讨的问题:

➤ 现有的编码标准在哪些方面关注不够?

➤ 如何先用好现有的编码标准?

➤ 现有的视频编码技术覆盖不到的维度有哪些?

➤ 除了码率和质量,视频编码是否需要关注更多的目标?

➤ 如何打破资源堆叠置换视频压缩效率提升的技术思维惯性?

……

从需求、矛盾、问题中,可引出深一层的认知:编码优化的目标不再仅仅考虑传统的主客观质量、复杂度、时延等维度,还有与AI处理能力的友好性、多平台下性能的适配性等。   问题的提出总是伴随着解题思路和技术方向的选择。   于是,推动着编解码架构从传统向更智能、更兼容的方向演进。


终极目标,有些偏倚

在优化编解码时,我们究竟需要追求什么?

当2015年阿里云视频云向业界提出了“窄带高清”的概念,并在2016年正式推出窄带高清技术品牌并产品化,这种既“降低码率”又“提高清晰度”的兼顾之方,几乎成为了业界的通用解法。   但是,不断演化之下到当前,业内开始流行一种“内卷”,即,过度追求"某客观指标数据"的优化。   然而,以“人”为中心的视频化视角,在最终的用户体验上,视频都应是更关注主观体验的。相反的是,在实际研发过程中,特别是编码器的优化上,通常都是依赖如:PSNR、SSIM、VMAF-NEG这样的“有源客观指标”。   诚然,在大部分情况下,客观质量的提升都能一定程度反映到主观质量的提升上,特别是当样本数足够大,且客观质量提升较大时,客观指标和主观感受能呈现一致性。   不过在窄带高清的优化实践中,也存在一些主客观优化“不一致”的情况。   比如:H.265标准中的SAO工具,用于改善振铃效应,但随之会降低VMAF和VMAF-NEG分数;   X265编码器里的PSY工具,在主观质量上能增加高频细节,但是对于客观指标都是不友好的;   又比如:JND和ROI技术,在挖掘视觉失真冗余的过程中,也不可避免地会造成有源客观指标的下降;   阿里云自研的码控算法,会对容易出现“块效应”等主观问题的区域分配更多码率以保护主观质量,但这也会导致客观质量下降;   还有,前处理增强中的各种修复生成技术,会直接对源进行修改,这类技术对于旨在评价“与源差异大小”的有源客观指标,都是不太友好的。   此外,针对单一客观指标的“过度优化”,也有可能造成单一客观指标与主观体验相悖的情况......   因此,单项客观指标的数值或高或低,都不应是视频编码优化追求的“终极目标”。


细微之处,方见视界

我们的编解码视界里,可以有哪些精妙解法?

在上述技术理念和智能编码架构的支撑下,“窄带高清2.0”从人眼视觉模型出发,将编码器的优化目标从“保真度更高”调整为“主观体验更好”。   这可以从视觉编码和细节修复两个视角来看。   在视觉编码维度,“窄带高清2.0”采用基于场景和内容的帧类型决策和块级码率分配,模式决策采用面向主观友好的算法。   在内容自适应编码部分,考虑到人眼感知的视频空间域的亮度、对比度以及时域失真是不连续的,通过基于恰可察觉失真(JND)自适应编码技术,丢弃视觉冗余信息,在主观质量不发生明显降低的情况下,可以大幅节省带宽;同时,通过ROI码控技术调整码率分配策略,进一步提升人眼感兴趣区域的清晰度。   在细节修复维度,“窄带高清2.0”采用基于生成对抗网络(GAN)的细节修复生成技术,在修复因编码压缩引起的马赛克效应和边缘毛刺的同时,“脑补”生成一些自然的纹理细节,使得画面纹理细节更丰富、更自然、更有质感。   更关键的是,应对垂直细分场景,我们的模型会对场景特征会实现更为智能的纹理生成。   比如:对于演唱会场景,曾为百视TV专属打造了Idol人像定制模版,针对优化人像区域的细节修复生成效果,将Idol的“怼脸直拍”,通过直播清晰还原送到观众屏幕前。   再比如:在NBA篮球比赛场景,AI修复模型加强了篮球场地板纹理、球员近景特写、球场边界线、地面广告字母、球衣上数字、篮球网等篮球体育赛事特有元素的修复生成,大大提升画面清晰度和整体视觉生动力表现。   也正是,唯有细微之处,方能见技术之极。


绕不开的“成本、成本、成本”

成本和体验的“非零和博弈”,  编解码怎么摆平?

正如“清晰度”和“带宽”是“窄带高清”需要平衡的天平两端,在当前“降本增效”的大环境之下,“体验”和“成本”的“非零和博弈”,一定是绕不开的话题。   成本(计算复杂度),体验(质量),这两者虽然是“trade-off”的权衡关系,但在某种程度上,也可以单方面优化提升。   比如,通过算法优化,在复杂度不变的情况下,将编码器的R-D曲线朝着更有性价比的方向优化;同时,通过高性价比的自适应快速算法的设计,也可以将质量的提升转化为成本的收益;又或者,通过底层优化并与计算平台的充分结合,挖掘异构编码的潜力,可以进一步在质量不变的情况下降低计算成本。


  当然,在“让高压缩率算法和AI真正普惠”的路上,阿里云视频云所做的不仅于此。   与视频编码类似,在视频处理领域,深度学习从效果上已经远超传统方法,同时还在不断地快速进化,但深度学习对计算资源的高消耗,成为阻碍其在实际应用中广泛使用的主要原因。   阿里云视频云深度自研编码内核,包括s264、s265,落地100+算法,支持直播、点播、RTC场景,相对于开源,全场景20%+压缩率领先。   同时,我们引入AI辅助的编码决策,在码率分配和模式决策上提升内容自适应能力,极致挖掘视觉冗余,同等主观下,码率节省50%。


软硬结合,是破解编码天花板之技吗?

在算法层面和软件层面塑造的有限差异之上,要想塑造成本优势,必须将软件、算法与操作系统、硬件、乃至芯片,全线联动。   此基础上,基于自研倚天710芯片,视频云与倚天团队联合投入ARM视频编码优化,深度重构了视频编码数据结构、并行框架,重新调优了快速算法策略,从软件、汇编、硬件层面跨层深度优化,塑造极致性能。   同时,我们与平头哥深度合作,共建“软硬结合”自研芯片竞争力,通过算法、加速库、驱动、固件一体化设计,不断探索创新音视频技术,加强在更多视频应用、更多终端设备上的普适性,从而带来更节省、更低耗、更高清、更实时的硬核编码力,赋能千行百业的视频化需求。

没有想象,就没有进化

苹果的VisonPro,透射出编码的未来吗?

回顾文章开头的“矛盾”与问题,面对激增的海量视频数据、多元的视频内容形式,以及加速扩大的行业应用范围,视频编码如何“进化”的答案,也隐藏在行业的急速迭代之中。   如何实现更高压缩效率并匹配多样的细分场景?AI codec能实现比传统压缩标准更高的压缩效率,并能够在一些垂直场景有落地的机会,例如:业界已有基于深度学习的图像压缩,落地于卫星图像的压缩传输;   面对未来视频数据的消费场景不再单纯局限于人眼视觉,服务于机器视觉的视频编码也将迎来巨大应用市场。阿里云视频云团队已与高校深度合作,布局“面向人-机视觉的全新编码范例:高层语义与低层信号相结合的图像编码方案”;   而对于近期大热的苹果VisionPro的推出,作为视频行业工作者,十分乐见VR生态能在苹果的带领下,真正打出一片市场。因此,一些相关的沉浸式编码标准如MIV,点云编码,动态网格编码等技术,也将逐步投入研究……


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>