摩尔定律走到尽头了吗?视频编解码技术未来如何卷?

发布时间:2023-08-03  

我们在追求怎样的编码未来?

Cloud 


Imagine

无处不在的视频渗透、井喷式的流量增长、多元的场景技术需求、用户对视频体验的“不将就”……音视频行业的快速发展却伴随着“编码标准升级速度缓慢”、“硬件红利见底”、“编码复杂度带来的成本问题”等众多挑战。   视频编码还“卷”得动吗?   究竟怎样的视频编码技术,才能满足既要又要的体验与成本平衡?   面向机器视觉的视频编码、虚拟现实视频、智能化应用视频......前浪翻滚而来,视频编码的“未来式”如何展开?   本文由IMMENSE、「阿里云视频云」视频编码服务端负责人陈高星和LiveVideoStack策划、采访而成。


需求很多,矛盾更多

技术迭代速度凝固了吗?摩尔定律走到尽头了吗?

视频编解码技术约10年提升50%压缩率,但这“十年磨一剑”的升级速度,早就跟不上视频信息量膨胀的速度。   新编码标准带来的编码复杂度增加,远高于CPU处理能力的增强,随之面临编码技术难以“普惠”的难题。   随着视频在更多应用场景的扩展探索,单一编码标准已难覆盖多种视频应用需求……   显然,一边是AR、VR时代的到来,以及4K、8K的高分辨率,60-120fps高帧率,10-12bit宽色域,让视频本身的信息量数倍膨胀;一边,是资源堆叠置换压缩效率,和“摩尔定律”的进步已经走到了“尽头”。加之,视频的“超低延时”对编码速度的要求,这一切,让视频体验、带宽、计算成本、编码速度之间的“矛盾”越发明显。   于是,我们始终面临更高清、更实时、更高效的编码需求,也面临技术与需求之间的诸多“矛盾”。   在这些似乎难以平衡的“矛盾”背景下,也衍生出许多值得进一步探讨的问题:

➤ 现有的编码标准在哪些方面关注不够?

➤ 如何先用好现有的编码标准?

➤ 现有的视频编码技术覆盖不到的维度有哪些?

➤ 除了码率和质量,视频编码是否需要关注更多的目标?

➤ 如何打破资源堆叠置换视频压缩效率提升的技术思维惯性?

……

从需求、矛盾、问题中,可引出深一层的认知:编码优化的目标不再仅仅考虑传统的主客观质量、复杂度、时延等维度,还有与AI处理能力的友好性、多平台下性能的适配性等。   问题的提出总是伴随着解题思路和技术方向的选择。   于是,推动着编解码架构从传统向更智能、更兼容的方向演进。


终极目标,有些偏倚

在优化编解码时,我们究竟需要追求什么?

当2015年阿里云视频云向业界提出了“窄带高清”的概念,并在2016年正式推出窄带高清技术品牌并产品化,这种既“降低码率”又“提高清晰度”的兼顾之方,几乎成为了业界的通用解法。   但是,不断演化之下到当前,业内开始流行一种“内卷”,即,过度追求"某客观指标数据"的优化。   然而,以“人”为中心的视频化视角,在最终的用户体验上,视频都应是更关注主观体验的。相反的是,在实际研发过程中,特别是编码器的优化上,通常都是依赖如:PSNR、SSIM、VMAF-NEG这样的“有源客观指标”。   诚然,在大部分情况下,客观质量的提升都能一定程度反映到主观质量的提升上,特别是当样本数足够大,且客观质量提升较大时,客观指标和主观感受能呈现一致性。   不过在窄带高清的优化实践中,也存在一些主客观优化“不一致”的情况。   比如:H.265标准中的SAO工具,用于改善振铃效应,但随之会降低VMAF和VMAF-NEG分数;   X265编码器里的PSY工具,在主观质量上能增加高频细节,但是对于客观指标都是不友好的;   又比如:JND和ROI技术,在挖掘视觉失真冗余的过程中,也不可避免地会造成有源客观指标的下降;   阿里云自研的码控算法,会对容易出现“块效应”等主观问题的区域分配更多码率以保护主观质量,但这也会导致客观质量下降;   还有,前处理增强中的各种修复生成技术,会直接对源进行修改,这类技术对于旨在评价“与源差异大小”的有源客观指标,都是不太友好的。   此外,针对单一客观指标的“过度优化”,也有可能造成单一客观指标与主观体验相悖的情况......   因此,单项客观指标的数值或高或低,都不应是视频编码优化追求的“终极目标”。


细微之处,方见视界

我们的编解码视界里,可以有哪些精妙解法?

在上述技术理念和智能编码架构的支撑下,“窄带高清2.0”从人眼视觉模型出发,将编码器的优化目标从“保真度更高”调整为“主观体验更好”。   这可以从视觉编码和细节修复两个视角来看。   在视觉编码维度,“窄带高清2.0”采用基于场景和内容的帧类型决策和块级码率分配,模式决策采用面向主观友好的算法。   在内容自适应编码部分,考虑到人眼感知的视频空间域的亮度、对比度以及时域失真是不连续的,通过基于恰可察觉失真(JND)自适应编码技术,丢弃视觉冗余信息,在主观质量不发生明显降低的情况下,可以大幅节省带宽;同时,通过ROI码控技术调整码率分配策略,进一步提升人眼感兴趣区域的清晰度。   在细节修复维度,“窄带高清2.0”采用基于生成对抗网络(GAN)的细节修复生成技术,在修复因编码压缩引起的马赛克效应和边缘毛刺的同时,“脑补”生成一些自然的纹理细节,使得画面纹理细节更丰富、更自然、更有质感。   更关键的是,应对垂直细分场景,我们的模型会对场景特征会实现更为智能的纹理生成。   比如:对于演唱会场景,曾为百视TV专属打造了Idol人像定制模版,针对优化人像区域的细节修复生成效果,将Idol的“怼脸直拍”,通过直播清晰还原送到观众屏幕前。   再比如:在NBA篮球比赛场景,AI修复模型加强了篮球场地板纹理、球员近景特写、球场边界线、地面广告字母、球衣上数字、篮球网等篮球体育赛事特有元素的修复生成,大大提升画面清晰度和整体视觉生动力表现。   也正是,唯有细微之处,方能见技术之极。


绕不开的“成本、成本、成本”

成本和体验的“非零和博弈”,  编解码怎么摆平?

正如“清晰度”和“带宽”是“窄带高清”需要平衡的天平两端,在当前“降本增效”的大环境之下,“体验”和“成本”的“非零和博弈”,一定是绕不开的话题。   成本(计算复杂度),体验(质量),这两者虽然是“trade-off”的权衡关系,但在某种程度上,也可以单方面优化提升。   比如,通过算法优化,在复杂度不变的情况下,将编码器的R-D曲线朝着更有性价比的方向优化;同时,通过高性价比的自适应快速算法的设计,也可以将质量的提升转化为成本的收益;又或者,通过底层优化并与计算平台的充分结合,挖掘异构编码的潜力,可以进一步在质量不变的情况下降低计算成本。


  当然,在“让高压缩率算法和AI真正普惠”的路上,阿里云视频云所做的不仅于此。   与视频编码类似,在视频处理领域,深度学习从效果上已经远超传统方法,同时还在不断地快速进化,但深度学习对计算资源的高消耗,成为阻碍其在实际应用中广泛使用的主要原因。   阿里云视频云深度自研编码内核,包括s264、s265,落地100+算法,支持直播、点播、RTC场景,相对于开源,全场景20%+压缩率领先。   同时,我们引入AI辅助的编码决策,在码率分配和模式决策上提升内容自适应能力,极致挖掘视觉冗余,同等主观下,码率节省50%。


软硬结合,是破解编码天花板之技吗?

在算法层面和软件层面塑造的有限差异之上,要想塑造成本优势,必须将软件、算法与操作系统、硬件、乃至芯片,全线联动。   此基础上,基于自研倚天710芯片,视频云与倚天团队联合投入ARM视频编码优化,深度重构了视频编码数据结构、并行框架,重新调优了快速算法策略,从软件、汇编、硬件层面跨层深度优化,塑造极致性能。   同时,我们与平头哥深度合作,共建“软硬结合”自研芯片竞争力,通过算法、加速库、驱动、固件一体化设计,不断探索创新音视频技术,加强在更多视频应用、更多终端设备上的普适性,从而带来更节省、更低耗、更高清、更实时的硬核编码力,赋能千行百业的视频化需求。

没有想象,就没有进化

苹果的VisonPro,透射出编码的未来吗?

回顾文章开头的“矛盾”与问题,面对激增的海量视频数据、多元的视频内容形式,以及加速扩大的行业应用范围,视频编码如何“进化”的答案,也隐藏在行业的急速迭代之中。   如何实现更高压缩效率并匹配多样的细分场景?AI codec能实现比传统压缩标准更高的压缩效率,并能够在一些垂直场景有落地的机会,例如:业界已有基于深度学习的图像压缩,落地于卫星图像的压缩传输;   面对未来视频数据的消费场景不再单纯局限于人眼视觉,服务于机器视觉的视频编码也将迎来巨大应用市场。阿里云视频云团队已与高校深度合作,布局“面向人-机视觉的全新编码范例:高层语义与低层信号相结合的图像编码方案”;   而对于近期大热的苹果VisionPro的推出,作为视频行业工作者,十分乐见VR生态能在苹果的带领下,真正打出一片市场。因此,一些相关的沉浸式编码标准如MIV,点云编码,动态网格编码等技术,也将逐步投入研究……


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    误读数都是不能容忍的。 电感式传感器优势 电感式接近传感器的原理是通过在传感器工作范围内的金属物体中感应电流来工作。传感器使用振荡器产生磁场。两个次级线圈用于检测此磁场,就像使用变压器时一样,法拉第定律......
    导线其实相当于变压器的初级绕组,而探头的绕组是次级绕组。当导线(初级线圈)中通过电流时会产生磁场,由该磁场所产生的磁力线会集中在电流探头内部的环形磁芯中循环流动,根据法拉第定律,磁芯......
    电动机的工作原理:通电绕组在旋转磁场里转动。电动机中的定子和转子并不接触,为什么给定子绕组通上交流电后,转子就会旋转呢?其工作原理用到两大电磁定律:电磁感应定律和楞次定律。当定子上缠绕的绕组通上交流电后,由于......
    子绕组是一个闭合导体,在定子旋转磁场中不停切割定子的磁感应线。根据法拉第定律,闭合导体切割磁感线会产生电流,而电流会产生一个电磁场,此时就有了两个电磁场:一个是接通外部交流电的定子电磁场,另外......
    子旋转磁场中不停切割定子的磁感应线。根据法拉第定律,闭合导体切割磁感线会产生电流,而电流会产生一个电磁场,此时就有了两个电磁场:一个是接通外部交流电的定子电磁场,另外一个是切割定子电磁感应线产生的转子电磁场。而根据楞次定律,感应......
    动的磁场能会在导体中感应出电流,这就是现在所说的电磁感应,数学工程式为: e:感应电压 dф/dt:磁通的变化率(单位Wb/s) 法拉第发表电磁感应论文不久,楞次发现了决定感应电流方向的规律,也就是楞次定律......
    在恒定电阻下降低电流。 图(二) 电机工作原理是这样的:给线圈供电,它与磁铁产生的磁场相互作用,从而转化为动能。但当线圈没有供电时,它会怎么样呢?由于惯性,电机依旧保持旋转,线圈会经历磁场的变化,根据法拉第定律,线圈......
    在电极与溶液界面上有电子转移(跃迁)的过程。这一过程遵守法拉第定律,即:因电流通过而引起的化学反应的量与所通过的电量成正比。 非法拉第 过程是指,在电极-溶液界面间没有电荷转移,但是随着电势变化,由于......
    电压都会在以太网电缆中产生电流,即使长度不是很长或者没有环路区域也是如此。重要的是两个接地点的电位差、上升时间以及两点之间机箱系统的电感。 闪电产生的磁场 根据法拉第定律,闪电......
    电压都会在以太网电缆中产生电流,即使长度不是很长或者没有环路区域也是如此。重要的是两个接地点的电位差、上升时间以及两点之间机箱系统的电感。   闪电产生的磁场 根据法拉第定律,闪电还可以在任何环路区域中产生磁耦合电压。这可......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>