距离马里亚纳 X发布时隔仅一年的时间,就在今年未来科技大会上发布了其第二款自研芯片——马里亚纳 Y。和第一颗自研芯片不同:马里亚纳 X是一颗具备“计算+影像”能力的专用NPU,而马里亚纳 Y则是集合了“计算+音频+连接”能力的旗舰级蓝牙音频SoC。马里亚纳 Y突破了设计上的挑战,在一个Die上实现了“基带、数字和射频”的整合,为蓝牙无线传输带来192kHz/24bit的无损音频体验,更让未来个性化音频体验成为可能。
马里亚纳 Y开启了OPPO自研芯片的第二象限,也为OPPO未来的“万物互融”生态奠定了无线连接的硬件技术底座。
高品质音频体验的未来:无线+无损+个性化
据Luminate 2022年上半年报告显示,全球流媒体音乐同比增长了24.7%;QuestMobile 2022上半年报告显示,中国移动音乐用户规模已达到庞大的7.06亿。用户在移动设备上的音频体验需求增长强劲,同时对于音质的要求也越来越高。据《2022音频产品使用现状调研报告》显示,61%的消费者想要比MP3更出色的音质体验,例如44.1kHz/16bit的CD音质、高于96kHz/24bit的高解析音质和192kHz/24bit无损音质。
可以看到,近年来流媒体平台的曲库质量也在迅速提升。Spotify已宣布将推出“Spotify HiFi”服务,Amazon Music平台也有数百万首无损音频,Apple Music已有超过7500万首的无损音频歌曲提供。在国内,QQ音乐已提供高解析音频(Hi-Res)和无损音频;网易云音乐也已支持CD音质无损,并在Hi-Res专区提供96kHz/24bit规格以上的音乐。
当前用户已经习惯了使用无线音频设备,并渴望在此基础上获得无损的音频体验,但问题在于:目前蓝牙传输速率不足以满足无损音频的高带宽传输要求,无损音频仍被困在有线设备中。
最新蓝牙5.3标准中,EDR(Enhanced Data Rate)支持的理论最大速率为3Mbps,然而在实际应用场景中受到复杂环境因素影响,往往只能发挥大约一半的实际速率(1.5Mbps),这并不能达到无损音频的传输实际要求。如下图所示,更好的无损音质体验往往意味着更高的音频传输速率,像高解析音质体验的实际传输速率要达到2.3Mbps,而像Apple Music提供的192kHz/24bit的无损音频,实际传输速率要求是2.5Mbps,当前的市面上所有的蓝牙耳机均无法支持。
理论需求速率 | 压缩后的实际速率 | |
---|---|---|
48kHz/24bit无损音频 | 2.25Mbps | ≈1.1Mbps < 1.5Mbps |
96kHz/24bit无损音频 | 4.5Mbps | ≈2.3Mbps > 1.5Mbps |
192kHz/24bit无损音频 | 9Mbps | ≈4.5Mbps >> 1.5Mbps |
注:无损压缩按照目前最高50%计算
除了追求高品质无损的体验外,计算+音频也是近年来的一个流行趋势。高品质音乐体验不仅意味着清晰度和保真度,还代表着用户能够获得个性化的体验。像苹果在Airpods上的提供的主动降噪、通透模式、佩戴自适应和空间音频这些全新体验,也深受消费者所喜爱。
但当前音频计算更多的是基于DSP的计算,AI并没有真正走入计算音频的大门。在未来随着芯片算力提升,计算音频将迈入以“打造个性化体验”为主的第二阶段。例如针对用户个人的头型和耳廓形状,定制HRTF模型,获得最符合个人的听感等。
无线+无损的音频体验,现在已经成为现实。OPPO此次最新发布的马里亚纳 Y,解决了蓝牙音质的难题,让192kHz/24bit 无损音频首次实现无线化。马里亚纳 Y内集成的590 GPOS高算力自研NPU,也为计算音频迈入第二阶段奠定了算力基础。
马里亚纳 Y:行业最高算力的旗舰级蓝牙音频SoC
马里亚纳 Y 是一颗旗舰级蓝牙音频SoC芯片,采用了台积电N6RF的先进工艺,将射频、计算和数模转换的部分放在一颗芯片上,不仅在每一个特性上都实现了行业突破的性能,整合起来又满足了移动端上低功耗的严苛要求。
超前12Mbps蓝牙速率
目前行业内蓝牙SoC平台的最高速率是6~8Mbps,耳机端的最高蓝牙速率为3Mbps,而马里亚纳 Y上达到了超前的12Mbps的蓝牙速率,是标准蓝牙的4倍。即使和当前通用旗舰芯片8Mpbs的蓝牙速率相比,也达到了其1.5倍。在实际的音频传输中,马里亚纳 Y可以达到4-5Mbps的有效速率,因此可以很好地满足192kHz/24bit的无损音频传输要求。
超前12Mbps蓝牙速率带来的音质提升,并不仅仅局限于192kHz/24bit,对于其他格式的音频的提升也具有明显的效果。因为在实际的蓝牙环境非常复杂,遇到较差环境时为保证连接势必会被迫降低码率,导致音质打折。12Mbps蓝牙速率就可以给像96kHz/24bit、48kHz/24bit等音频提供更大的冗余,从而保证其音频传始终保持在一个很好的水平。
私有URLC算法实现50%压缩率
为了配合12Mbps超高速蓝牙,OPPO推出了私有无损编解码算法——URLC(Ultra-Resolution Lossless Codec)。据悉,URLC具备四大领先优势:首先,URLC是除了Apple Lossless之外唯一支持192kHz/24bit的音频编解码技术,相比蓝牙LE Audio LC3的48kHz采样率,URLC优势明显。另外,URLC将无损压缩率首次提升到了50%,这也就是意味着传输同样的音频数据,通过URLC技术可以实现更小的带宽占用。第三,URLC支持80Kbps~10Mbps动态码率,相比通用方案有更大的调节区间,也就意味着在复杂的外部环境中,马里亚纳 Y可以通过更精细的码率调节实现更优秀的音质体验。第四,URLC支持在芯片端的音频分离的功能,相比市面上大部分基于云端的音轨分离方案,可以实现“实时”的定制音频效果。
超前590 GOPS算力的NPU集成
作为首个集成NPU单元的蓝牙音频SoC,马里亚纳 Y的NPU算力达到了超前的590 GOPS。此外芯片内部还集成了一个25 GOPS算力的高性能DSP,同样是行业最强DSP之一。与之相对的,当前全球最高销量的耳机芯片的算力仅为9 GOPS。
在音频SoC中集成NPU,可以实现能效和性能的全面提升。横向对比来看,当前音频SoC中传统DSP单元更适合进行音乐播放、EQ调整、编解码等工作,但在运行AI算法时,NPU要比DSP更为高效。从系统层面来看,独立的NPU可以提供手机SoC之外的音频专属算力,从而提高了耳机和手机之间的传输实时性。
据OPPO芯片产品高级总监姜波介绍,随着算力复杂度的提升,如果只用DSP而没有NPU,就很难达到好的效果。同样是降噪,也有不同的最终呈现效果,更好的效果要求的算力会更高。目前在第三方算法在传统细分领域,已经用DSP+NPU做一些声音的处理,因为它的效果比当前纯DSP的方案要好,这是一个循序渐进的过程。
全球顶尖的N6RF射频工艺
马里亚纳 Y的定位是旗舰级蓝牙SoC,那么必然要追逐最为先进的射频工艺节点,在此基础上完成的设计才能最终达到符合预期的芯片PPA目标。N6RF是台积电在去年6月才宣布推出的最新的工艺,是全球第一的射频工艺。而目前采用N6RF工艺的芯片产品凤毛麟角,只有苹果H2芯片、苹果S8芯片中的GPS模块和马里亚纳 Y。
任何音乐皆可全景声
凭借上面列举的行业领先特性,马里亚纳 Y首次在蓝牙传输中实现了192kHz/24bit 无损音频,并且开启了计算音频的全新体验。基于强大的NPU,马里亚纳 Y首次在端侧实现了声音分离技术,可以从一段完整的音频数据中,识别和分离人声或其他特定乐器(鼓声、贝斯、其他)的声音。传统上需要多轨的音频工程文件才能实现的事,现在AI可以针对任意一首普通的音乐文件轻松完成;利用这一声音分离技术,马里亚纳 Y可以为用户提供下一代的个性化听音方案。
当前基于马里亚纳 Y,OPPO提供了两类计算音频的体验。一是自定义全景声,用户可以自由修改AI分离后每条音轨的音量和位置,创造个性化的听觉体验。二是万能全景声,可以将任意普通音频,实时转化成立体声、环绕声或者全景声,形成极具沉浸感的听觉体验。“从应用视角来看,马里亚纳 Y这颗芯片设计具有一定的超前性,两年以后它的算力、工艺制程等各方面也会保持一定竞争力。”姜波分享到。
开启芯片自研第二象限,夯实“万物互融”技术底座
作为第二颗自研芯片,马里亚纳 Y的意义重大。首先是在计算音频的探索方面,马里亚纳 Y的冗余算力,让AI赋能计算音频成为可能,未来更多全新的个性化体验呼之欲出。另外更重要意义在于,这颗芯片代表着OPPO拥有了业内领先的短距射频连接能力,为“万物互融”奠定了硬件技术底座。
探索AI+计算音频的未来
早在2016年,OPPO就通过AI算法实现了前置单摄的人像模式;在2021年的马里亚纳 X上,通过AI计算实现了4K视频降噪、单摄准确景深测算等功能;而今天发布的马里亚纳 Y,正在探索AI+计算音频的未来。自定义全景声和万能全景声只是马里亚纳 Y对NPU和声音分离技术结合的第一次尝试,未来还有更多空间可以探索。
全球领先的科技公司和研究机构,正在积极探索AI如何实现下一代的声音体验。但当前的算法框架更多依赖于云端的计算硬件,有了马里亚纳 Y的NPU加持,未来类似的算法在设备端的部署将会成为可能。例如利用声音分离技术,实现更加纯净的通话降噪效果;利用声音分离技术对老电视剧的人物对话进行增强;或是利用这一技术实现随时随地的卡拉OK体验等等。除了这些和音质相关的AI增强优化外,其他一些智能的应用,像音频内容分类、环境感知、自然语义处理等也有望在设备端实现突破。
夯实万物互融的连接基础
此次OPPO未来科技大会上的主题是“致善·三生万物”,而这个“三”,指的就是OPPO硬件(马里亚纳自研芯片)、软件(潘塔纳尔跨端系统)和服务(安第斯智能云)。2019年OPPO未来科技大会上,OPPO创始人兼首席执行官陈明永提出“万物互融”的概念,而今随着安第斯智能云的发布,OPPO 硬件+软件+服务的布局正式宣布完成,芯云一体、软硬结合,将为用户带来全新的万物互融体验。
要实现万物互融,低功耗无线连接必不可少。而要追求极致的连接体验和生态融合,选择市场上的通用方案显然是不够的。作为系统厂商对于用户场景的理解更为深刻,能够根据想要达到的实际场景来反推软硬件的定制化方向,而通用芯片厂商则更追求市场统一的标准。
姜波表示,“端对端的连接技术是硬件能力里特别重要的基础性技术。OPPO强调万物互融,未来会在短距通信、端到端的体验上做很多探索和改进。马里亚纳 Y让OPPO第一次在端到端,通过私有协议实现了连接。这个连接的基础能力是OPPO一定要建立的。”
OPPO的造芯之路:勤学不辍,持之以恒
去年发布的马里亚纳 X已经实现了千万级的出货量,并且在终端体验上获得了用户的认可。虽然马里亚纳 X是一颗协处理器,但是一个完整的系统,代表OPPO具备了完整的系统SoC的能力。而今天发布的马里亚纳 Y,则代表着OPPO实现了连接能力的掌握。两颗高端自研芯片的发布,让我们看到了OPPO坚持长期主义和极致探索的造芯理念。
在芯片产品定义上,OPPO擅长找到差异化的点,并始终以用户价值作为根本。姜波表示,“OPPO自研芯片的出发点,就是能够给用户提供价值,这个视角是OPPO规划自研芯片时最主要、最根本的出发点。”因此,OPPO推出自研芯片,并不是为了替换掉某颗芯片,获得成本收益,而是因为目前的芯片中无法达到其想要获得的用户体验。作为系统厂商,OPPO非常看重垂直整合价值,同时也兼顾用户的价值。
从芯片架构上来看,马里亚纳 Y上的NPU和马里亚纳 X上的MariNeuro架构和侧重点有所不同。对影像来说,需要做很多的像素级的降噪和影像算法。但对于音频来说,比较侧重于时域的AI推算。另外,马里亚纳 Y上射频能力要求极高。业内戏称模拟射频是一门玄学,这是因为其更考验设计者的深刻理解和经验,需要通过摸索去完成设计目标。超前的蓝牙传输速率,代表着OPPO已经掌握了业内顶尖的短距射频技术。
从工艺制程上来看,6nm是一个先进工艺的分水岭,一次流片费用就高达上亿元。而OPPO与台积电一直密切合作,针对其先进工艺实现前瞻布局。早在N6RF正式发布前一年,OPPO就已经展开了合作,这里除了前端的设计和验证团队外,更考验芯片后端工程师的专业度。OPPO通过专门的后端团队提前测试工艺的特性,确保其在实际流片过程中的芯片达到设计预期目标。
从产品布局上来看,OPPO显然是胸有成竹。马里亚纳 X是协处理器,而马里亚纳 Y是一颗完整的蓝牙SoC。从NPU到SoC是更进一步,而从蓝牙SoC到下一步,OPPO还会带来什么别的具备AI能力的芯片,令人更加期待。
姜波表示,做硬件更需要耐心,要遵循客观研发节奏,脚踏实地。一个芯片从产品定义、设计、验证、制造到用户体验收集和反馈,整个过程可能需要两年之久,而迭代往往需要的时间更长。OPPO有超过2000人的芯片团队,用十年磨一剑的心态去做好芯片。
结语
马里亚纳 Y是当之无愧“旗舰级蓝牙音频SoC芯片”,192kHz/24bit无损音频和蓝牙相结合,引领了移动端的极致音频体验;行业首创的高算力NPU集成,探索未来计算音频可能。
自研芯片马里亚纳 Y带来的连接硬实力,是实现万物互联的基础。从马里亚纳 X到马里亚纳 Y,开启了OPPO自研芯片的第二象限。自研芯片,坚持长期主义,持续在深水区探索。马里亚纳虽然是极深海域,深不见光,但第二颗自研芯片的发布,让我们感觉其自研之路未来一片明媚。