视频图像与人们的生产生活息息相关,是人类获取和交换信息的主要来源,据统计人类有80%以上的信息来自于视频图象。在人类历史发展过程中,视觉感知在学习、生产和各种知识传承中占据了主要作用。视频技术也在不断地发展,从576i到现在的4k,以及未来的8k,分辨率扩大了几十倍,不断地满足了人们对视频高清的需求。高清晰度的视频在各个领域的应用越来越广,3D技术也日趋成熟,需要对海量视频数据进行复杂处理的应用越来越多,这个趋势也倒逼视频处理芯片行业不断前行。纵观中国这10年视频处理行业的发展,可以说是一个缩小版的半导体IC发展史。
完整的视频处理流程包含了视频采集、视频处理、视频传输和视频显示4大部分,每一个环节都是紧紧相扣,如何一个环节拖后腿,都是会导致整个视频生态圈的问题。但是,在这4个环节中,重中之重是视频处理。视频处理IC的优劣直接决定了图像的效果。视频处理包含了视频编解码、视频图像去隔行、视频格式转换等。
视频编解码芯片,原是国外厂商的天下
视频编解码,目前在网络上传输比较流行的是H.264与H.265。H.264/MPEG-4 AVC(H.264)是1995年自MPEG-2视频压缩标准发布以后的最新、最有前途的视频压缩标准。H.264是由ITU-T和ISO/IEC的联合开发组共同开发的最新国际视频编码标准。通过该标准,在同等图象质量下的压缩效率比以前的标准提高了2倍以上,因此,近几年来H.264被普遍认为是最有影响力的行业标准。
图一 H.264编解码流程
H.264标准的使用了几个关键技术,分别是帧内预测编码、帧间预测编码、整数变换、量化和熵编码。帧内编码用来缩减图像的空间冗余。帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿,预测采用了基于4×4像素块的类似于DCT的整数变换。量化,H.264中可选32种不同的量化步长,这与H.263中有31个量化步长很相似,但是在H.264中,步长是以12.5%的复合率递进的,而不是一个固定常数。H.264视频编码处理的最后就是熵编码,在H.264中采用了两种不同的熵编码方法:通用可变长编码(UVLC)和基于文本的自适应二进制算术编码(CABAC)。H.264的编码和解码流程具体见图一。
由于H.264具备高压缩性,同时适合在网络里边进出传输,随着互联网地不断发展,各个半导体厂家也看到了这个金矿。2005年起,美国的TI、安霸、NXP、台湾的TEWELL、日本的SONY、SHARP等一大批国家半导体企业或者电子企业将目光投入到了H.264编码芯片上,量身打造适合不同区域的视频编解码芯片,大力推动了整个市场的发展。
可以说,在2010年之前,国内的自研芯片基本处于样机或者自用阶段,市场的接受度非常的低。 据粗略数据统计,见下图二,国产芯片的占比只有1%左右,国外芯片占比95%以上,TI半导体巨头占领了中国几乎一半市场。其原因在于国外厂家有丰富的经验积累,深耕在这个领域多年,熟悉产业的特点,国产芯片的稳定性也有待提高。当时,应用视频行业的厂家,对于芯片的选型基本只考虑国外芯片,选择国内芯片的凤毛麟角。
图二 2006年编解码芯片国内出货占比
国产厂商的横空出世,华为海思表现抢眼
对于蓬勃发展的视频编解码市场,上游芯片厂家如TI、安霸等从未停止过竞争,国外厂家的技术与积累一直都处于领先地位,但是近年来,国内厂家如华为海思等也不断地在产业上游下功夫,在某些技术领域取得一定的领先地位,通过专利和技术突破构建市场堡垒,形成竞争优势。
中星微电子从2006年开始启动IP视频监控系统的研发和设计,并在网络摄像机专用芯片、解码终端以及在视频监控平台方面持续投入,取得了耀眼的成果。2014年,中星发布新产品718和736芯片:其中718是第二代SVAC/H.264核心芯片,736是一款大众级DVR核心芯片。芯片支持支持自动曝光、自动白平衡、自动增益等图像处理功能;视频编码支持SVAC和H.264标准,为安防监控系统实现更加可靠和灵活的应用。截止到2017年,中星微电以及在美国纳斯达克上市,并从芯片设计业务扩展到视频监控整机设备厂家,逐步在国际市场发挥重大作用。
真正对国外竞争对手起到威慑作用的是华为海思。海思依托中国这10年安防市场的蓬勃发展,联手海康大华对国外半导体巨头进行狙击。
在进行H.264产品芯片的布局前提下,华为海思在视频编解码市场战稳了阵脚。同时,华为还力推H.265,是H.265的主要技术标准贡献者。随着安防监控不断的向高分辨率、高压缩率、低宽带占用方向发展,相对于H.264编码,H.265视频编码压缩技术在保证相同画质的情况下,对带宽的需求减少了50%左右,存储空间也相应减少一半,解决了高清化、网络化趋势下视频在带宽、存储和画质方面的难题。基于H.265技术的视频应用正逐步普及。下图为H.265与H.264码率对比表。H.265不仅可以降低1080p等当下主流高清格式的码率(1080p仅需1~2Mbps码率),同时也适用于4K和8K等超高清视频,H.265标准让网络视频跟上了显示屏“高分辨率化”的脚步。
图三 H.265与H.264码率对比表
华为海思的视频编解码芯片系统非常全面,从65nm的3518A到目前最新的28nm的3519,芯片产品囊括了消费市场、商业市场和行业市场;分辨率从D1到最新的4k,帧率高达60fps。这些全面的布局和高可靠性,深得视频应用厂家的爱好,把TI的DM8168甩出了好几条街。目前,华为海思与美国安霸、日本的索喜在该领域形成了三国鼎立局面,TI从DM8168后无新编解码芯片推出。
据粗略数据统计,见下图四,中国市场国产芯片(主要是华为海思)的提升到60%左右,是十年前的60倍,而国外芯片占比降低到35%左右,海思占领了国内一半以上市场。索喜虽然是一家刚刚成立公司,单其背景是索尼和富士通,2016年开始进入中国市场,在8k方面已经确立其技术领先地位。
图四 2006年编解码芯片国内出货占比
随着国产芯片厂家参与到视频编解码芯片设计大军中,推动了行业芯片价格降低。笔者按照历史采购数据,同时以单通道编解码价格来折算,按照1为某个单位价格折算(具体价格数据各个厂家均不便直接给出),绘制出各个芯片厂家的价格对比和趋势图,见图五。从图中我们可以看到,芯片价格一直在降低,同时,国内厂家海思因为其成本控制原因,价格有很大优势,从而倒逼国家巨头不得不下调出货价。受益以芯片厂家的价格竞争,芯片编解码应用厂家如海康、大华等迅速发展。作为安防业的双寡头,大华股份与海康威视凭借行业的东风,两家公司的成长速度异常强劲,在国际市场上已经和应用厂家进行厮杀。 2015年两家公司双双晋升“全球安放50强”,海康排名第二,大华排名第五。从年营收数据来看,海康从2006年不到8个亿的营业收入,到2016年,主营输入达到了320亿元,大华股份的营业额便是在10年间增长了近百倍,2016年,主营收入达到了133亿元。
图五 2006年至2016年编解码芯片价格趋势
图像去隔行单芯片,辉煌时代一去不返
电视发展的早期阶段,一般都采用“隔行扫描”技术,目的是减少传输图像的数据量。该技术将一帧图像分为前后两场,奇数行一场为奇场,偶数行一场为偶场。先发送奇场的数据,紧接着发送的是偶数行的数据,发送视频数据量将减少一半。隔行扫描时,一帧图像分为前后两场,场间间隔时间为喊间间隔时间的一半。即,扫描光栅在奇场从左到右,从上往下隔一行扫描一行,直到最后一行,在偶场按同样的扫描方式进行。为了图像效果更加好,在显示端,一般都会使用去隔行芯片,对视频图像进行处理。去隔行的方法有多种,包含了场间插值、场内插值、运动补偿等方法。
单芯片去隔行芯片的过去主要半导体厂家有美国的TI、日本的i-Chips和韩国的Macro Image,国产的去隔行单芯片基本没有厂家介入。从全球范围来看,消费量终端的显示器是非常多的,在VIDOE时代,去隔行芯片的使用量非常巨大。随着1080p分辨率普及,TVBS信号的应用逐步减少,取而代之的是3G SDI,同时DP、DVI信号协议里边不在包含i制信号,在专业视频应用领域,单去隔行芯片的需求正在减少。
目前在专业的视频处理领域,视频处理厂家如美国的巴可、中国的威创视讯、淳中等,为了追求最佳的视频显示质量和旧产品的维护,还有一定的单芯片去隔行需求,但是其他小小厂家基本就直接放弃隔行视频的处理。单芯片的去隔行已经逐步转化为芯片视频处理的一个模块。据统计机构WitsView最新调研数据显示,2016年全球液晶电视总出货量为2.19亿台,按照80%计算,需要带去隔行功能的芯片年需求量大概在1.76亿片。但是,在笔者看来,随着高清视频普及和传输到户带宽的升级提高,去隔行功能模块也将逐步推出历史舞台。
视频格式转换芯片,国际半导体厂家的舞台
视频格式转换技术是当今信息领域的研究热点之一,以美国和台湾公司为主相继推出多种芯片,如GenesisMicroelectronics、Gennum Corporation、Trident、Trumpion(Taiwen)、Etron Technology、MacronixInternational、Philips Semiconductor、Sunplus Technology、i-chips等,国内在该方面目前尚处于起步阶段。
格式转换技术其应用场合要求它具有高实时性、低代价实现,因此格式转换研究从一开始就非常注重算法的ASIC化,在初期VLSI集成度比较小时,主要研究单帧线性内插,以后随着硅片集成度的提高,逐渐采用帧间的多帧算法的自适应算法,到90年代后期,运动估计技术可以单片集成时,运动估计的格式转换才蓬勃发展。今天,硅片的集成度还在不断提高,随着片上系统(SystemOnChip)成为可能,格式转换将会发展出更加复杂、高效的技术;可能的方向是运用更多帧的信息,进行更精确、复杂的运动补偿。
随着4k、8K液晶电视的推出,视频格式转换特别是缩放技术显得尤为重要。目前很多4k电视,因为在视频传输这块还跟不上,大部分是采用视频放大功能的。尚未成熟的8k更是如此。这里不得不提日本的视频缩放公司i-chips,抛开爱国情怀不说,在视频行业搞技术的从业者都对i-chips的产品肃然起敬。在缩放这块,i-chips可以说是数10年如一日做这一产品,并且用工匠精神把它做到极致,如i-chips732等。还有日本的夏普,最新研发X8-MEP图像处理引擎,无论是4K影像内容还是电视信号或BD影像,引擎都会根据影像素材内容对细节部分进行修正处理,以8K清晰度的高精细影像再现超越现。
视频格式转换芯片是显示器系统中不可或缺的关键部件,我国是电视、各类显示器的生产大国,但是,此类产品中的关键芯片目前大部份被美国或日本的芯片厂商所控制。国产的视频芯片仅有华为海思、珠海全志几家,尚未形成气候。
视频处理未来趋势
更低的功耗, 最理想的情况是高清终端本身的功耗降低到通过自然散热即可稳定工作的程度,随着芯片工艺的不断成熟,为低功耗提供了可能性。绿色地球,是大势所趋。
更高的压缩能力, 随着网络市场对高清说频产品的分辨率的要求不断提高,一般的720P分辨率已经有点提襟见肘,500万、800万甚至1200万的像素需求在不断涌现,对不同格式码流的需求也成为标准配置。这些对高清视频芯片的压缩能力提出了更大的挑战。
智能分析整合, 人脸识别,大数据分析等智能视频技术蓬勃发展,越来越多的在实际应用中得到普及推广,随着高清4k时代的到来,信息量成倍增加的前提下,智能视频算法集成进去视频芯片里边已经是势不可挡。
视频可从配置技术, FPGA巨头赛灵思reVISION 支持以最快速度打造响应最快的视觉系统,相比最具竞争力的计算嵌入式 GPU 和典型 SoC,将机器学习推断的单位功耗图像捕获速度提升了 6 倍,将计算机视觉处理的单位功耗帧速度提升了 42 倍,时延降低为 1/5。可以预见,未来的视频芯片集成reVision技术是必配。
纵观国产视频芯片的10年,海思半导体借助H.264/265的编解码,协同海康、大华、威创等国内视频应用厂家,已经在IP编解码市场起到了引领作用。但是,在其他视频处理芯片市场,国内的半导体厂家还需要抓住视频处理的趋势,迎头赶上。笔者预计,未来的视频芯片具备上述4点趋势,如果国内半导体厂家能牢牢抓住,必将成为“站在风口上的猪”。
作者简介
微电子专业毕业,硕士研究生,熟悉了解半导体行业,曾经在实验室做过IC前端设计,从事电子产品设计9年,目前在一家上市公司担任产品设计经理。
今天是《半导体行业观察》为您分享的第1266期内容,欢迎关注。
【关于转载】:转载仅限全文转载并完整保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“半导体行业观察icbank”微信公众号。谢谢合作!
【关于征稿】:欢迎半导体精英投稿(包括翻译、整理),一经录用将署名刊登,红包重谢!签约成为专栏专家更有千元稿费!来稿邮件请在标题标明“投稿”,并在稿件中注明姓名、电话、单位和职务。欢迎添加我的个人微信号 MooreRen001或发邮件到 jyzhang@moore.ren