实时音视频技术在直播中的应用案例解析

发布时间:2024-02-26  

-01-

明星陪看模式的业务出发点

  •   对于平台:为新剧热综提供宣推手段。

  •   对于明星:明星为自己的剧做宣传,也是为自己做宣传。

  •   对于用户:通过互动形式,拉近粉丝与明星之间的距离。高度自动化,没有导播切换环节,运营人力要求低,支持高频的直播活动。

爱奇艺的陪看直播模式让明星以直播互动的形式与观众共同观看影视剧和综艺节目。对于流媒体平台,该模式是一种宣传综艺影视剧的助推手段。对于明星,该模式在宣传参演节目的同时有助于提高曝光度,吸引更多粉丝。观众则通过该模式进一步拉近了与明星真人间的距离。 各大流媒体平台针对明星陪看发展了不同的业务形式,例如借由访谈节目让明星与观众在演播室与观众共同观看影视剧片段。我们的陪看模式,注重轻量化、自动化,力求解放运营人力,明星只需要使用爱奇艺提供的APP即可不受场地限制地开始直播。目前我们每月会组织二十到三十场陪看直播活动,频次达到了一天一场。


-02-

陪看直播的一般技术架构

53188a60-5c03-11ee-939d-92fbcf53809c.png

接下来介绍陪看直播的一般技术架构。首先,上图展示了“只有明星聊天,没有陪看点播剧集”这类简单场景的架构。 由于明星侧有实时沟通需求,因此传输协议只能选择WebRTC。而观众侧下行用户的基数很大(数万到数十万),使用WebRTC虽然延时低但成本压力高,使用成本较低的HLS延时又过高,不利于明星实时接收观众的反馈。因此综合考虑,观众侧传输协议我们选择了HTTP-FLV。

5336b990-5c03-11ee-939d-92fbcf53809c.png

上面提到,考虑到成本因素我们无法在全链路使用RTC协议,这导致明星侧和观众侧的延时差距较大。 那么在媒体服务器的选择上,推流涉及流间同步,对延时误差要求高的多路流模式便不再适用,只能采用单路流模式,将明星侧的多流合为一路。该模式受网络条件影响小,但媒体服务器需要具备视频合流能力,在构造上更加复杂。

534d2644-5c03-11ee-939d-92fbcf53809c.png

针对“明星聊天+陪看点播”场景,在前述架构的基础上我们额外引入了VOD视频文件处理模块以及控制模块,前一个模块负责将VOD本地视频文件转化为实时视频流,通过合流模块将其与明星的聊天流合为一路后再推到观众侧。 借助控制模块可以依据实际情况优化剧集和明星直播画面的屏幕布局以及音量比,使屏幕布局更合理,聊天声音更清晰,从而提高观看体验。

5362f6fe-5c03-11ee-939d-92fbcf53809c.png

虽然爱奇艺自身具备实时通信能力。但考虑到陪看直播活动当前只在夜间部分时段内举行,而明星们所处的网络环境一般又较差,从建造和维护成本最小化的角度考虑,我们最终选择公有云平台负责媒体通信服务。 但视频文件作为爱奇艺的核心资产被保存在内网,公有云无法直接进行访问,因此需要实现一套传输解决方案。

-03-

从版权的角度对架构的调整

538764b2-5c03-11ee-939d-92fbcf53809c.png

现有的传输方式分为离线(如FTP)和实时传输(如RTMP)两种。其中离线传输不需要过多的前期开发,但在直播时占用的人力多,也变相增加了媒资文件的泄露风险。实时传输实现了机器自动化,占用的人力少,缺点是前期开发工作量较大。从泄露风险最小化的角度考虑,我们选择了实时传输方案。

539be1bc-5c03-11ee-939d-92fbcf53809c.png

鉴于RTMP是较为常见的媒体实时传输协议,我们决定将处理后的实时视频流通过RTMP服务器推到公有云,从而避免提前泄露媒资文件。图中绿色代表由爱奇艺自行完成的工作。 虽然增加RTMP传输会使视频播放的延时增加,但数秒级的延迟对体验影响不大。明星的聊天互动是基于视频内容产生的,因此一般在合流后不会出现不同步的问题。

-04-

从成本的角度对架构的调整

53b71dba-5c03-11ee-939d-92fbcf53809c.png

目前提供实时视频通信服务的公有云一般按实际流量收费,从成本角度考虑,鉴于当前体量尚小的陪看直播对带宽占用不大,那么完全可使用爱奇艺现有的CDN来完成媒体分发,这只需要在公有云和爱奇艺CDN之间架设RTMP服务器即可实现。 最终在公有云实际发生流量的只有明星侧的实时流,这部分流的持续时间不长,清晰度也不高,因而极大节约了网络成本。

-05-

从高可用的角度对架构的调整

53c069ec-5c03-11ee-939d-92fbcf53809c.png

为了进一步提高架构稳定性,首先我们对现有风险点进行了分析。综合来看,公有云服务器和爱奇艺的自有CDN都运营多年,已经相对成熟,而负责处理和分发实时视频流的处理模块和RTMP服务器作为新增环节,需要着重考虑不稳定因素。

53d725c4-5c03-11ee-939d-92fbcf53809c.png

本着避免新增环节出现单点故障,我们对其采用了多实例方案。由于RTMP的视频转发是实时进行,不涉及保留进度状态,不同实例间无需同步即可无缝续传。而视频文件处理模块的工作具备进度属性,因此一旦出现中断就需要进度同步。

53f2115e-5c03-11ee-939d-92fbcf53809c.png

同时我们也考虑充分利用公有云的基础设施,在公有云增设RTMP服务器作为进一步保险。这开辟了多种新的传输路径,也尽可能将故障风险降到了最低。公有云端的RTMP服务器未实际启用也不会发生额外成本。

5406196a-5c03-11ee-939d-92fbcf53809c.png

为了便于不同传输链路间的切换,我们最后增加了链路调度模块,可以通过该模块切换明星侧到公有云、爱奇艺到公有云和爱奇艺内部的各类传输实例。

-06-

前端技术架构的考虑

wKgZomUSNGeALZNvAAJZjDm_ujM311.png

针对前端我们目前向明星提供了爱奇艺播播机APP,它集成了RTC云服务对应的SDK,可以通过手机摄像头和麦克风采集音视频流并完成实时通信,APP负责画面渲染。

wKgZomUSNH-ARsdXAAGQQ-5iLOQ515.png

为了满足用户需求(例如美颜),我们与RTC SDK提供方展开了深度合作,让APP参与到音视频通信流程中。RTC SDK采集的画面会先经由APP美颜处理再进行通信,最终明星在手机屏幕上看到的效果就是自身和对方经过美颜后的画面。

545b2040-5c03-11ee-939d-92fbcf53809c.png

总体来看,我们的陪看直播业务充分发挥了爱奇艺和公有云供应商双方的技术特长,同时通过尽量复用基础设施来降低总体成本。最后是做好风险识别并完善了相应预案。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    很多潜在场景下,音视频直播系统的开发及功能越来越完善。 音视频直播系统有以下几个优点: 1.在系统搭建初期可以有效节省成本,以较低的价格和较快的时间,将早起产品集成SDK,这可......
    关于手机端音视频技术的思考与经验;编者按:随着手机相机功能日益强大,4k,8k,各类特色短视频的拍摄,编辑、播放需求日益增长,短视频应用的火爆也对当前的手机音视频技术提出了更高的要求,如何......
    Hi3531DV200在视频编解码处理方面的优异性能;随着互联网发展进入白热化阶段,以视频为中心的音视频行业正向高清化、交互式、沉浸式方向演进,与此同时,各音视频应用领域对视频......
    理财等类别,并包括阿里云音视频终端SDK、高德地图SDK、移动开发平台mPaaS(以下简称:蚂蚁mPaaS)等行业标杆级SDK,其中蚂蚁mPaaS已助力200+企业启动对接测试,驱动上千个APP适配......
    基于Matter和音视频应用的全场景AIoT解决方案; 博通集成深圳子公司总经理 朱一飞 演讲开始,朱一飞简单介绍了博通公司情况,以及博通在智能家居应用领域的布局和相关解决方案。 博通......
    技术架构的考虑 针对前端我们目前向明星提供了爱奇艺播播机APP,它集成了RTC云服务对应的SDK,可以通过手机摄像头和麦克风采集音视频流并完成实时通信,APP负责画面渲染。 为了满足用户需求(例如......
    的智能化能力,已面向钉钉会议硬件认证合作伙伴开放,并应用在了部分钉钉会议Windows Rooms认证大屏机型上,可基于硬件模块化参考设计和智能会议SDK,帮助更多硬件生态伙伴快速集成落地,降低其在音视频......
    软件的智能化能力,已面向钉钉会议硬件认证合作伙伴开放,并应用在了部分钉钉会议Windows Rooms认证大屏机型上,可基于硬件模块化参考设计和智能会议SDK,帮助更多硬件生态伙伴快速集成落地,降低其在音视频......
    认证大屏机型上,可基于硬件模块化参考设计和智能会议SDK,帮助更多硬件生态伙伴快速集成落地,降低其在音视频能力上的研发门槛。 长期以来,英特尔一直是Windows平台生态中的核心角色,覆盖......
    的编解码及缩放,加强端到端的智能视觉协作体验;英特尔 Media SDK 可调用英特集成显卡编解码引擎对视屏会议码流进行“硬解码”,支持高达20路1080p@30fps高清视频......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>