MediaTek联合快手推出高效端侧视频生成技术,先进生成式AI让图像动起来

发布时间:2024-07-04 14:23  

MediaTek与快手共同宣布,推出高效端侧视频生成技术,共同探索并推进生成式AI技术的革新。该技术是对2024 世界移动通信大会(MWC 2024)上初次亮相的视频生成技术的延续与提升,结合快手的AI模型I2V(image to video)Adapter与MediaTek天玑9300、天玑8300移动平台强劲的AI算力,在端侧实现由静态图像生成动态视频的创新体验。通过这项技术,用户只需在设备上选取图片,应用即可智能地识别照片中的人物和场景,生成自然流畅的视频佳作,显著提升了视频制作的创意表现和效率。

1.png

双方的合作充分借助MediaTek天玑移动平台先进的AI技术,携手攻克了模型底层适配优化及上层开发的系列技术及工程难题,为用户带来让人耳目一新的端侧生成式AI体验,将改变用户创作和分享内容的方式。 

I2V-Adapter是快手AI团队提出的一种适用于基于Stable Diffusion文生视频扩散模型的轻量级适配模块,作为即插即用的扩散模型轻量级模块,专门用于由图像到视频的生成任务。该模块能够在不需要改变现有文本到视频生成(T2V)模型原始结构和预训练参数的情况下,将静态图像转换成动态视频。此外,其解耦设计使得该方案能够与DreamBooth、LoRa、ControlNet等模块无缝兼容,实现客制化和可控的图像到视频生成。

MediaTek天玑9300和天玑8300移动平台集成了先进的NPU(神经网络处理单元),为生成式AI而设计,提供强劲算力和能效。在图像生成视频的应用中,NPU可显著加速AI模型的运算,结合与快手I2V Adapter模型的适配和优化,实现更快的视频生成速度,同时兼具低功耗特性。天玑移动平台可结合深度学习和实时渲染技术,对图像内容进行深度分析,捕捉关键帧,并据此生成流畅、逼真的视频画面效果。同时,MediaTek的实时渲染技术可确保视频在各类设备上均能带来高画质表现。

全球短视频市场正迎来高速增长期,行业对创新、高效的视频生成技术的需求日益迫切。MediaTek与快手基于对市场需求和趋势的深刻洞察,为广大用户带来更加先进、便捷的视频生成工具,共同推动短视频生态的繁荣发展。未来,双方将持续深化合作,推动生成式AI技术的进一步发展,满足市场不断变化的需求,共同开创和探索短视频技术的新纪元。

关于MediaTek 联发科技

MediaTek联发科技是全球无晶圆厂半导体公司,在移动终端、智能家居、无线连接及物联网产品等市场位居领先地位,一年约有20亿台搭载MediaTek芯片的终端产品在全球上市。MediaTek致力于技术创新并赋能市场普及前沿科技,为智能手机、平板电脑、笔记本电脑、智能电视、语音助手、可穿戴设备、汽车等终端提供高性能低功耗的移动计算技术、先进的通信技术、丰富的多媒体功能。MediaTek相信科技能够改善人类的生活、与世界连接,每个人都有潜力用科技创造无限可能(Everyday Genius)。了解更多资讯,请浏览:www.mediatek.com 。

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>