璇米用酷睿Ultra打造你专属的数字人

2023-12-17  

AI广阔应用,在英特尔酷睿Ultra的加持下,从对个人遥不可及的专用AI超算向PC端延伸。无需额外AI加速装置,新一代笔记本电脑已经能够担负起数字人制作这样高要求的工作。



数字人、声优的应用领域广泛,24h直播、虚拟主播等应用红极一时。然而,过去这些需要依赖于专用AI加速器搭建的昂贵系统。无论是原始人表情、神态、动作、声音等基础素材的学习,还是影像的生成,几乎与PC绝缘,直到英特尔酷睿Ultra的到来。英特尔酷睿 Ultra 处理器是首款基于 Intel 4 制程工艺打造的处理器,代表了 40 年来英特尔架构最大的革新。它采用了先进的Foveros 3D 封装技术,结合前沿的知识产权成果与先进的制程工艺,以优化相关模块的性能表现。



如今,英特尔酷睿Ultra携更多软硬件特性到来,且其oneAPI软件平台早已为这样的拓展做好准备。应用程序的开发者只需要开发一次代码,就可以让代码在跨硬件的异构系统上执行,底层的硬件架构既可以是CPU、GPU、VPU、FPGA,也可以是全新的NPU,甚至是更多的其他针对不同应用的硬件加速器。AI加速硬件的匹配与优化,将大大提升AI化的应用程序的使用体验。



璇米科技与英特尔联手,基于酷睿Ultra平台,通过一颗或多颗家用摄像头,即可基于专属于你个人的动作捕捉,生成数字人应用场景。这一mcpose软件包使用的算法包括人体2D关键点检测、单目3D重建、反向动力学算法以及其他辅助算法。目前提供Windows+OpenVINO、 ONNX Runtime、Pyhthon 3.10.x的WHL包和相关的开发例子代码和教程,匹配英特尔所提供的AI开发环境,并且非常易于移植至Ubuntu等系统。



OpenVINO则是一套功能强大的深度学习工具包,可面向不同的AI开发工具提供开放统一的全平台AI加速器硬件接口,加速AI应用普及化,更便于应用程序“选择”更合适的AI加速器。



mcpose软件包使用的算法包括人体2D关键点检测、单目3D重建、反向动力学算法以及其他辅助算法。其中人体2D关键点检测部分在实时场景下使用传统的轻量卷积神经网络,支持多种骨干网络,如Resnet50,CSPNet, HRNet-lightweight等,这些骨干网络参数多在1500万至2300万之间。在离线使用场景下提供1.5亿参数版本的VIT骨干网络版本,用于离线的精准视频分析、视频剪辑以及其他生产力场景。单目3D重建部分实时场景下使用基于transformer的时空网络,利用transformer对于长短期信息的自动注意力机制提升三维动作重建的精度。


璇米与英特尔一起,将mcpose用于武汉保护江豚项目,利用mcpose优秀的关键点检测能力,快速的将算法迁移至江豚的识别上,有效的提升了江豚研究者获取数据的效率。



全面AI化的酷睿Ultra笔记本电脑,将低成本动作捕捉、数字重建与数字人等应用的平台,进一步小型化、轻便化,仅使用一台笔记本电脑,就能实现主流的AI应用。无论是坐在家中还是移动中使用,曾经的不可能都变为了可能。



除此之外,AI PC 的体验效果深受其所配备软件的性能影响,遇强则强。作为 AI PC 加速计划的一部分,超过 100 家独立软件供应商(ISV)和 300 余项 AI 加速功能将针对英特尔酷睿 Ultra 处理器进行专属优化,提供丰富的 AI 应用程序和框架。包括剪影、天行者、璇米、爱奇艺、百川在内的众多国内外软件厂商,与英特尔同步推出或升级支持酷睿Ultra全新AI特性的产品。消费者则可在全新的酷睿Ultra产品上市伊始,就体验到AI带来的变化,无论是文字、脚本、图片、音频、视频等内容生成(AIGC),还是抠图、识别、交互等AI应用触手可及,再无软硬件相互等待之虞,尽享AI PC盛宴。

文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。