日前,英特尔举行了英特尔中国研究院、南京英麒智能科技2023探索创新日,在创新日上,英特尔研究院围绕“智·变·拓·界”四个方面展示了多项创新产品,彰显了其“全栈研究领域推动算力发展”的理念。
智:视觉AI创新助力AI高效实施
英特尔研究院首席研究员、英特尔中国研究院视觉与人工智能实验室总监陈玉荣表示,视觉AI在理解、分析视觉数据,帮助生成新的视觉数据方面都发挥着非常关键的作用。英特尔中国研究院的视觉AI主要围绕着视觉理解与视觉合成两方面进行。
通过基于深度学习的前沿的视觉理解分析技术以及视觉AI新范式的研究来帮助扩展英特尔端-边-云AI解决方案和应用,被称为全尺度视觉学习技术,围绕数据、模型、算法、计算四个维度间提供可以切换的AI扩展,通过完整的视觉AI技术闭环实现各种AI应用和不同的计算平台上实现更高的可扩展性。
在视觉理解方面,英特尔中国研究院开展了如下四项创新:
GridConv实现三维人体姿态估计更高精度、更快速度:全尺度视觉学习的最新成果,基于GridConv技术在编织状网格姿态域中将二维姿态提升为三维估计,性能优于现有解决方案。
开源项目OSVAI Model Zoo展示可扩展视觉推理:提供广泛视觉AI模型,通过一系列全尺度视觉学习创新技术(条件计算、插入式构建模块、新颖训练方案等)获得显著性能提升。
采样增强技术实现图像超分辨高效模型训练:简单有效数据增强方法,改善单图像超分辨网络训练收敛性并提升准确率。
可扩展APE图像超分辨技术实现高效模型推理:基于自适应图像块退出(APE)策略,实现超分性能与效率权衡,相同准确率下实现最多3倍加速。
在视觉合成领域,研究院开展了三项创新,包括超分辨率,视频风格化技术以及三维数字人。
SPS技术助力英特尔视频超分辨解决方案:智能图像块调度SPS技术,基于采样增强和APE超分辨网络,在英特尔Xeon + Flex GPU平台上高效开发部署视频超分辨解决方案,显著提升视频画质。
视频风格化技术实现更快速度、更佳视觉效果:视频风格化技术旨在通过一个AI风格化模型,将图像视频在保持原有语义内容不变的同时从一种风格转化为另外一种风格。
当前,视频风格化技术的挑战在于,基于光流的解决方案很难实时处理,基于图像的风格化解决方案存在闪烁抖动问题。英特尔的研究,解决了时间一致性风格迁移网络,可用于任意风格迁移的图像变换网络,无需光流计算,并且执行效率更高(>300 FPS@720P,dGPU)。
在视觉智能三维数字人技术方面,英特尔令其实用性更强。基于视觉分析与合成研发三维数字人核心技术,包括鲁棒三维人体动作捕捉、精细三维人体模型重建、自然三维人体动画生成和真实感渲染,从而取代现有昂贵解决方案。
变:产学研用深度融合、奋进创新凝心聚力
英特尔中国研究院政府和企业合作总监王鹏和南京英麒智能科技有限公司首席执行官
吴冶分享了英特尔中国研究院以及英特尔智能边缘计算联合研究院在产学研用联合创新方面的成果。
英特尔中国研究院致力于搭建新型的联合研究机构,主要围绕一些重大的关键技术,包括数字世界和物理世界的深度融合,面向水平化与垂直化系统级创新,以及模型、算法和平台等创新。
具体合作包括如下内容:
在神经拟态计算方面,英特尔神经拟态计算研究社区中国成员(联想、北京大学、复旦大学、鹏程实验室)在编程软件、新型应用、SNN算法等方面开展工作;英特尔中国研究院与中科院自动化所合作完成基于Loihi2 的带有触觉感知能力的机器人精细操作系统。
在绿色计算方面:英特尔和清华AIR在绿色数据中心解决方案研究上展开合作,目标是通过数据驱动决策优化的方法对数据中心中IT部分和冷却部分进行全方位联合优化,达到最优节能效果,已在高性能、高泛化以及不完美奖励下的离线策略优化方面取得了研究成果,并搭建起100台服务器及空调部分组成的测试平台。
在智慧交通方面:基于英特尔中国研究院的路侧单元、智能十字路口以及关键场景模拟仿真技术,已经在南京溧水和当地合作伙伴线下部署边缘计算基础设施,并已采集到上帝视角合成的全景路况图,可以提高驾驶安全、优化交通效率。
在数字化康养方面:与山东泰安的伙伴合作,主要提供三维的人体关键骨骼点的检测跟踪技术,并把它用于特定领域,包括老年人防跌倒、老年人的运动能力评估、老年人平衡能力评估等技术方案,也和第三方的硬件厂家完成了原形系统的开发、测试和验证,并提交了地方标准。
英特尔智能边缘计算联合研究院则是依托英特尔的前沿科技,结合本地人才与产业优势,打造领先的智能边缘计算科研高地,推进研究成果的创新型应用。围绕包括硬件底层、平台中间层、创新应用层的三层边缘计算平台架构,以人工视觉、智能传感、边缘基础设施以及计算加速四个领域为方向。
目前所取得的成果包括:
英麒智能、英特尔中国研究院以及英特尔网络与边缘事业部共同推出了《基于异构AI算力构建新型边缘计算测试平台及应用研究——智慧实验室应用案例分析》白皮书,详细介绍了整个边缘计算的软件和硬件开发的所有技术。
英特尔智能边缘计算联合研究院进行了四个应用方面的研究,分别是数字人三维重建及渲染、智能实验考试评估系统、视觉标注工具以及虚拟机器人实验室。
在产学研用方面,与包括东南大学,南京大学,同济大学等在内的多个高校开展了包括三维人体运动捕捉、基于视觉的实验辅助系统、虚拟机器人实验室以及数字人医生等开发。
英特尔智能边缘计算联合研究院正在与英特尔的各部门,以及40多家合作伙伴进行着合作。
拓:基于RISC-V的敏捷开发实践
英特尔中国研究院RISC-V敏捷设计实验室总监张旭分享了研究院在RISC-V领域尤其是围绕敏捷开发方面的前沿研究。其表示,英特尔开发和应用一些先进的设计理念、开发工具,能够在敏捷开发的设计和验证方面提升10倍效率。
据悉,目前英特尔中国研究院正在全力打造一个基于RISC-V敏捷开发验证全流程的闭环工具链,包括基于参数化设计和高级语言开展的设计和架构探索、高级语言和形式化验证以及软硬件快速性能分析评估。
张旭表示,RISC-V指令集具有灵活、开放、可缩放的特性,并且拥有成熟的工具链和生态,同时英特尔正在加大力度对于RISC-V的扶持,因此非常适合在这一领域尝试敏捷开发的方法学。
目前英特尔正在进行的敏捷开发探索包括:
在设计RISC-V向量核的过程中完全采用高级语言,用简洁的语言完成复杂的功能。并且从架构上支持参数化设计,使其可定制向量宽度、更易与其他处理器集成。
领域专用RISC-V处理器微架构分析系统:通过在处理器主要功能模块中插入标准感应接口, 实时采集关键资源使用的动态数据, 存入数据库并通过图形化显示,帮助微架构设计人员准确识别流水线瓶颈, 发现资源浪费和不足, 提高性能的同时降低功耗面积。
加速迭代提升处理器性能:通过快速的性能分析、设计、后端反馈方式加快设计迭代提高性能,将复杂处理器核在短时间内从1.2Ghz提高到2Ghz。
应用英特尔形式化验证工具加速复杂电路验证:目前芯片开发的70%的时间在验证方面,需要的人力和时间资源都非常大。提高基于RISC-V的处理器的验证效率主要是通过在高级语言上开发一些新的验证工具,同时也采用了英特尔先进形式化验证工具,并借鉴了相关经验。
RISC-V 测试芯片验证敏捷开发流程:RISC-V测试芯片计划在英特尔代工服务的晶圆厂流片,包括RISC-V核,以及PCIe5、DDR5等先进的IP,从而实现完整的芯片开发流程。
界:数据流驱动型边缘计算架构
英特尔研究院首席研究员、英特尔中国研究院智能边缘系统实验室总监吴向斌介绍了英特尔开发的“数据流驱动型边缘计算架构”,也被称为FDEA(Flow Driven Edge Architecture)。它的核心是一个“流”字,将摄像头、雷达等传感器流进来的大数据分级分化处理,这样数据流可以分叉,也可以融合,最终输出数据用于车路协同、智慧城市、智慧制造等应用。
吴向斌表示,边缘计算的应用往往都有关键性和实时性需求,如今的嵌入式开发流程可以满足实时性,但缺不能很好的满足分布式需求。英特尔的这套架构在满足边缘框架相比而言,具有易于编程的特性,可以无缝支撑来自不同公司的任意系统硬件,用户只需关注核心业务逻辑,边缘框架自动保障实时、安全、可靠。
总结
英特尔中国研究院院长宋继强表示,英特尔正在适应变化,并以全栈研究领域推动算力发展。而从这一年英特尔研究院的成果来看,正在通过从底层开发到系统,从架构到硬件的一个个创新技术及应用,赋能数字经济的未来。