锐思智芯携手OPPO、高通,共同合作推动创新性融合视觉传感(Hybrid Vision Sensing, HVS®)技术在智能手机领域应用。通过HVS®传感器来更高效地提取运动信息和图像数据,从而帮助进一步改善拍照性能并实现影像的AI Motion功能。
三方将合作开发一套完整方案,包括从Hybrid Vision Sensor获取原始视觉信息,传输至骁龙® 移动平台,并搭配专用算法。该合作方案将帮助实现智能手机影像创新功能,如拍照去模糊,超分辨率,和视频超慢动作重建等需要基于图像和运动信息结合的算法来实现的功能特性,具有开创性意义。
高通产品管理副总裁(Vice President of Product Management)Judd Heape表示:与传统图像传感技术相比,EVS技术在捕捉运动信息方面具有更大优势。而HVS®解决方案结合了图像和事件传感技术各自的优势。在平台硬件和算法的支持下,智能手机的影像能力得到显著提升。我们很高兴与OPPO和锐思智芯合作,共同为这项技术的产品化贡献力量。我们也相信,这项技术将会在各个领域得到更广泛的应用。
OPPO影像产品总监张璇:“多年来,我们在前沿传感器技术上进行了广泛的研究,尤其在 HVS®(融合视觉传感)技术领域投入较大精力。我们与锐思智芯和高通有着深度的合作,参与芯片和算法的多次迭代开发。我们对这项技术的潜力充满信心,未来也将持续投入其中,与合作伙伴共同期待这一技术在OPPO超光影图像引擎的应用。”
运动信息在摄影和机器视觉中至关重要。传统的图像传感器将一段时间(即曝光时间)内的运动信息重叠到一帧图像里,但这容易导致运动模糊和有效运动数据的丢失。
利用视觉传感器有效获取高精度的运动信息是当今各领域的首要需求之一。基于传统图像传感器,业内通常通过提升帧率来获取高精度运动信息,但同时也不得不付出承担庞大冗余数据的代价,随之而来的是资源消耗、系统成本的增加,以及系统处理效率的降低。另外,高帧率意味着过短的曝光时间,从而大大削弱了相机对环境光线的适应能力。
因此,对于许多应用而言,通过提升帧率获取更多有效的高精度运动信息,性价比低且不切实际。需要性价比更高的技术路径实现对运动信息的高效捕捉。
事件相机(Event-based Vision senor, EVS)是一种无快门连续记录变化/运动信息机制的成像技术。通过其独特的像素内处理机制,能够在记录运动信息时实现高帧率、高动态范围和低数据冗余之间的平衡。
由于EVS对静态信息不敏感,在捕捉许多机器视觉应用所需的关键静态图像信息时能力欠佳,通常需要搭配一颗传统图像传感器 (RGB)使用,不过这两项技术的融合也并非易事,要面临两种类型视觉信息(EVS和RGB)的时空配准方面的挑战,同时成本和系统复杂度加大,一定程度上也遏制了EVS发挥原本的技术优势。。
锐思智芯于2019年推出的融合视觉传感(HVS®) 技术将 EVS 和传统图像功能融合到同一颗传感器芯片上。锐思智芯的 ALPIX® 系列传感器可同时输出高质量RGB图像和EVS数据流,为捕获带有运动信息的图像提供经济高效且算法友好的解决方案。
锐思智芯创始人兼首席执行官邓坚表示:“在当前的视觉传感器领域,人们不仅对2D RGB信息的期望越来越高;还迫切希望传感器能够提供额外的数据,例如距离、光谱和运动信息。我们与OPPO和高通合作,共同推动将 ALPIX-Eiger®无缝集成到手机应用中。它作为增强型RGB图像传感器,其图像质量可与市场上领先的图像传感器相媲美,同时引入了EVS捕捉运动信息。能够见证和参与这项技术从概念到产品落地,我们感到无比兴奋与自豪。”
“真正改变世界的不是技术本身,而是技术衍生出来的产品应用为社会带来的价值。我们希望将融合视觉传感技术 (HVS®) 带给每个用户。这是我们的初衷,我们期待这次合作取得丰硕的成果”,邓坚补充道。