数字孪生新用法,做AI的加速器—访跨维(深圳)智能数字科技有限公司创始人贾奎

发布时间:2023-11-28 10:06  

自成立以来,跨维智能致力于将先进的三维几何深度学习技术赋能机械臂柔性操作等垂直领域,为客户提供AI视觉算法、3D智能相机及高性价比的软硬件一体化三维视觉解决方案,让机器人以灵活主动的方式完成复杂环境下基于三维视觉的定位、识别、引导等任务。

近日,记者有幸邀请到跨维(深圳)智能数字科技有限公司创始人贾奎(博士)做客《机器视觉》杂志,深入了解到跨维智能3D视觉解决方案区别与传统AI+3D视觉解决方案的优势所在。

M:MACHINE VISION

J:贾奎

M: 贾博士您好,AI技术可赋能的领域众多,为什么您会带领跨维选择了“以AI技术助力3D视觉赋能机械臂完成柔性操作感知”这一细分领域?

J:AI领域涵盖面非常广阔,从计算机视觉、自然语言处理、语音识别等都属于AI领域,我从2000年开始就深耕于计算机视觉这个细分领域,在多年的研究中,也积累了相当的研究成果。而3D视觉因为有着模仿人眼、在物理空间形成立体视觉的优势,成为了计算机视觉中最底层的诉求。从2015年开始,我主要专注于3D视觉领域,将AI技术结合到3D视觉中的应用当中。这项研究放眼当时的整个国际学术圈,都是较为领先的存在。

在AI技术助力3D视觉的众多分支应用中,经过综合考量,赋能机械臂完成相关柔性操作感知是可落地性与商业变现周期较短的。而且工业智能制造的大多场景都是半开放的环境,通过AI技术助力3D视觉,可以从根本上改变以往机械臂柔性操作在传统方案中的固有缺陷。从长远出发,这样的产品形式能够改变当前自动化产线的设计思路,以搭积木方式实现整个产业线的自动化,也能够把自动化推向智能制造的新阶段。

M: 在跨维智能成立的有限时间里,却迸发出了无限的潜力,可以分享一下贵司核心技术吗?

J:从底层出发,跨维智能核心技术是Sim2Real AI云中台DexVerse。行业中绝大部分的AI技术,还是传统意义上的图像的识别、理解、语义分割等图像层面上的。而3D技术本身解决的是三维物理空间中的问题,对物体的空间位置进行感知定位,并完成相关操作。而跨维的云中台DexVerse是一款新型的AI平台,它可以通过打通物理仿真、数据合成、AI 设计与训练、模型软硬件部署的闭环,建立 Sim2Real 虚拟空间与现实空间的映射关联,实现对机械臂柔性操作、机器人感知与控制等任务的AI赋能。

例如,机械臂如何将桌面上的水杯拿起这样的操作,在人类的感知中似乎是非常轻而易举的,但在机器的眼中,这是一个相当复杂的过程。首先需要解读的是杯子放在桌面上,距离机械臂的距离是多少?高度是多少?其次世界上杯子千变万化,杯子形态变换后,机器是否还能认出这是一个杯子?机器如何去应对形态、颜色、大小均各异的“杯子”?

机械臂在跨维云中台DexVerse的助力下,通过物理仿真与数据合成,可以训练出机械臂拿起水杯所需要的各种数据,去支持机械臂实现对目标物体后续的抓取、定位、上下料、拆垛等操作。通过仿真空间中模拟物体之间的相互作用、运动和变形,以预测真实世界中的物理行为,并合成虚拟数据用于深度学习模型训练。

M:为何Sim2Real AI是实现3D视觉大模型和通往垂直场景AGI高效且低成本的重要技术?

J:跨维智能Sim2Real AI云中台DexVerse所使用的AI技术,相比起基础的图像理解,是跨维度的难度跃升。首先三维数据的获取本身相比二维数据就难得多,工业场景中的三维数据由于开放多变的场景及隐私保护导致海量真实数据采集难上加难,而且针对各种corner cases的真实数据难以有效获取。其次是现阶段的AI技术从数据获取到AI模型训练,再到垂直的应用场景,这之间由于技术与应用的分离,导致模型的应用效果不太理想。在工业领域众多场景里,就会形成数据孤岛,从数据与知识上难以互通利用。最后是现有AI技术的标注难题,如何实现高精度3D等高维标注仍然属于痛点难题。

基于现有AI所面临的难题成就了跨维智能的核心产品Sim2Real AI云中台DexVerse,通过物理仿真合成数据,可以实现加速AI在垂直场景中的落地应用。DexVerse对于跨维自身产品的形成也是决定性的,可以以更快速、更低成本、更产品化的方式解决3D视觉助力机械臂的非标定制问题。

M:可以简单介绍一下跨维智能的系列产品吗?

J:基于自研的Sim2Real AI云中台DexVerse,跨维智能构建了完善的智能制造软硬件产品生态,也就是跨维智能的“1+3”产品体系。“1”是自研的Sim2Real AI云中台DexVerse,“3”即DexVision3D工业视觉软件、DexSense3D工业智能相机、DexOne智能视觉一体化设备。

基于DexVerse所构建的DexVision3D工业视觉软件:PickWiz 3D视觉引导软件,可以在仿真空间模拟多样化场景,并生成大量的合成数据。这样的工业视觉软件可应用的场景更多样化,不仅减少了模型重复搭建的成本,而且最终识别效果优于真实数据,并且模拟的多样化场景也使视觉系统的稳定性和效率大幅提升。

DexSense 3D工业智能相机:XEMA北极鸥系列开源相机,它可以支持一键连接跨维 PickWiz 3D视觉引导软件的,搭载上DexVerse云平台,可实时收集真实数据,不断在云端优化视觉算法。如果DexVerse云平台是大脑,那么DexSense 3D工业智能相机就是眼睛,好的成像能力可以减轻大脑的负载压力,这也是跨维智能自研相机的初衷。

最后,DexOne 智能视觉一体化设备,是跨维智能布局引领智能智造领域范式改变的重要一步。该设备也是基于自研的 DexVerse 平台,通过深度域适应优化算法实现整个流程的自动化,针对工业场景中的痛点进行模型设计,满足工业现场落地需求。以3D视觉引导机械臂对物料进行上下料抓取,搬运,替代传统人工作业抓取搬运,有效提高产线的生产效率和生产质量,产能提高20%以上;同时,该项目机器人为模块化架构,针对未来不同的产品工艺,具有更高兼容性,可触及更多更广的生产范围,以满足客户日益增长的柔性化需求。

M: 作为公司自研的Sim2Real AI云中台DexVerse,您可以谈谈未来公司基于DexVerse的产品研发规划吗?

J:基于我们自研的Sim2Real AI云中台DexVerse所能够支撑的,其实不单是机械臂、智能制造相关的应用,更是服务泛机器人底层AI能力形成的加速器。无论是帮助具身智能去感知3D定位,还是去帮助无人车做导航和物体识别,它都是一款非常不错的AI能力平台,3D合成数据还有机会赋能3D AIGC、AI生物制药、AI新材料等更广泛的领域。

M:自公司成立以来,贵司一直致力于推动3D视觉引导机械臂柔性操作领域的普及化应用,请问在这个方向上取得了哪些成果?

J:“3D视觉+智能相机+机械臂”是未来自动化新型应用重要的载体。目前,在国内自动化产线智能制造的升级过程中,这样的新型应用载体随处可见。基于市场需求,我们在产品研发和应用探索上也一直走在行业的前沿,迄今为止,我们已经取得了很大的进展,比如在3D视觉解决方案产品迭代方面,我们推出了四大解决方案,包含:3D视觉引导浅框无序抓取、3D视觉引导单目标精定位、3D视觉引导工件上下料、3D视觉引导拆垛解决方案等; 在应用场景探索落地方面,我们也跟诸如汽车零部件、工程机械、家电、光伏新能源和物流等行业内的众多头部集成商客户成功落地了多种应用场景,实现了行业应用从0到1的突破。

M:在未来几年内,您对那些应用行业比较看好?

J:机器视觉对于提高工业机器人的灵活性和可操作性具有重要意义,在大批量工业生产过程中,3D视觉助力机器人实现更多高精度动作,拓宽其应用场景,也大大提高了生产效率和柔性化程度。目前来说,物流、金属加工和汽车零部件等行业,已经成为开始规模化应用3D机器视觉的几个主要应用市场,另外,家电、医疗、光伏新能源等多个更大体量的市场也在启动机器视觉对于自动化产线的升级改造。未来,更大的市场机会也将来自于上述工业市场的商业类应用。

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    的关键技术领域实现重大突破,携手推动产业发展,并期待这一合作能够带来丰富的成果。2 重磅发布首款特种人形机器人概念机仪式上,软通动力与理工华汇共同发布了首款特种人形机器人概念机,其专注于应急救援、消防......
    立的极越品牌隶属于吉利控股集团,将延续汽车机器人理念 ,全面主导汽车机器人的品牌经营、市场布局等工作,据了解,极越的首款汽车机器人产品命名为极越01。 汽车机器人从未改变 自汽车机器人概念诞生以来,它的......
    为应对 ChatGPT 全部开卷,消息称苹果将于下周召开内部 AI 峰会; 2 月 7 日消息,开年以来, 概念全球火爆,海外股票市场相关概念股率先启动,美股英伟达今年以来涨幅近 45%,“美版......
    公司就成立了研发实验室,但挑战也随之而来。服务机器人概念并未大规模兴起,进入这一领域的玩家并不多,可供参考的技术经验无从谈起,如何走出实验室并实现落地成为企业面临的一大挑战,而且......
    、Microsoft、甲骨文(Oracle)、Tesla等业者都将采用Blackwell架构芯片。黄仁勋说,更聪明、反应更快的人形机器人时代即将到来。隔天,除了台股的「机器人概念股」应声大涨,与AI相关......
    ChatGPT出圈、相关芯片受益,但要小心隐忧;2023年新春伊始,ChatGPT聊天机器人概念持续升温,微软、谷歌、百度等互联网巨头争相布局,带动相关芯片关注度提升,并引......
    的现场使用做准备。未来,两家公司将通过机器人驱动的检查和维护等举措,加速炼油厂的数字化转型。 <照片:四足机器人概念验证测试> 此外,作为炼油厂数字化的一部分,从11月起,千叶......
    理念之中,其实也正代表着人机交互的终局方向,即产品的机器人化。 “产品的机器人化”这一理念在智能汽车行业依旧领先。自集度提出“汽车机器人概念以来,目前,汽车机器人概念已经成为业界共识:除特......
    ChatGPT 会成为新型车载语音助手吗?;真正的AIGC来了吗?眼下火热的ChatGPT,正带动海内外AIGC(AI创作内容)概念股跟涨。 2月6日,盖世汽车获悉,以ChatGPT为首的人工智能概念股......
    AI新星Groq横空出世,带动SRAM概念爆火; 【导读】SRAM(静态随机存取存储器)作为一种传统存储方案,近两日相关概念连续点燃A股半导体板块。2月21日,SRAM概念股再度拉升,西测......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>