比亚迪电池焊后3D+AI视觉检测

发布时间:2023-10-25  

随着3D相机在工业的普及,深度学习对3D点云和深度图的分析方法也越来越多样化。在3D计算机图形中,Depth Map(深度图)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中,Depth Map 类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的,因而像素点之间具有一对一的对应关系,合成的四通道的图像称为RGB-D图像。如下图:

本文引用地址:


33.png


在业内,不少工作已经将CNN引入在RGB-D图像上的视觉任务上,这些工作中一部分直接采用4-channel的图像来进行语义分割。我们可以将3D点云做正射纠正,生成对应的深度图。再将2D图像做同样的仿射纠正,合成RGB-D图像。我们可以压缩数据量,将RGB图像换成灰度图,实际数据的通道数就只有两个。在本项目的深度学习模型中,需要输入是3通道,就要附加上全为0置的通道,而在Deep Learning的模型上增加通道注意力机制,能减少第三通道的计算。两通道的图片,在标注工具里,只有一个通道可见,而三通道图片带来额外的好处,在标注工具里是彩色的。

案例优势

深度学习和传统算法分别都做不到0%漏判的情况下,如果互相结合,那么还是能够做到0漏判。举焊偏的例子,如下图:


34.png


在毛刺不作为缺陷标准的情况下,Mark孔被毛刺遮盖,用传统算法就会得到焊偏的误判。使用深度学习,无论是语意分割还是目标检测,都能检出部分Mark孔,达到0漏判。另外,用深度学习语义分割焊迹,效果稳定,不受测量距离变动、亮度变化、亮边的影响,分割精细。抗其它干扰性能也很强,比如抗彩笔的标记干扰能力强,得到的区域可用于测量焊宽。传统算法的mIoU只有99%,而深度学习的mIoU达到99.89%。

新生产的产品,深度学习的样本量少,训练效果不是最佳,但随着样本量增加,增量学习,效果会不断提高。

在含有高度图的多通道图中,额外增加注意力机制必不可少,同时可以增加空间注意力,特征图融合。下图是神经网络的改造设计:


35.png


本案例产品界面


36.png



文章来源于:电子产品世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>