在电子制造业中是非常重要的应用。然而,由于存在的缺陷多种多样,传统的机器视觉算法很难对缺陷特征进行完全建模和迁移缺陷特征,致使传统机器视觉算法可重复使用性不是很大,并且需要区分工作条件,这将浪费大量的人力成本。因此,越来越多的工程师开始将深度学习算法引入领域,因为深度学习在特征提取和定位方面取得了非常好的效果。
本文引用地址:本文将介绍电子深度学习算法在领域的应用,以PCB电路板缺陷检测为例。
在这里,我们提出了一种缺陷检测解决方案,使用YOLOv3-tiny深度学习算法。YOLOv3-tiny是一种轻量级的目标检测算法。YOLOv3-tiny的网络结构如下:
相关内容您可访问以下链接查看:
https://pjreddie.com/darknet/yolo/
与原来的YOLOv3模型相比,YOLOv3-tiny减少了一些层数和参数,提高了嵌入式设备上的推理速度和效率。该算法具有较高的实时性和良好的精度,非常适合工业缺陷检测应用。
该缺陷检测解决方案可以部署在RZ/V2M MPU芯片上。RZ/V2M是一款集成了DRP-AI硬件加速单元的的AI专用处理器,其硬件特性如下:
RZ/V2M系统框图
高达4K分辨率的硬件ISP
● 具有高度的鲁棒性,产生稳定的图像,不受环境的影响
● 传感器和镜头控制,如自动曝光、白平衡、畸变校正、黑点校正、缺陷像素修正等
● 色彩质量增强,HDR,WDR,噪声衰减,如色彩校正、黑度校正等
● 色彩控制,如色彩空间转换、图像翻转、裁剪、整形等
视觉和AI能力
● DRP-AI硬件加速器,高精度FP16数据类型
● AI能效性能(低消耗、低发热量)
● 摄像头接口:2× MIPI CSI
视频及图像引擎
● H.265/H.264 编解码器
● 编码:H.265 最高2160p30, H.264最高1080p60
● 解码:H.265 最高2160p30, H.264 最高1080p60
● 2D图像引擎:200 MPixels/s
● JPEG硬件编码器
● 显示:HDMI 1.4a
高速接口
● 1× Gigabit Ethernet
● 1×USB3.1 Gen1 Host/Peripheral
● 1× PCIe® Gen 2 (2 lanes)
● 2× SDIO 3.0
● 1× eMMC™ 4.5.1
基于以上硬件特性,使得RZ/V2M可以很好的支持工业缺陷检测,AI模型部署过程如下图所示:
● ONNX是一种用于表示机器学习模型的开放格式。
● ONNX定义了一组通用运算符,机器学习和深度学习模型的构建基块以及通用文件格式,使AI开发人员能够使用具有各种框架、工具、运行时和编译器的模型。
此应用程序在RZ/V2M MPU中的硬件设置如下:
YOLOv3-tiny 缺陷检测解决方案部署在 RZ/V2M,具有低功耗(小于5W)、高性能推理效果的特点,RZ/V2M为52fps(不包括前处理和后处理)。
嵌入式缺陷检测不仅用于电子制造中的PCB缺陷检测,还具有广泛的应用场景,以下是一些常见示例:
工业自动化
在制造过程中,可以实时检测产品中的缺陷,例如不正确的产品组装、零件缺失或损坏。
农业领域
在农业生产中,它可用于检测作物或蔬菜中的缺陷,例如疾病,害虫或水果畸形。
安防监控
可用于安防监控系统中的缺陷检测,如检测建筑物或公共场所的异常物体、入侵行为或安全隐患。
医学成像
在医学领域,可应用于医学图像分析,检测疾病标志物、肿瘤或异常组织等。
车辆检测
在智能交通系统中,可用于车辆检测,如交通流量监控、非法车辆检测或停车场管理。
随着人工智能技术的不断进步,我们期待在工业制造、安防、智能零售、服务机器人等多个领域推出更多应用和解决方案。
原创:Ryan Chen 来源: