【導(dǎo)讀】缺陷檢測在電子制造業(yè)中是非常重要的應(yīng)用。然而,由于存在的缺陷多種多樣,傳統(tǒng)的機(jī)器視覺算法很難對(duì)缺陷特征進(jìn)行完全建模和遷移缺陷特征,致使傳統(tǒng)機(jī)器視覺算法可重復(fù)使用性不是很大,并且需要區(qū)分工作條件,這將浪費(fèi)大量的人力成本。因此,越來越多的工程師開始將深度學(xué)習(xí)算法引入缺陷檢測領(lǐng)域,因?yàn)樯疃葘W(xué)習(xí)在特征提取和定位方面取得了非常好的效果。
本文將介紹瑞薩電子深度學(xué)習(xí)算法在缺陷檢測領(lǐng)域的應(yīng)用,以PCB電路板缺陷檢測為例。
在這里,我們提出了一種缺陷檢測解決方案,使用YOLOv3-tiny深度學(xué)習(xí)算法。YOLOv3-tiny是一種輕量級(jí)的目標(biāo)檢測算法。YOLOv3-tiny的網(wǎng)絡(luò)結(jié)構(gòu)如下:
相關(guān)內(nèi)容您可訪問以下鏈接查看:
https://pjreddie.com/darknet/yolo/
與原來的YOLOv3模型相比,YOLOv3-tiny減少了一些層數(shù)和參數(shù),提高了嵌入式設(shè)備上的推理速度和效率。該算法具有較高的實(shí)時(shí)性和良好的精度,非常適合工業(yè)缺陷檢測應(yīng)用。
該缺陷檢測解決方案可以部署在RZ/V2M MPU芯片上。RZ/V2M是一款集成了瑞薩DRP-AI硬件加速單元的的AI專用處理器,其硬件特性如下:
RZ/V2M系統(tǒng)框圖
高達(dá)4K分辨率的硬件ISP
● 具有高度的魯棒性,產(chǎn)生穩(wěn)定的圖像,不受環(huán)境的影響
● 傳感器和鏡頭控制,如自動(dòng)曝光、白平衡、畸變校正、黑點(diǎn)校正、缺陷像素修正等
● 色彩質(zhì)量增強(qiáng),HDR,WDR,噪聲衰減,如色彩校正、黑度校正等
● 色彩控制,如色彩空間轉(zhuǎn)換、圖像翻轉(zhuǎn)、裁剪、整形等
視覺和AI能力
● DRP-AI硬件加速器,高精度FP16數(shù)據(jù)類型
● AI能效性能(低消耗、低發(fā)熱量)
● 攝像頭接口:2× MIPI CSI
視頻及圖像引擎
● H.265/H.264 編解碼器
● 編碼:H.265 最高2160p30, H.264最高1080p60
● 解碼:H.265 最高2160p30, H.264 最高1080p60
● 2D圖像引擎:200 MPixels/s
● JPEG硬件編碼器
● 顯示:HDMI 1.4a
高速接口
● 1× Gigabit Ethernet
● 1×USB3.1 Gen1 Host/Peripheral
● 1× PCIe? Gen 2 (2 lanes)
● 2× SDIO 3.0
● 1× eMMC? 4.5.1
基于以上硬件特性,使得RZ/V2M可以很好的支持工業(yè)缺陷檢測,AI模型部署過程如下圖所示:
● ONNX是一種用于表示機(jī)器學(xué)習(xí)模型的開放格式。
● ONNX定義了一組通用運(yùn)算符,機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型的構(gòu)建基塊以及通用文件格式,使AI開發(fā)人員能夠使用具有各種框架、工具、運(yùn)行時(shí)和編譯器的模型。
此應(yīng)用程序在RZ/V2M MPU中的硬件設(shè)置如下:
YOLOv3-tiny 缺陷檢測解決方案部署在 RZ/V2M,具有低功耗(小于5W)、高性能推理效果的特點(diǎn),RZ/V2M為52fps(不包括前處理和后處理)。
嵌入式缺陷檢測不僅用于電子制造中的PCB缺陷檢測,還具有廣泛的應(yīng)用場景,以下是一些常見示例:
工業(yè)自動(dòng)化
在制造過程中,可以實(shí)時(shí)檢測產(chǎn)品中的缺陷,例如不正確的產(chǎn)品組裝、零件缺失或損壞。
農(nóng)業(yè)領(lǐng)域
在農(nóng)業(yè)生產(chǎn)中,它可用于檢測作物或蔬菜中的缺陷,例如疾病,害蟲或水果畸形。
安防監(jiān)控
可用于安防監(jiān)控系統(tǒng)中的缺陷檢測,如檢測建筑物或公共場所的異常物體、入侵行為或安全隱患。
醫(yī)學(xué)成像
在醫(yī)學(xué)領(lǐng)域,可應(yīng)用于醫(yī)學(xué)圖像分析,檢測疾病標(biāo)志物、腫瘤或異常組織等。
車輛檢測
在智能交通系統(tǒng)中,可用于車輛檢測,如交通流量監(jiān)控、非法車輛檢測或停車場管理。
隨著人工智能技術(shù)的不斷進(jìn)步,我們期待在工業(yè)制造、安防、智能零售、服務(wù)機(jī)器人等多個(gè)領(lǐng)域推出更多應(yīng)用和解決方案。
原創(chuàng):Ryan Chen 來源:瑞薩
免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請(qǐng)聯(lián)系小編進(jìn)行處理。
推薦閱讀: