一、機(jī)器視覺(jué)基本概念:
機(jī)器視覺(jué)簡(jiǎn)單來(lái)說(shuō)就是機(jī)器具有人眼的測(cè)量和判斷能力,在實(shí)際使用中,用機(jī)器視覺(jué)替代人眼來(lái)測(cè)量和檢測(cè)等。機(jī)器視覺(jué)相當(dāng)于機(jī)器人的眼睛系統(tǒng),是人工智能的一個(gè)分支,現(xiàn)處理快速發(fā)展的階段。
如下圖用3D結(jié)構(gòu)光相機(jī)測(cè)量物體尺寸。
二、機(jī)器視覺(jué)系統(tǒng)的組成部分
機(jī)器視覺(jué)系統(tǒng)是通過(guò)專(zhuān)業(yè)打光系統(tǒng)(如3D結(jié)構(gòu)光、紅外照明燈、線激光)提供光源;使用工業(yè)攝像頭等攝像部分將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào),傳送給專(zhuān)用的圖像處理系統(tǒng),得到被攝目標(biāo)的形態(tài)信息。攝像部分根據(jù)像素分布和亮度、顏色等信息,轉(zhuǎn)變成數(shù)字化信號(hào);圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征,產(chǎn)生點(diǎn)云等信息。視覺(jué)系統(tǒng)可以講檢測(cè)到的內(nèi)容,傳輸給相關(guān)控制系統(tǒng),進(jìn)而讓控制系統(tǒng)根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。
一個(gè)典型的工業(yè)機(jī)器視覺(jué)系統(tǒng)包括:光源(3D結(jié)構(gòu)光、線激光、各種定制光源)、鏡頭(定焦鏡頭、變倍鏡頭、遠(yuǎn)心鏡頭、顯微鏡頭)、 相機(jī)(包括CCD相機(jī)和COMS相機(jī))、圖像處理單元(或圖像捕獲卡)、圖像處理軟件、監(jiān)視器、通訊 / 輸入輸出單元等。
三、機(jī)器視覺(jué)特點(diǎn)
機(jī)器視覺(jué)系統(tǒng)最基本的特點(diǎn)就是提高生產(chǎn)的靈活性和自動(dòng)化程度。在一些不適于人工作業(yè)的危險(xiǎn)工作環(huán)境、人工視覺(jué)難以滿足要求的場(chǎng)合,常用機(jī)器視覺(jué)來(lái)替代人工視覺(jué),以實(shí)現(xiàn)工業(yè)正常生產(chǎn)。同時(shí),在大批量重復(fù)性的工業(yè)生產(chǎn)過(guò)程中,用機(jī)器視覺(jué)可以大大提高生產(chǎn)的效率和自動(dòng)化程度。(如用3D掃描儀替代二次元,1秒鐘即可以得出使用二次元半小時(shí)才能完成的工作;用機(jī)器視覺(jué)做品質(zhì)檢驗(yàn),可以提升10倍以上的效率)
如下圖使用好優(yōu)投科技的3D結(jié)構(gòu)光相機(jī)用于汽車(chē)軸承烘烤車(chē)間自動(dòng)抓取,烘烤車(chē)間溫度高,軸承又大又重,人工擺放會(huì)又累又熱。
下圖的人面部測(cè)量,現(xiàn)代醫(yī)學(xué)采用了很多智能技術(shù),需要測(cè)量人身體不同部位的尺寸,用傳統(tǒng)的測(cè)量方法,非常費(fèi)時(shí)且不一定很準(zhǔn)確,而使用新式的3D視覺(jué)技術(shù),可以控制誤差在0.5mm,非常精準(zhǔn)。
在檢測(cè)行業(yè),與人類(lèi)視覺(jué)相比,機(jī)器視覺(jué)優(yōu)勢(shì)明顯
精確度高:人類(lèi)視覺(jué)是64灰度級(jí),且對(duì)微小目標(biāo)分辨力弱;機(jī)器視覺(jué)可顯著提高灰度級(jí),如康耐視、好優(yōu)投的3D相機(jī)都同時(shí)可觀測(cè)微米級(jí)的目標(biāo);
2)速度快:人類(lèi)是無(wú)法看清快速運(yùn)動(dòng)的目標(biāo)的,機(jī)器快門(mén)時(shí)間則可達(dá)微秒級(jí)別;3D結(jié)構(gòu)光測(cè)試的,1*1.2米的幅面,每秒可以拍攝60次。
3)穩(wěn)定性高:機(jī)器視覺(jué)解決了人類(lèi)一個(gè)非常嚴(yán)重的問(wèn)題——不穩(wěn)定。因?yàn)槿斯つ繖z是勞動(dòng)非常枯燥和辛苦的行業(yè),無(wú)論你設(shè)計(jì)怎樣的獎(jiǎng)懲制度,都會(huì)發(fā)生比較高的漏檢率。但是機(jī)器視覺(jué)檢測(cè)設(shè)備則沒(méi)有疲勞問(wèn)題,沒(méi)有情緒波動(dòng),只要是你在算法中寫(xiě)好的東西,每一次都會(huì)認(rèn)真執(zhí)行。在質(zhì)控中大大提升效果可控性。
4)信息的集成與留存:機(jī)器視覺(jué)獲得的信息量是全面且可追溯的,相關(guān)信息可以很方便的集成和留存。
(3D結(jié)構(gòu)光相機(jī)拍攝軸承,檢測(cè)表明不良,精度10um)
四、機(jī)器視覺(jué)技術(shù)近年發(fā)展
1)圖像采集技術(shù)發(fā)展迅猛
CCD、CMOS等固件越來(lái)越成熟,圖像敏感器件尺寸不斷縮小,像元數(shù)量和數(shù)據(jù)率不斷提高,分辨率和幀率的提升速度可以說(shuō)日新月異,產(chǎn)品系列也越來(lái)越豐富,在增益、快門(mén)和信噪比等參數(shù)上不斷優(yōu)化,通過(guò)核心測(cè)試指標(biāo)(MTF、畸變、信噪比、光源亮度、均勻性、色溫、系統(tǒng)成像能力綜合評(píng)估等)來(lái)對(duì)光源、鏡頭和相機(jī)進(jìn)行綜合選擇,使得很多以前成像上的難點(diǎn)問(wèn)題得以不斷突破。
2)圖像處理和模式識(shí)別發(fā)展迅速
機(jī)器視覺(jué),尤其是3D機(jī)器視覺(jué),需要拍攝大量的高清圖像,機(jī)器視覺(jué)這幾年能得以快速發(fā)展,與圖像處理技術(shù)的快速發(fā)展密不可分。圖像處理上,隨著圖像高精度的邊緣信息的提取,很多原本混合在背景噪聲中難以直接檢測(cè)的低對(duì)比度瑕疵開(kāi)始得到分辨。
圖像處理需要大量計(jì)算,算力模塊提升和算力模塊標(biāo)準(zhǔn)化(如英偉達(dá)的Jetson等),為很多小批量、多場(chǎng)景的視覺(jué)設(shè)備的研發(fā)提供的基礎(chǔ)的硬件支持,讓研發(fā)人員可以快速模塊化開(kāi)發(fā)和應(yīng)用。
模式識(shí)別上,本身可以看作一個(gè)標(biāo)記過(guò)程,在一定量度或觀測(cè)的基礎(chǔ)上,把待識(shí)模式劃分到各自的模式中去。圖像識(shí)別中運(yùn)用得較多的主要是決策理論和結(jié)構(gòu)方法。決策理論方法的基礎(chǔ)是決策函數(shù),利用它對(duì)模式向量進(jìn)行分類(lèi)識(shí)別,是以定時(shí)描述(如統(tǒng)計(jì)紋理)為基礎(chǔ)的;結(jié)構(gòu)方法的核心是將物體分解成了模式或模式基元,而不同的物體結(jié)構(gòu)有不同的基元串(或稱(chēng)字符串),通過(guò)對(duì)未知物體利用給定的模式基元求出編碼邊界,得到字符串,再根據(jù)字符串判斷它的屬類(lèi)。在特征生成上,很多新算法不斷出現(xiàn),包括基于小波、小波包、分形的特征,以及獨(dú)二分量分析;還有關(guān)子支持向量機(jī),變形模板匹配,線性以及非線性分類(lèi)器的設(shè)計(jì)等都在不斷延展。
3)深度學(xué)習(xí)帶來(lái)的突破
傳統(tǒng)的機(jī)器學(xué)習(xí)在特征提取上主要依靠人來(lái)分析和建立邏輯,而深度學(xué)習(xí)則通過(guò)多層感知機(jī)模擬大腦工作,構(gòu)建深度神經(jīng)網(wǎng)絡(luò)(如卷積神經(jīng)網(wǎng)絡(luò)等)來(lái)學(xué)習(xí)簡(jiǎn)單特征、建立復(fù)雜特征、學(xué)習(xí)映射并輸出,訓(xùn)練過(guò)程中所有層級(jí)都會(huì)被不斷優(yōu)化。在具體的應(yīng)用上,例如自動(dòng)ROI區(qū)域分割;標(biāo)點(diǎn)定位(通過(guò)防真視覺(jué)可靈活檢測(cè)未知瑕疵);從重噪聲圖像重檢測(cè)無(wú)法描述或量化的瑕疵如橘皮瑕疵;分辨玻璃蓋板檢測(cè)中的真假瑕疵等。隨著越來(lái)越多的基于深度學(xué)習(xí)的機(jī)器視覺(jué)軟件推向市場(chǎng)(包括瑞士的vidi,韓國(guó)的SUALAB等),深度學(xué)習(xí)給機(jī)器視覺(jué)的賦能會(huì)越來(lái)越明顯。
4)3d視覺(jué)的發(fā)展
3D視覺(jué)這兩年發(fā)展非常迅速,許多應(yīng)用程序都在使用3D表面重構(gòu),包括導(dǎo)航、工業(yè)檢測(cè)、逆向工程、測(cè)繪、物體識(shí)別、測(cè)量與分級(jí)等。但3D視覺(jué)現(xiàn)在仍處于起步階段,因?yàn)橐环矫娆F(xiàn)在應(yīng)用場(chǎng)景實(shí)在太多,每個(gè)應(yīng)用場(chǎng)景要測(cè)量的物體不同、可以測(cè)量條件不同,導(dǎo)致對(duì)測(cè)量光源、相機(jī)及算法均有不同的要求,導(dǎo)致研發(fā)人員還不能快速完成相關(guān)技術(shù)研發(fā)?,F(xiàn)在整體市場(chǎng)反饋,年復(fù)增長(zhǎng)率超過(guò)39%,相信未來(lái)這塊潛力巨大。
五、現(xiàn)在機(jī)器視覺(jué)還有哪些難點(diǎn)有待攻破
1)光源與成像:機(jī)器視覺(jué)中優(yōu)質(zhì)的成像是第一步,由于不同材料物體表面反光、折射等問(wèn)題都會(huì)影響被測(cè)物體特征的提取,因此光源與成像可以說(shuō)是機(jī)器視覺(jué)檢測(cè)要攻克的第一個(gè)難關(guān)。比如現(xiàn)在玻璃、反光表面的劃痕檢測(cè)等,很多時(shí)候問(wèn)題都卡在不同缺陷的集成成像上。
2)重噪音中低對(duì)比度圖像中的特征提取:在重噪音環(huán)境下,真假瑕疵的鑒別很多時(shí)候較難,這也是很多場(chǎng)景始終存在一定誤檢率的原因,但這塊通過(guò)成像和邊緣特征提取的快速發(fā)展,已經(jīng)在不斷取得各種突破。
3)對(duì)非預(yù)期缺陷的識(shí)別:在應(yīng)用中,往往是給定一些具體的缺陷模式,使用機(jī)器視覺(jué)來(lái)識(shí)別它們到底有沒(méi)有發(fā)生。但經(jīng)常遇到的情況是,許多明顯的缺陷,因?yàn)橹皼](méi)有發(fā)生過(guò),或者發(fā)生的模式過(guò)分多樣,而被漏檢。如果換做是人,雖然在操作流程文件中沒(méi)讓他去檢測(cè)這個(gè)缺陷,但是他會(huì)注意到,從而有較大幾率抓住它,而機(jī)器視覺(jué)在這點(diǎn)上的“智慧”目前還較難突破。
六、機(jī)器視覺(jué)主要用途
機(jī)器視覺(jué)常見(jiàn)的應(yīng)用領(lǐng)域包括視覺(jué)檢測(cè)、視覺(jué)定位、視覺(jué)測(cè)量及物料分揀。
四個(gè)常見(jiàn)應(yīng)用領(lǐng)域:
1、檢測(cè)
檢測(cè)是機(jī)器視覺(jué)工業(yè)領(lǐng)域最主要的應(yīng)用之一。幾乎所有產(chǎn)品在生產(chǎn)過(guò)程中均需要品質(zhì)保障,這樣均需要質(zhì)量檢測(cè),而人工檢測(cè)會(huì)因?yàn)闄z測(cè)人員的個(gè)人能力差異、長(zhǎng)時(shí)間工作疲勞、每個(gè)人都有犯錯(cuò)誤的時(shí)候等因素導(dǎo)致存在多種的毛病,導(dǎo)致檢測(cè)的一致性、準(zhǔn)確性等更是無(wú)法保證,檢測(cè)速度不穩(wěn)定,影響生產(chǎn)效率。因此,機(jī)器視覺(jué)檢測(cè)設(shè)備在圖像檢測(cè)方面應(yīng)用廣泛。
2、定位
視覺(jué)定位是通過(guò)機(jī)器視覺(jué)系統(tǒng),快速準(zhǔn)確地找到被測(cè)或需要安裝零件位置。如PCB加工時(shí),貼片生產(chǎn)時(shí)需要確認(rèn)貼片位置,自動(dòng)化插件生產(chǎn)需要確定插件位置;在半導(dǎo)體封裝領(lǐng)域,設(shè)備需要按照機(jī)器視覺(jué)取得的芯片位置信息調(diào)整拾取頭,準(zhǔn)確拾取芯片并進(jìn)行綁定;自動(dòng)焊接時(shí),需要確認(rèn)需要焊接的位置等。這些都是視覺(jué)定位的應(yīng)用。
3、測(cè)量
機(jī)器視覺(jué)的測(cè)量屬于非接觸式的測(cè)量,具有檢測(cè)精度高、速度快、成本低、安裝簡(jiǎn)便等優(yōu)點(diǎn)??梢酝瓿晌锲返亩S、三維尺寸在線測(cè)量,如物體的長(zhǎng)度、圓、角度、線弧等測(cè)量。
分揀
大型農(nóng)場(chǎng)的果實(shí)采摘、大量快遞包裹物流分揀等都是機(jī)器視覺(jué)很好的應(yīng)用場(chǎng)景。物體分揀應(yīng)用是建立在識(shí)別、檢測(cè)之后一個(gè)環(huán)節(jié),通過(guò)機(jī)器視覺(jué)系統(tǒng)將物體在空間的位置識(shí)別出來(lái),尤其用3D視覺(jué)識(shí)別,然后實(shí)現(xiàn)分揀。在機(jī)器視覺(jué)工業(yè)應(yīng)用中常用于食品分揀、流水線不良品剔除、快遞包裹分揀等。
七、機(jī)器視覺(jué)系統(tǒng)未來(lái)發(fā)展趨勢(shì)
1)嵌入式解決方案發(fā)展迅猛,智能相機(jī)性能與成本優(yōu)勢(shì)突出,嵌入式PC會(huì)越來(lái)越強(qiáng)大
2)模塊化的通用型軟件平臺(tái)和人工智能軟件平臺(tái)將降低開(kāi)發(fā)人員技術(shù)要求和縮短開(kāi)發(fā)周期
3)3d視覺(jué)將走向更多應(yīng)用場(chǎng)景,如好優(yōu)投科技先后接到測(cè)量保護(hù)膜、測(cè)量人眼部突變尺寸、測(cè)雙開(kāi)門(mén)冰箱安裝尺寸等各式應(yīng)用。
八、機(jī)器視覺(jué)現(xiàn)在的行業(yè)應(yīng)用情況
半導(dǎo)體和電子生產(chǎn)行業(yè):從國(guó)內(nèi)機(jī)器視覺(jué)工業(yè)上的應(yīng)用分布來(lái)看,46%都集中在電子及半導(dǎo)體制造行業(yè),包括晶圓加工制造的分類(lèi)切割、PCB檢測(cè)(底片、內(nèi)/外層板、成品外觀終檢等)、SMT貼裝檢測(cè)、LCD全流程的AOI缺陷檢測(cè)、各種3c組件的表面缺陷檢測(cè)、3c產(chǎn)品外觀檢測(cè)等
(上圖為3D錫膏測(cè)試儀,配好優(yōu)投結(jié)構(gòu)光、索恩達(dá)出品)
汽車(chē):車(chē)身裝配檢測(cè)、零件的幾何尺寸和誤差測(cè)量、表面和內(nèi)部缺陷檢測(cè)、間隙檢測(cè)等
印刷、包裝檢測(cè):煙草外殼印刷、食品的包裝和印刷、藥品的鋁塑板包裝和印刷等
農(nóng)業(yè):對(duì)農(nóng)產(chǎn)品的分級(jí)、檢驗(yàn)和分類(lèi)
紡織:對(duì)異纖、云織、經(jīng)疵、緯疵等瑕疵檢測(cè)、織物表面絨毛鑒定、紗線結(jié)構(gòu)分析等等。
九、機(jī)器視覺(jué)的產(chǎn)業(yè)鏈
機(jī)器視覺(jué)上游有光源、鏡頭、工業(yè)相機(jī)、圖像采集卡、圖像處理軟件等軟硬件提供商,中游有集成和整機(jī)設(shè)備提供商,行業(yè)下游應(yīng)用較廣,主要下游市場(chǎng)包括電子制造行業(yè)、汽車(chē)、印刷包裝、煙草、農(nóng)業(yè)、醫(yī)藥、紡織和交通等領(lǐng)域。
1)上游部件級(jí)市場(chǎng)
主要包括光源、鏡頭、工業(yè)相機(jī)、圖像采集卡、圖像處理軟件等提供商,近幾年智能相機(jī)、工業(yè)相機(jī)、光源和板卡都保持了不低于20%的增速。根據(jù)中國(guó)機(jī)器視覺(jué)產(chǎn)業(yè)聯(lián)盟(CMVU)調(diào)查統(tǒng)計(jì),現(xiàn)在已進(jìn)入中國(guó)的國(guó)際機(jī)器視覺(jué)品牌已近200多家(如康耐視、達(dá)爾薩、堡盟等為代表的核心部件制造商,以基恩士、歐姆龍、松下、邦納、NI等為代表的則同時(shí)涉足機(jī)器視覺(jué)核心部件和系統(tǒng)集成),中國(guó)自有的機(jī)器視覺(jué)品牌也已有100多家(如???、華睿、盟拓光電、神州視覺(jué)、深圳燦銳、上海方誠(chéng)、上海波創(chuàng)電氣、好優(yōu)投等),機(jī)器視覺(jué)各類(lèi)產(chǎn)品代理商超過(guò)300家(如深圳鴻富視覺(jué)、微視新紀(jì)元、三寶興業(yè)、凌云光、陽(yáng)光視覺(jué)等)。很多國(guó)內(nèi)機(jī)器視覺(jué)的部件市場(chǎng)都是從代理國(guó)外品牌開(kāi)始,很多企業(yè)均與國(guó)外的同行有較好的合作,且這種合作具有一定的排他性,這給潛在進(jìn)入者帶來(lái)了一定的門(mén)檻,因此優(yōu)質(zhì)產(chǎn)品的代理商也都有不錯(cuò)的市場(chǎng)競(jìng)爭(zhēng)力和利潤(rùn)表現(xiàn)。同時(shí),以??怠⑷A睿、好優(yōu)投為代表的國(guó)產(chǎn)工業(yè)視覺(jué)核心部件正在快速崛起。
2)中游系統(tǒng)集成和整機(jī)裝備市場(chǎng)
國(guó)內(nèi)中游的系統(tǒng)集成和整機(jī)裝備商有100多家,他們可以給各行業(yè)自動(dòng)化公司提供綜合的機(jī)器視覺(jué)方案,如凌云光、微視新紀(jì)元、嘉恒、凌華、陽(yáng)光視覺(jué)、鼎信、大恒圖像等。由于國(guó)內(nèi)產(chǎn)品與國(guó)際依然有不小差距,很多中游系統(tǒng)集成商和整機(jī)裝備商又是從核心零部件的貿(mào)易做起來(lái)的,因此很多在視覺(jué)產(chǎn)品的選擇方面,依然更為青睞國(guó)外品牌。國(guó)內(nèi)品牌為推廣自己的軟硬件產(chǎn)品,往往需要發(fā)展自己的方案集成能力,才能更好的面對(duì)市場(chǎng)競(jìng)爭(zhēng)。
3)下游應(yīng)用市場(chǎng)
機(jī)器視覺(jué)下游,主要是給終端用戶提供非標(biāo)自動(dòng)化綜合解決方案的公司,行業(yè)屬性非常強(qiáng),核心競(jìng)爭(zhēng)力是對(duì)行業(yè)和生產(chǎn)的綜合理解和多類(lèi)技術(shù)整合。由于行業(yè)自動(dòng)化的更迭有一定周期性,深受行業(yè)整體升級(jí)速度、出貨量和利潤(rùn)狀況影響,因此近兩年來(lái)看,拉動(dòng)機(jī)器視覺(jué)應(yīng)用普及最主要的還是在電子制造業(yè),其次是汽車(chē)和制藥。