摘要

本文探討以機(jī)器視覺(jué)進(jìn)行印刷電路板表面組件的自動(dòng)化檢驗(yàn)工作。首先，將待測(cè)之彩色影像灰階化，以減少數(shù)據(jù)處理量，接著以中通濾波 (Median filter) 作減低噪聲的運(yùn)算，再利用相關(guān)系數(shù) (Coefficient of correlation) 對(duì)待測(cè)區(qū)域進(jìn)行定位點(diǎn)影像搜尋與定位處理，并使用金字塔(pyramid )的觀念加速運(yùn)算。接著將影像以默認(rèn)值予以二值化(Thresholding)，進(jìn)一步濾除電路影像數(shù)據(jù)，以突顯待檢主要目標(biāo)。然后利用反復(fù)投射(Interactive project) 方式將各個(gè)待檢主體所在的位置分割出來(lái)，再藉由所得之相關(guān)系數(shù)，將待檢主體依相關(guān)系數(shù)的值，而選擇相對(duì)應(yīng)的特征擷取方式與缺陷判斷規(guī)則。本文所提方法，在表面組件檢驗(yàn)上可偵測(cè)的瑕疵有斷字、缺字、型號(hào)錯(cuò)誤、印字不清、放置錯(cuò)位等。

關(guān)鍵詞：印刷電路板，瑕疵，特征擷取，自動(dòng)化檢驗(yàn)

1. 緒論

印刷電路板表面組件檢驗(yàn)近年來(lái)成長(zhǎng)迅速，隨著生產(chǎn)技術(shù)的改進(jìn)，電子組件朝向精致化、迷你化發(fā)展。人工檢驗(yàn)的方式已不符使用，機(jī)器視覺(jué)取代人工成為新興的檢驗(yàn)方法。其中有許多學(xué)者致力于IC 組件的檢驗(yàn)，大多為批號(hào)辨識(shí)、缺陷檢驗(yàn)等[1]。

改進(jìn)式類神經(jīng)結(jié)構(gòu)來(lái)進(jìn)行字符辨識(shí)，利用霍普菲爾網(wǎng)絡(luò)的記憶特性來(lái)辨識(shí)字符，并利用改良網(wǎng)絡(luò)結(jié)構(gòu)型態(tài)來(lái)改進(jìn)霍普菲爾的記憶限制問(wèn)題，并追求辨識(shí)速度的優(yōu)化，其將整個(gè)字元辨識(shí)領(lǐng)域由特征數(shù)據(jù)轉(zhuǎn)到了圖面思考的境界[2]。

利用不同的色彩轉(zhuǎn)換模式來(lái)凸顯特定零件，如檢驗(yàn)電容便以HIS的顏色模型來(lái)處理，并利用轉(zhuǎn)換式將藍(lán)色強(qiáng)調(diào)用以顯現(xiàn)出電容影像[3]。

印刷電路板檢視系統(tǒng)中，提出2.5D的取像檢驗(yàn)方法，并說(shuō)明了曲線擬合、與圓形影像之圓心坐標(biāo)與半徑的推導(dǎo)，其缺陷檢驗(yàn)方式為建立標(biāo)準(zhǔn)影像，再將待測(cè)影像與之作邏輯運(yùn)算后，進(jìn)行分析[4]。

電路板的檢測(cè)規(guī)則，其文中對(duì)影像前處理運(yùn)用于電路板檢驗(yàn)之?dāng)⑹鱿嘣敱M，其中所提及之XOR應(yīng)用于影像比對(duì)的方式，可以應(yīng)用在許多方面[5]。

Chung整合了IC批號(hào)辨識(shí)常應(yīng)用的技術(shù)，如相關(guān)系數(shù)與金字塔，文中也提出了盒形濾波(box-fiLTEr)的演算觀念與相關(guān)系數(shù)正規(guī)化的想法，將檢驗(yàn)的能力與方法強(qiáng)化，提升其檢驗(yàn)速度與系統(tǒng)環(huán)境適應(yīng)力[7]。

Sauvola和Pietikainen提出以一分類器來(lái)將影像先行作一分類，接著利用模糊理論找出一較合適的選值方法，使得二值化的應(yīng)用有了另一個(gè)思考的方向，文中并以區(qū)域像素平均值加上標(biāo)準(zhǔn)偏差的乘積的方法來(lái)選擇閥值[8]。

IC封裝與方位的檢驗(yàn)法則，文中對(duì)于IC的封裝結(jié)構(gòu)敘述清楚，也提出了用對(duì)比強(qiáng)化的方式來(lái)突顯IC芯片的信息，且透過(guò)Candy邊緣偵測(cè)法來(lái)萃取出IC影像的線性特征[9, 10]。

本文著重于IC組件上的商標(biāo)與文字辨識(shí)，在方法上，先進(jìn)行影像前處理來(lái)強(qiáng)化待測(cè)影像的質(zhì)量，接著透過(guò)反復(fù)投射與相關(guān)系數(shù)的運(yùn)算來(lái)得到特征值，并以此特征值判斷是否存在瑕疵，以進(jìn)行常見(jiàn)的IC組件瑕疵偵測(cè)與分類。

第二節(jié)將敘述本文提出之印刷電路板表面組件的常見(jiàn)瑕疵與檢驗(yàn)方法。第三節(jié)則對(duì)所提方法實(shí)作進(jìn)行印證，最后，并對(duì)整個(gè)研究過(guò)程與結(jié)果作一個(gè)討論。

2. 印刷電路板檢驗(yàn)

印刷電路板組件自動(dòng)化檢驗(yàn)的主要流程與步驟如圖一所示。包括影像前處理步驟，瑕疵定義與判斷法則，與樣版之建立等。以下各小節(jié)將作進(jìn)一步介紹與探討。

2.1 影像前處理步驟

在影像前處理部分，包括影像灰階化，噪聲消除，定位，二值化，反復(fù)投射與正規(guī)化等，各步驟簡(jiǎn)略敘述如下：

圖一. 印刷電路板組件檢驗(yàn)流程

灰階化

在此我們采用將影像轉(zhuǎn)為灰階影像，以簡(jiǎn)化后續(xù)的處理，使用之轉(zhuǎn)換公式如下：

其中r(x,y), g(x,y), b(x,y)分別為像素(x,y)之紅色、綠色與藍(lán)色色彩值。

噪聲消除
在此我們使用中值濾波 (Median filter) 來(lái)降低噪聲，由實(shí)驗(yàn)中發(fā)現(xiàn)，中值濾波可以適當(dāng)保留主體輪廓。

定位
我們利用相關(guān)系數(shù) (Correlation) ，對(duì)特定區(qū)域進(jìn)行兩個(gè)定位點(diǎn)的搜尋(參見(jiàn)公式2)，結(jié)果如圖二所示[7]。

m 和 n 為欲搜尋影像的寬度與高度，M是標(biāo)準(zhǔn)影像，I 是欲搜尋的影像區(qū)域。u , v 則是搜尋過(guò)程中坐標(biāo)相對(duì)的偏移值。 為標(biāo)準(zhǔn)樣板的灰階值平均， 為欲搜尋影像區(qū)域的灰階值平均。

找到定位點(diǎn)后即可以最小平方法計(jì)算出這兩個(gè)定位點(diǎn)之中心，再透過(guò)標(biāo)準(zhǔn)樣板兩個(gè)定位點(diǎn)所成的直線與待測(cè)影像兩個(gè)定位點(diǎn)所成直線，運(yùn)用公式(3) 即可算出樣板與待檢向之旋轉(zhuǎn)角度。

其中m1為標(biāo)準(zhǔn)樣板定位線的斜率， 為待測(cè)影像定位線的斜率，θ為兩線間的夾角。

計(jì)算出旋轉(zhuǎn)角度與位移后，接著利用公式(4)進(jìn)行平移與旋轉(zhuǎn)運(yùn)算來(lái)修正待檢影像之坐標(biāo)。

其中， 0, 0 x y 為待測(cè)影像的定位參考點(diǎn)，x ' , y' 為新的影像坐標(biāo)， x, y 為原先影像的坐標(biāo)。

二值化
由于檢驗(yàn)的燈光環(huán)境可以控制，因此我們使用默認(rèn)值的方式來(lái)作二值化的處理，以加速影像二值化之處理速度。

正規(guī)化
由于相關(guān)系數(shù)需要執(zhí)行于相同的大小的圖形，故將分割所得的每一個(gè)區(qū)塊影像，調(diào)整至與標(biāo)準(zhǔn)樣板一樣的大小，以便進(jìn)行相關(guān)系數(shù)運(yùn)算。

反復(fù)投射
以遞歸的方法，針對(duì)欲檢驗(yàn)區(qū)域進(jìn)行反復(fù)投射( Interactive project) 的處理，將IC上面的不同大小的商標(biāo)與文字分割出來(lái)，如圖三所示。

圖二. 待測(cè)影像定位處理

圖三. 待測(cè)區(qū)域影像反復(fù)投射以分割各字符

2.2 瑕疵定義與檢驗(yàn)法則

一般常見(jiàn)的IC瑕疵有斷字、印刷不良、缺字、批號(hào)錯(cuò)誤、放置錯(cuò)位，其各自相關(guān)的定義與檢驗(yàn)法則說(shuō)明如下：

(1) 斷字：由于印刷的原因?qū)е翴C字符部分未能顯現(xiàn)，以致產(chǎn)生有如斷掉般的情況。將待測(cè)影像與正確影像進(jìn)行 XOR 運(yùn)算，再偵測(cè)有無(wú)區(qū)塊影像產(chǎn)生，如果有則判為斷字(如圖四)。

圖四. IC斷字的影像

(2) 印刷不良：由于印刷時(shí)機(jī)器的不穩(wěn)定所導(dǎo)致或是印字時(shí)印頭清潔不良，導(dǎo)致字符有模糊或毛邊的情況發(fā)生。將待測(cè)影像與正確影像進(jìn)行XOR 運(yùn)算，再偵測(cè)有無(wú)散狀影像產(chǎn)生，如果有則判斷為印刷不良(如圖五)。

圖五. IC印刷不良的影像

(3) 缺字：原本應(yīng)該有字的影像區(qū)塊卻沒(méi)有字符或商標(biāo)存在。檢驗(yàn)影像區(qū)塊，經(jīng)偵測(cè)后沒(méi)有發(fā)現(xiàn)物體 (物體點(diǎn)數(shù)小于一容忍值)，即判斷為缺字(如圖六)。

圖六. IC 缺字影像

(4) 批號(hào)錯(cuò)誤：原本應(yīng)該印的字符變成另外其他的字符或圖像。依據(jù)相關(guān)系數(shù)低至0.3 以下，有相當(dāng)大的信心確信該區(qū)字符已不是原來(lái)之字符或圖像。至于要更進(jìn)一步了解印出為何字符則需要更進(jìn)一步的萃取特征信息來(lái)作辨別(如圖七)。

圖七. IC 批號(hào)錯(cuò)誤之影像

(5) IC放置錯(cuò)位：因?yàn)闄C(jī)械手臂拿取的緣故，導(dǎo)致IC方位正好顛倒。我們可藉由偵測(cè)定位點(diǎn)與特定ＩＣ批號(hào)字符的相對(duì)位置，藉此了解有無(wú)裝反之情況(如圖八)。

圖八. IC放置錯(cuò)位之影像

2.3 樣板建立與檢驗(yàn)流程

為了判斷待檢影像是否存在瑕疵，首先需要建立標(biāo)準(zhǔn)樣板數(shù)據(jù)，以作為檢驗(yàn)的標(biāo)準(zhǔn)。在檢驗(yàn)時(shí)，即可取得欲測(cè)影像與標(biāo)準(zhǔn)樣板比較，來(lái)決定是否有異常的現(xiàn)線。

PCB組件中建立標(biāo)準(zhǔn)樣板步驟如下：

1. 擷取影像，并予以噪聲消除。
2. 利用相關(guān)系數(shù)于特定區(qū)域內(nèi)找尋兩個(gè)定位點(diǎn)，并計(jì)算出差距量予以旋轉(zhuǎn)修正影像。
3. 針對(duì)欲檢測(cè)區(qū)域進(jìn)行反復(fù)投射，將IC組件上的商標(biāo)與字符分隔出來(lái)。
4. 寫(xiě)入各區(qū)塊影像至硬盤(pán)中，并記錄相關(guān)位置與大小資料。

建立完標(biāo)準(zhǔn)樣板數(shù)據(jù)后，即可對(duì)印刷電路板之IC組件進(jìn)行檢驗(yàn)工作。PCB組件中檢驗(yàn)步驟說(shuō)明：

1. 擷取影像，并予以噪聲消除。

2. 利用相關(guān)系數(shù)于特定區(qū)域內(nèi)找尋兩個(gè)定位點(diǎn)，并計(jì)算出差距量予以旋轉(zhuǎn)修正影像。

3. 依據(jù)系統(tǒng)訓(xùn)練的數(shù)據(jù)，針對(duì)應(yīng)該有數(shù)據(jù)區(qū)域擷取影像。

4. 進(jìn)行影像前處理運(yùn)算。

5. 將系統(tǒng)設(shè)定之樣板影像與待測(cè)影像，先行縮放至相同大小后，接著進(jìn)行相關(guān)系數(shù)的運(yùn)算。

6. 對(duì)運(yùn)算所得之相關(guān)系數(shù)進(jìn)行判斷，判斷是否存在瑕疵，法則如下：

a. 大于0.9通過(guò)檢驗(yàn)，表示無(wú)瑕疵。
b. 介于0.9至0.7先進(jìn)行進(jìn)行斷字檢驗(yàn)，如仍無(wú)法判定則繼續(xù)進(jìn)行其他瑕疵檢驗(yàn)。
c. 介于0.3至0.7先進(jìn)行印刷不良，如仍無(wú)法判定則繼續(xù)進(jìn)行其他缺陷檢驗(yàn)。
d. 介于0.1至0.3之間先進(jìn)行印字錯(cuò)誤檢驗(yàn)，如仍無(wú)法判定則繼續(xù)進(jìn)行其他缺陷檢驗(yàn)。
e. 小于或等于0.1 則進(jìn)行缺字檢驗(yàn)。如仍無(wú)法判定則繼續(xù)進(jìn)行定位錯(cuò)誤檢驗(yàn)。

3. 實(shí)驗(yàn)與結(jié)果分析

本文中測(cè)試的各項(xiàng)硬設(shè)備的功能和規(guī)格說(shuō)明如下：

1. 彩色固態(tài)攝影機(jī)：Mintron OS-50D。

2. 圖像處理卡：Matrox公司制造的Meteor 影像處理卡。

3. 個(gè)人計(jì)算機(jī)：IBM 兼容的個(gè)人計(jì)算機(jī)，中央處理器INTEL Pentium III 550，易失存儲(chǔ)器 192MB，顯示卡為 SIS6326，最大分辨率 1024 X 768。

4. 光源照明： 以一白光環(huán)形燈于待測(cè)組件上方打光。

5. 程序語(yǔ)言： Borland C++ Builder 5.0， 并利用Matrox公司提供之MIL 函式庫(kù)5.12 版。

6. 實(shí)驗(yàn)環(huán)境： 本研究之硬設(shè)備為將彩色固態(tài)攝影機(jī)架設(shè)于一垂直操作臺(tái)上，待測(cè)物放于固定平臺(tái)上，CCD 距離臺(tái)面15 公分，鏡頭離臺(tái)面11公分。

我們?yōu)榱私獯艘粰z驗(yàn)方法的效果，擬定了一套檢驗(yàn)過(guò)程。連續(xù)取像檢驗(yàn)20 個(gè)芯片影像進(jìn)行結(jié)果分析。由實(shí)驗(yàn)所得的結(jié)果，我們發(fā)現(xiàn)利用相關(guān)系數(shù)作為判斷依據(jù)與分類準(zhǔn)則是一個(gè)不錯(cuò)的方法。由于待測(cè)影像均為小影像，故運(yùn)算并不會(huì)太過(guò)緩慢。加上大部分的組件都是完好的，故以相關(guān)系數(shù)作判斷分類，可以有效減少判斷所需次數(shù)。我們可以由圖九與圖十中看到系統(tǒng)可以將有瑕疵的區(qū)域突顯出來(lái)，并將各個(gè)區(qū)域影像的相關(guān)系數(shù)顯示，如我們所預(yù)期，斷字的相關(guān)系數(shù)落于0.7 至0.9 中。而缺字也因?yàn)闆](méi)有物體于區(qū)域影像中，故相關(guān)系數(shù)運(yùn)算得到其值為0，也符合了我們當(dāng)初的檢驗(yàn)設(shè)定值。

圖九. (a)斷字初步判斷影像輸出;(b)斷字影像之相關(guān)系數(shù)數(shù)據(jù)

圖十. (a)缺字初步判斷影像輸出;(b)缺字影像之相關(guān)系數(shù)數(shù)據(jù)

對(duì)于檢驗(yàn)加速方面的考慮，我們以金字塔的觀念，建立一個(gè)原影像的等比例縮小圖，來(lái)簡(jiǎn)化相關(guān)系數(shù)運(yùn)算時(shí)的數(shù)據(jù)處理量，在大圖形時(shí)可以將原檢測(cè)圖形以等比例縮小數(shù)次，可以減少運(yùn)算時(shí)間，同時(shí)搜尋到的組件位置也不會(huì)偏差太多。

各處理步驟所需所花的時(shí)間如表一依所示。我們利用C 語(yǔ)言指針的特性加速程序的執(zhí)行，采用區(qū)域圖像處理，而盡量不進(jìn)行整張圖形處理。整個(gè)檢驗(yàn)流程，以一個(gè)有30 個(gè)字符的IC 影像而言只需0.5 秒左右，如再進(jìn)一步將程序優(yōu)化，則可望再減少些檢驗(yàn)所需時(shí)間。

表一. 處理各步驟所需時(shí)間

結(jié)論

本文提出利用相關(guān)系數(shù)作為對(duì)IC 影像瑕疵與否的分類器，依據(jù)相關(guān)系數(shù)的數(shù)值，來(lái)做相對(duì)應(yīng)的判斷處理，可以簡(jiǎn)化IC 檢驗(yàn)處理流程。利用相關(guān)系數(shù)的分類對(duì)于檢驗(yàn)加速而言相當(dāng)有效，但其卻對(duì)字符的影像擷取質(zhì)量相當(dāng)敏感，故整體檢驗(yàn)時(shí)環(huán)境需要多加注意。對(duì)于字體印刷質(zhì)量的界定，應(yīng)可有更佳的檢測(cè)方法。以增進(jìn)判斷的準(zhǔn)確與細(xì)致。