去年十月份Toyota Lexus 的2007 年最新車款Lexus LS 460 和Lexus LS 460L 在美國市場上市，兩部車子都裝置了Toyota 最新發(fā)展的”高級停車導引系統(tǒng)(Advanced Parking Guidance System)”，這個系統(tǒng)是使用一個向后的攝像頭和停車聲納傳感器偵測周邊狀況，駕駛人靠在一個停車位旁邊，按個按鈕，踩煞車以控制速度，系統(tǒng)便會自動接手控制電動動力方向盤，完成路邊停車的動作。除此之外，在目前最常應用于工廠自動化系統(tǒng)之中的自動導引車輛(Automatic Guided Vehicle, AGV)系統(tǒng)，可按照程序所下的命令及導引路線進行、停止、轉彎，并能和搬運系統(tǒng)作連結；AGV是一種物料搬運設備，能在固定位置自動進行貨物的裝載，并自動行走到另一位置，以完成貨物的卸載的全自動運輸設備。AGV基本功能為能自動依循固定的軌道行走，雖然說這個技術早己引用在工廠中，但是由于路線必須是規(guī)劃好并在地上畫上行走路徑，并無法應用于較復雜的環(huán)境之中，而我們所提出來的設計，是利用圖像來辨別標志，而標志擺放位置也可以根據實際的應用環(huán)境來做改變，所以應用范圍較傳統(tǒng)AGV更為廣泛。

不僅如此，本設計也具有特定標志搜尋功能，能夠自動的分析現(xiàn)有的圖像信息，自動鎖定目標物并進行自動化車控的控制，故我們設計這套系統(tǒng)來協(xié)助民眾自動停車、自動倒車入庫，也可應用于機場對飛機的管控或是任何具有動力的交通運輸工具。本文將機械視覺算法以硬件加速的模塊實現(xiàn)，結合多核的高效能的嵌入式處理器Nios，完成一個自動化汽車導引的平臺，未來可實現(xiàn)很多汽車駕駛安全方面的應用，包括防撞、車道偏離警報和車道維持(可導引駕駛人回到原車道)、背面障礙物警報、行人監(jiān)測、車距監(jiān)測(讓駕駛人和前車保持適當?shù)木嚯x)、夜視、自動頭燈調節(jié)、交通/限速標志識別和盲點監(jiān)測等等。

設計介紹

我們使用“軟硬件共同設計 (Co-design)方法”集成圖像輸入端、車控平臺及動力控制模塊，完成自動化目標追蹤的實驗平臺，通過效能佳的軟核CPU來控制外圍的模塊，并利用VHDL自制圖像處理核心電路，建立智能型圖像追蹤的嵌入式系統(tǒng)平臺，如圖1所示。

圖1 智能型圖像追蹤的嵌入式系統(tǒng)平臺

系統(tǒng)核心組成器件可分成以下三類：

1. CMOS 傳感器硬件模塊：CMOS 傳感控制器 、數(shù)據簡化、SDRAM 控制器

(1) CMOS 傳感器控制器：驅動CMOS 傳感器并進行連續(xù)圖像擷取，將動態(tài)圖像數(shù)據流傳入。

(2) 數(shù)據簡化：將CMOS 傳感器擷取的圖像數(shù)據(GB&GR)進行壓縮，以便大幅減少計算量及分析時間。

(3) SDRAM 控制器：通過六組FIFO控制器，將SDRAM資源規(guī)劃給兩組CMOS傳感器控制器及VGA控制器來使用(三寫三讀)。

2. VGA硬件模塊：

(1) VGA 控制器：通過其器件，可以實時將圖像直接顯示在VGA上。

(2) XY Histogram：并通過XY坐標標示出目標位置，并在實時圖像上進行X軸及Y軸的圖像數(shù)據統(tǒng)計(Histogram)。

3. 動力控制：

通過第二顆軟核CPU來依序執(zhí)行外部給入的命令，CPU通過四組PIO來驅動車體前后輪的控制電路，達到車體前進、后退、左轉、右轉的控制。

主要硬件器件

以SOPC Builder完成雙CPU核心的設定，并利用Verilog設計硬件電路器件，以waveform進行時序仿真并驗證，再通過PIO方式和CPU連結，除了SOPC Builder所提供的外圍電路以外尚有雙CMOS 傳感器圖像擷取電路、六端口SDRAM控制器、VGA控制器(含圖像處理電路)，說明如下，如圖3所示，自行開發(fā)的硬件電路已集成為一個較大的模塊(在圖2左方的方塊)，而圖3右方的方塊則是利用SOPC Builder所建立的雙CPU模塊。

圖2 硬件器件

1. 雙核處理器：

在圖3中的cpu_0是用來控制CMOS 傳感器及圖像處理所用，而cpu_1是用來控制車控動力的。

圖3 雙CPU系統(tǒng)

2. 2個 CMOS 傳感器擷取：

撰寫鏡頭圖像擷取的控制硬件電路，并利用DE2發(fā)展板上的雙IDE接口(Expansion Header1,2)可同時擷取到雙重鏡頭的圖像。

3. 多端口SDRAM 控制器：

利用Mega Wizard Plug-In Manager來生成三寫三讀的六接口FIFO(以內置RAM實現(xiàn))，讓二組CMOS 傳感器擷取及一組VGA 控制器能讀寫SDRAM設備。

4. VGA 控制器 和圖像處理：

撰寫VGA輸出的硬件控制電路，并在圖像輸出的同時，進行X軸及Y軸的圖像數(shù)據統(tǒng)計，并將結果存于片上內存(On-Chip Memory)之中，以便Nios處理器來讀取。

SOPC系統(tǒng)端接口設定

圖4 系統(tǒng)端SOPC接口設定

由DE2發(fā)展板所提供的范例新增用戶自定腳位來控制自制的外圍電路，并通過PLL生成100MHz頻率的時鐘源供SDRAM來使用，如圖5所示。

圖5 cpu_0在SOPC(上)及在NIOS IDE(下)中的內存配置

系統(tǒng)軟件執(zhí)行時內存的配置

由于開發(fā)板上的SDRAM已被CMOS 傳感器擷取及VGA 控制器所使用，所以cpu_0及cpu_1的程序內存是放于Flash上，而cpu_0執(zhí)行程序時的例外向量是放于SRAM上；而cpu_1是放于片上內存之中，當然在NIOS IDE開發(fā)該CPU的軟件時，也必須分別要把變量堆疊區(qū)指定到相關的內存之中，如圖5、圖6所示。[!--empirenews.page--]

圖6 cpu_1在SOPC(上)及在NIOS IDE(下)中的內存配置效能參數(shù)

本設計主要是針對每秒10張frame，而每個frame為640×480全彩24bit的實時圖像進行圖像辨視，每秒必須處理8.78M Byte的數(shù)據量，并進行二值化及X軸、Y軸Histogram的圖像處理，由于必須快速處理大量圖像信息，所以采用硬件加速，軟件控制的架構來實現(xiàn)，此外，由于本設計的SDRAM資源可以切換給Nios來使用，所以亦可使用Nios來讀取SDRAM的圖像信息并進行圖像處理，此外，在測試圖像處理算法時，也利用BCB開發(fā)出PC端的仿真程序，而配備如下(Intel 1.6GHz Core Duo,1G RAM, 1.3 Mega CMOS 傳感器 )，以下就三者實驗數(shù)據進行比較，如表1所示。

設計架構　

系統(tǒng)流程

圖7 系統(tǒng)流程圖

系統(tǒng)流程如圖7所示。

系統(tǒng)架構圖

圖8 系統(tǒng)方框圖

由系統(tǒng)方框圖8可知，本設計使用雙核的系統(tǒng)，其中一個CPU是用來控制CMOS 控制器模塊，而另一個CPU可以控制大部份的外圍器件，而兩個CPU之間是利用輸出及輸入PIO腳位，來達到傳遞數(shù)據的目的，這樣設計的好處是，可利用一個CPU全速處理大量圖像信息，而另一個CPU可以負責車控系統(tǒng)，若從圖像中偵測到偏離或碰撞危險時，將能通過PIO來觸發(fā)另一個CPU的中斷，進而實時告知車控系統(tǒng)下達較正方向或閃避的控制命令，本設計使用到許多的外圍器件包含：Flash Memory、SDRAM、SRAM、M4K RAM、LCM、JTAG-UART、RS232、GPIO、Button、Switch、Timer、LED、Segment、VGA、CMOS 傳感器等。

圖像處理方框圖

圖9圖像處理方框圖

由圖9可發(fā)現(xiàn)，本設計之所以能達到實時圖像及實時動態(tài)追蹤，是因為當CMOS 傳感器下圖像擷取時，便能通過硬件器件，將數(shù)據從RAW Data轉成RGB再進行二值化或灰階的處理，以利進行圖像處理，而且同時亦在VGA上立即顯示出該圖像，整個過程均是由硬件來做;在圖像追蹤時，Nios可以通過X軸或Y軸的直方圖統(tǒng)計方式來進行標示目標物，所以一張新的圖像進來時，Nios并不用做任何處理，即可讀出所需要的數(shù)值，這樣一來才能達到所期待的硬件加速效能。

表1 三種圖像處理平臺的效能分析

軟件流程

1.為了加速運算，由硬件分別做了二值化和數(shù)據統(tǒng)計。

2.一開始先搜尋目標標線位置。

3.找到標線后進行動態(tài)鎖定。

4.開始判斷標線長度，自控車是否在標線最近距離，若否，則判斷標線長是否大于標框長的70%，如果大于70%則放大標框。

5.由PIO送出前進的控制信號給自控車。

6.若自控車在標線最近距離則判斷是否為左右轉標線，若是 則依標線左(右)轉，否則停止動作。

硬件電路

(1) 雙CMOS 傳感器圖像擷取器件：通過Switch開關來達到切換主畫面/子母畫面的功能，F(xiàn)rame的速度由其中一個CMOS 傳感器來主導，每一次CMOS 傳感器所輸出的數(shù)值為10bit，并同時輸出該pixel的x,y坐標，以利讀取。

(2) 多端口 SDRAM 控制器：通過六個FIFO來提供三讀三寫的SDRAM控制器，每一個FIFO的大小為2KB，全利用M4K RAM來生成。

VGA 控制器 & 圖像處理：將SDRAM讀來的數(shù)值，配合適當?shù)腍_sync及V_sync信號一個一個把Pixel打出去，在這同時亦順便進行X軸或Y軸的直方圖統(tǒng)計，并將結果存儲于另一個M4K RAM中，待NIOS需要時即可以馬上從此M4K RAM中讀到數(shù)值。

直流電機驅動電路

我們使用全橋電路來控制輪子的正轉及反轉、Nios通過CAR_CMD[3..0]這個PIO來控制車體的運動，CAR_CMD[1..0]為后輪的開關，而CAR_CMD[3..2]為前輪的開關，在圖十五中為一可控制電流正流或逆流的全橋電路開關，而前輪也相同，其中詳細的控制命令，如表2所示。

表2 金橋電路控制命令

圖10 軟件流程圖

圖11 雙CMOS 傳感器模塊

圖12 6-ports SDRAM controlle

[!--empirenews.page--]圖13 VGA controler & Image Processing模塊

圖14 后輪的全橋電路開關

實境測試

在圖15中，智能型圖像追蹤車已鎖定特定的目標物了，并朝著目標物前進，圖中可以清楚地看出除了自色箭頭標志外，尚有許多其它的白色干擾物，如白色墻壁、面紙…等，而在圖16中是智能型圖像追蹤車的VGA輸出，可以清楚地看到圖中是二值化的圖像，并且已智能型圖像追蹤車已鎖定白色箭頭標志(綠框圍住)，在車體前進時，綠框會自動變大并鎖定白色箭頭。

圖15 智能型圖像追蹤車正朝著目標物前進

圖16 智能型圖像追蹤車前進時鎖定的目標

圖17 智能型圖像追蹤車

結語

本設計使用兩顆嵌入式Nios軟核，通過快速設計且高集成性的Avalon總線，將復雜的外圍電路及數(shù)種內存模塊集成為車控平臺，通過Nios高性能的表現(xiàn)，可以很輕易地實現(xiàn)實時圖像處理及高速自動控制的產品。圖17為最終設計成型的智能型圖像追蹤車。