摘 要: 針對圖像處理系統(tǒng)計算量大、實時性高和體積小的要求， 研制了一種以DSP為主處理器FPGA 為輔處理器的高性能實時圖像處理系統(tǒng)。利用這兩種芯片的各自特點， 將算法分成兩部分分別交由FPGA 和DSP處理， 大大提高了算法的效率。系統(tǒng)具有結構簡單易于實現(xiàn)和運用方便靈活的特點， 加載上相應的程序之后能實現(xiàn)對所獲取的圖像跟蹤、識別和匹配等處理方法。詳細說明了系統(tǒng)的設計思路和硬件結構， 并在硬件系統(tǒng)上進行了算法仿真及實驗驗證。實驗結果表明: 該系統(tǒng)實時性高， 適應性好， 能夠滿足設計要求。

1 引 言

圖像處理系統(tǒng)的處理算法復雜， 計算量大， 處理實時性要求高， 同時系統(tǒng)的體積也有嚴格的限制。

因此在設計系統(tǒng)時必須綜合考慮這些特點， 合理選用芯片并保留一定的余度。通常的方法是以FPGA和DSP作為系統(tǒng)的處理器， 即由FPGA 承擔圖像預處理功能， DSP實現(xiàn)更復雜的圖像處理算法。在這樣一種結構之上如何擴展系統(tǒng)的應用， 增加其靈活性并減少因前期設計不當造成的風險是設計前需要重點考慮的問題。

　　2 系統(tǒng)結構設計

實時圖像處理系統(tǒng)除了FPGA和DSP這兩個核心部分之外， 還應該有圖像獲取模塊、圖像輸出模塊以及相應的存儲部分及通信控制電路等組成。各個主要模塊的功能如下:

圖像獲取模塊: 將成像儀輸入的圖像進行分離、放大， 并在FPGA 的控制下完成A /D 采樣， 將模擬信號轉換為數(shù)字信號， 并將數(shù)字信號輸入FPGA 模塊。

FPGA 模塊: 該模塊的主要功能是: 1產(chǎn)生系統(tǒng)所需要的邏輯控制信號，2為各芯片提供時鐘信號，3對輸入圖像進行預處理。

DSP模塊: 對預處理后的圖像進行目標檢測、識別與跟蹤等復雜的圖像處理運算。DSP模塊是整個系統(tǒng)的核心模塊。

圖像輸出模塊: 對處理后的數(shù)字圖像進行D /A轉換， 并疊加同步信號后形成標準的視頻， 實現(xiàn)對處理結果的顯示。

實時圖像處理系統(tǒng)結構如圖1所示。

圖1 實時圖像處理系統(tǒng)結構框圖

3 系統(tǒng)的具體實現(xiàn)方案

明確了系統(tǒng)的基本組成模塊之后需要做的工作是: 在滿足實時圖像處理算法各種要求的條件下如何將這幾個部分組合起來， 使得系統(tǒng)易于實現(xiàn)， 并具有較高的可靠性。同時還要對各模塊仔細分析加以改進以擴展系統(tǒng)的應用范圍。以下是各模塊的具體組成。

　　3. 1 圖像獲取模塊

為擴展系統(tǒng)應用， 該模塊有兩路視頻輸入通道，可以根據(jù)實際的需要決定是一路還是兩路視頻輸入。當將系統(tǒng)用于雙目成像系統(tǒng)時由于雙目視覺要求兩個成像儀同步， 所以在第一路視頻通道中經(jīng)EL4501分離出的復合同步信號接到第二路成像儀的同步輸入口， 以實現(xiàn)兩個成像儀的同步。因為成像儀輸出為模擬視頻信號， 所以分離之后的視頻信號須經(jīng)A /D轉換才能進入到FPGA中。A /D采樣過程由FPGA 控制， 由第二路視頻通道分離出來的場同步、行同步和奇偶幀指示信號直接進入到FPGA，F(xiàn)PGA 將同步信號和奇偶幀指示信號作為中斷來控制采樣的開始和停止。同時為防止系統(tǒng)其它電路對圖像獲取模塊的干擾， 在信號進入到FPGA 之前應該加上隔離芯片對信號進行隔離。

3. 2 FPGA 模塊

FPGA 是系統(tǒng)中實現(xiàn)圖像采集、圖像預處理、產(chǎn)生各種控制邏輯和時鐘信號的芯片， 系統(tǒng)選用的XC4VSX35芯片是V4 系列中專為數(shù)字信號處理進行了優(yōu)化的一款FPGA。該芯片支持主串、從串、主SelecMt AP、從SelecMt AP和JTAG 邊界掃描四種加載模式。本系統(tǒng)選用主串模式和JTAG 邊界掃描模式。FPGA使用一塊50MHz的晶振作為其全局時鐘輸入， 依靠V4的片內(nèi)數(shù)字時鐘管理器( DCM )可產(chǎn)生24MHz~ 500MH z的時鐘頻率。

在視頻信號輸入端， 由于PAL制式視頻采用了隔行掃描方式， 每幀圖像由奇、偶兩幀合成， 所以在FPGA 內(nèi)部需配置一個雙口RAM 以存儲奇幀的圖像， 等待偶數(shù)幀進來之后再將兩場合成為一幀完整的圖像。雙口RAM 的大小及縱深比應根據(jù)算法的實際需要來調(diào)整。作為系統(tǒng)的協(xié)處理器， 圖像的預處理也是由FPGA 來完成。FPGA 與DSP 的數(shù)據(jù)交換有多種方式。對于圖像處理系統(tǒng)來說， 其交換的數(shù)據(jù)量大， 視頻的像素速率高。所以使用一塊雙口RAM作為FPGA 與DSP數(shù)據(jù)交換的橋梁， 兩塊芯片各控制一端的讀寫來完成數(shù)據(jù)的交換， 這樣既滿*換數(shù)據(jù)量大的要求， 又方便實現(xiàn)。雙口RAM 選用的是IDT70V631S， 存取周期12ns， 兩個端口有各自的地址總線、數(shù)據(jù)總線和讀寫控制。DSP和FPGA可以在各自連接的端口對其進行訪問和控制。

圖像實時處理系統(tǒng)一般是一個控制平臺中的一部分， 圖像處理系統(tǒng)的最終處理結果通過多通道緩沖串口由FPGA 轉接后傳至上位機， 而上位機控制命令也由串口傳至DSP。串口通信控制可以由FPGA編程實現(xiàn)， 也可以選用專門的芯片來實現(xiàn)， 為節(jié)省FPGA 片內(nèi)資源， 串口通信控制使用串口通信控制芯片TL16CTL16C554實現(xiàn)。

　　3. 3 DSP模塊

DSP由于其計算精度高， 可完成結構復雜的圖像處理算法， 所以在系統(tǒng)中是核心處理器。本系統(tǒng)選用的DSP 芯片是TI生產(chǎn)的TMS320C6416 (簡稱C6416)， 其工作頻率最高達850MH z， 峰值處理速度達到了6800MSPS， 處理能力強大。DSP核心時鐘可通過設置CLKMODE0、1兩個引腳( pin)電位的高低來改變， 總共有BYPASS( x1)、x6、x12和x20四種模式。DSP 與FPGA 的數(shù)據(jù)交換通過雙口RAM( DPRAM)。雖然C6416片內(nèi)集成了高達8M 位的片內(nèi)高速緩存， 但考慮到圖像處理算法必涉及到對前后幾幀圖像進行處理， 為保證系統(tǒng)運行時存儲容量不會成為整個系統(tǒng)的性能瓶頸( choke point)， 在DSP模塊中額外擴展存儲空間。由于EM IFA 口的數(shù)據(jù)寬度更大， 因此系統(tǒng)在EM IFA 的CE1 空間內(nèi)擴展了兩片總共128M 位的同步存儲器。C6416的引導方式有三種， 分別是: 不加載， CPU 直接開始執(zhí)行地址0 處的存儲器中的指令; ROM 加載， 位于EM IFB CE1空間的ROM 中的程序首選通過EDMA被搬入地址0處， ROM 加載只支持8 位的ROM 加載; 主機加載， 外部主機通過主機接口初始化CPU的存儲空間， 包括片內(nèi)配置寄存器。本系統(tǒng)采用的是ROM 加載方式。C6416 片內(nèi)有三個多通道緩沖串口， 經(jīng)DSP處理的最終結果將通過DSP的多通道緩沖串口傳送至FPGA。

　　3. 4 圖像輸出模塊

該模塊的功能是將DSP 處理后的圖像數(shù)據(jù)進行數(shù)模轉換， 并與字符信號合成后形成VGA 格式的視頻信號。這里選用的數(shù)模轉換芯片為ADV7125。

這是AD I公司生產(chǎn)的一款三通道(每通道8 位)視頻數(shù)模轉換器， 其最大數(shù)據(jù)吞吐率330MSPS， 輸出信號兼容RS- 343A /RS - 170。由FPGA 產(chǎn)生的數(shù)字視頻信號分別進入到ADV7125的三個數(shù)據(jù)通道， 經(jīng)數(shù)模轉換后輸出模擬視頻信號并與原來的同步信號、消隱信號疊加后便可以在顯示器上顯示處理的結果了。和圖像獲取部分一樣， 為避免其它電路的干擾， 圖像輸出部分也需要加上數(shù)據(jù)隔離芯片。

　　4 系統(tǒng)仿真驗證

圖像處理算法可分為預處理算法和后期的復雜算法。預處理算法主要包括圖像的校正、增強和簡單的分割等， 主要作用就是加強圖像的特征， 消除干擾和提取有用信息。這一類算法的特點是算法簡單但運算量大， 適合于FPGA 來完成。預處理后的圖像一般為二值圖像， 這樣一來圖像的冗余量就大大減少， 這樣后期的復雜算法在對圖像進行匹配、識別、跟蹤等操作時數(shù)據(jù)量就大大減少， 增加了算法的可行性。為驗證本硬件系統(tǒng)的有效性， 進行了大量仿真測試試驗， 圖2~ 圖5為橋梁識別的試驗結果。

其中， 圖3、圖4是FPGA 模塊上進行圖像增強與分割等預處理的測試結果。圖5 是基于DSP 的目標識別結果。

圖2 原始圖像 圖3 FPGA 圖像增強結果 圖4 FPGA圖像分割結果 圖5 基于DSP的目標識別結果

　　5 結 論

實時圖像處理系統(tǒng)以DSP和FPGA 為基本結構， 并在此結構的基礎上進行了優(yōu)化， 增加了視頻輸入通路。同時所有的數(shù)據(jù)交換都通過了FPGA， 后期的調(diào)試過程證明這樣做使得調(diào)試非常方便， 既可以監(jiān)視數(shù)據(jù)的交換又方便修正前期設計的錯誤。整個系統(tǒng)結構簡單， 各個模塊功能清晰明了。經(jīng)后期大量的系統(tǒng)仿真驗證: 系統(tǒng)穩(wěn)定性高， 處理速度快，能滿足設計要求。

[1].EL4501datasheethttp://www.dzsc.com/datasheet/EL4501_295909.html.
[2].XC4VSX35datasheethttp://www.dzsc.com/datasheet/XC4VSX35_1550901.html.
[3].IDT70V631Sdatasheethttp://www.dzsc.com/datasheet/IDT70V631S_832680.html.
[4].12nsdatasheethttp://www.dzsc.com/datasheet/12ns_2105238.html.
[5].ROM datasheethttp://www.dzsc.com/datasheet/ROM+_1188413.html.
[6].VGA datasheethttp://www.dzsc.com/datasheet/VGA+_2568786.html.
[7].ADV7125datasheethttp://www.dzsc.com/datasheet/ADV7125_125136.html.