摘要：針對(duì)同時(shí)處理高速多路視頻數(shù)據(jù)的需求，以NiosIl軟核CPU為核心，通過(guò)在FPGA上構(gòu)建可編程片上系統(tǒng)(System On Programmable Chip，SOPC)，利用SOPC系統(tǒng)自定義外設(shè)接口，配合DMA技術(shù)，完成對(duì)A／D轉(zhuǎn)換后的多路視頻數(shù)據(jù)的同時(shí)解碼采集。視頻解碼模塊采用滑動(dòng)窗法快速檢測(cè)定時(shí)基準(zhǔn)信號(hào)。FPGA可重構(gòu)的特性可以使系統(tǒng)根據(jù)實(shí)際應(yīng)用需要在原方案基礎(chǔ)上擴(kuò)展、裁減功能模塊，并根據(jù)資源情況重構(gòu)系統(tǒng)，達(dá)到資源與效率的最優(yōu)匹配。
關(guān)鍵詞：FPGA；Nios；IP核；多路數(shù)據(jù)采集；視頻解碼

引言
    數(shù)字圖像處理技術(shù)廣泛地應(yīng)用在信息處理領(lǐng)域，如何高效、靈活地將現(xiàn)實(shí)世界圖像數(shù)字化是信息處理的關(guān)鍵技術(shù)之一。本文基于FPGA技術(shù)設(shè)計(jì)了一個(gè)高速多路視頻數(shù)據(jù)采集系統(tǒng)。基于Altera Cyclone II芯片，構(gòu)建一個(gè)集成NiosII軟核處理器、存儲(chǔ)器、I／O接口、自定義外設(shè)的可編程片上系統(tǒng)系統(tǒng)(System On Programmable Chip，SOPC)。利用FPGA高速并行處理能力，可同時(shí)對(duì)多路視頻數(shù)據(jù)進(jìn)行視頻解碼，大大提高系統(tǒng)數(shù)據(jù)采集前端的處理能力。
    SOPC系統(tǒng)是可編程片上系統(tǒng)，由單個(gè)芯片完成整個(gè)系統(tǒng)的主要邏輯功能，同時(shí)具有靈活的可重構(gòu)特性?？筛鶕?jù)實(shí)際應(yīng)用中的不同需求裁剪、擴(kuò)充、升級(jí)系統(tǒng)，并且軟硬件系統(tǒng)均可編程。NiosII軟核CPU的外設(shè)可由設(shè)計(jì)者自由配置，具有靈活且運(yùn)行速度快的特點(diǎn)。

1 系統(tǒng)功能及特點(diǎn)
1．1 功能描述
    本文所提出的系統(tǒng)以Altera公司CycloneII系列的EP2C70為核心，通過(guò)外接擴(kuò)展板接入視頻信號(hào)，可同時(shí)采集處理2～6路視頻數(shù)據(jù)，將視頻數(shù)據(jù)解碼后提取出圖像區(qū)域的RAW DATA。SOPC系統(tǒng)通過(guò)自定義FIFO接口緩存數(shù)據(jù)，利用DMA技術(shù)將視頻數(shù)據(jù)搬移至存儲(chǔ)區(qū)域，供后續(xù)程序調(diào)用。
1．2 系統(tǒng)特點(diǎn)
    本系統(tǒng)主要具有以下特點(diǎn)：
    ①采用硬件描述語(yǔ)言編寫的視頻解碼模塊可以高效地完成視頻編解碼工作，如果接入的視頻信號(hào)編碼格式不同，可以靈活重構(gòu)每路視頻的解碼模塊，而不需要修改硬件設(shè)計(jì)。
    ②NiosII軟核CPU可以靈活地進(jìn)行任務(wù)調(diào)度，配合Nios IDE軟件編程環(huán)境，可以方便的對(duì)視頻A／D采集芯片進(jìn)行I2C總線配置。
    ③自定義FIFO接口緩存視頻數(shù)據(jù)，保證數(shù)據(jù)連貫性和準(zhǔn)確性，F(xiàn)IFO的緩沖區(qū)的長(zhǎng)度和數(shù)據(jù)寬度均可以定制，針對(duì)每一路視頻數(shù)據(jù)格式配置不同的FIFO緩沖區(qū)。
    ④采用DMA技術(shù)完成采集數(shù)據(jù)從SOPC外設(shè)到內(nèi)存的搬移，減輕CPU的負(fù)擔(dān)。

2 實(shí)現(xiàn)原理及系統(tǒng)結(jié)構(gòu)
2．1 系統(tǒng)總體框架
    整個(gè)系統(tǒng)主要分為SOPC系統(tǒng)、多路視頻解碼模塊、視頻A／D芯片絹、SDRAM存儲(chǔ)器幾大模塊。SOPC系統(tǒng)和多路視頻解碼模塊均由FPGA可編程邏輯資源實(shí)現(xiàn)。SOPC系統(tǒng)通過(guò)自定義FIFO(Custom FIFO)緩沖來(lái)自多路視頻解碼模塊(Multi-channel Video Decoder Module)的數(shù)據(jù)，DMA完成數(shù)據(jù)從Custom FIFO到SDRAM的搬移工作，NiosII CPU通過(guò)Avalon總線對(duì)視頻A／D采集芯片、自定義FIFO接口模塊以及DMA控制器進(jìn)行配置。系統(tǒng)總體結(jié)構(gòu)如圖1所示。

[!--empirenews.page--]
    SOPC系統(tǒng)以NiosII處理器為核心，通過(guò)AvaIon總線作為控制信號(hào)和數(shù)據(jù)傳輸中樞，NiosII軟核CPU及各類外設(shè)均掛載在Avalon總線上，本文SOPC系統(tǒng)中包括NiosII處理器、SSRAM、片上內(nèi)存、JTAG控制接口、I2C總線控制接口、自定義FIFO接口、2個(gè)SDRAM控制器、DMA等。
2．2 視頻解碼模塊設(shè)計(jì)
    視頻采集擴(kuò)展板以TVP5150低功耗視頻A／D芯片為核心，采集模擬攝像頭信號(hào)，經(jīng)A／D采樣后量化編碼成8位ITU-RBT．656視頻編碼格式輸出，輸出圖像分辨率為720x 480，像素時(shí)鐘為27 MHz。
    視頻解碼模塊具有兩個(gè)功能：
    ①根據(jù)ITU-RBT．656并行接口規(guī)則，將TVP5150芯片輸出的數(shù)據(jù)流轉(zhuǎn)換成YUV422的圖像RAW DATA。
    ②對(duì)視頻分辨率進(jìn)行調(diào)整，調(diào)整為640×480的分辨率，當(dāng)數(shù)據(jù)為有效區(qū)域像素時(shí)發(fā)出數(shù)據(jù)有效信號(hào)，即對(duì)自定義FIFO的寫請(qǐng)求信號(hào)。
    ITU-RBT．656協(xié)議中規(guī)定的信號(hào)中主要有3類：有效視頻區(qū)域數(shù)據(jù)信號(hào)、視頻定時(shí)基準(zhǔn)信號(hào)、輔助信號(hào)。視頻解碼模塊第一部分任務(wù)關(guān)鍵是如何快速檢測(cè)ITU-RBT．656視頻數(shù)據(jù)流中視頻定時(shí)基準(zhǔn)信號(hào)SAV／EAV。定時(shí)基準(zhǔn)信號(hào)由4個(gè)字節(jié)的序列組成，其格式為FF0000XY，前3個(gè)字節(jié)FF0000為標(biāo)志序列，最后一個(gè)字節(jié)XY表示該定時(shí)基準(zhǔn)信號(hào)前后的數(shù)據(jù)行位于整個(gè)數(shù)據(jù)幀的位置及該定時(shí)基準(zhǔn)信號(hào)類型。最后一字節(jié)XY每一位的含義如表1所列。

    F、V、H是標(biāo)志位，取值可為0或1。F位標(biāo)識(shí)圖像數(shù)據(jù)是奇場(chǎng)數(shù)據(jù)還是偶場(chǎng)數(shù)據(jù)，V位標(biāo)識(shí)當(dāng)前數(shù)據(jù)是否為有效數(shù)據(jù)，H位標(biāo)識(shí)該定時(shí)基準(zhǔn)信號(hào)為SAV還是EAV。F、V、H標(biāo)志位的取值與含義如表2所列。其中低四位P3～P0是由高4位經(jīng)異或運(yùn)算獲得，用于F，V和H值校驗(yàn)和糾錯(cuò)碼。  P3～P0的定義為：P3=VH，P2=FH，P1=FV，P0=FVH。
    傳統(tǒng)序列檢測(cè)通常使用狀態(tài)機(jī)來(lái)實(shí)現(xiàn)。本設(shè)計(jì)創(chuàng)新的使用滑動(dòng)窗法來(lái)快速檢測(cè)定時(shí)基準(zhǔn)信號(hào)，這種設(shè)計(jì)程序結(jié)構(gòu)清晰，在很大程度上減少了代碼量。根據(jù)ITU-RBT．656協(xié)議中定時(shí)基準(zhǔn)信號(hào)的定義，聲明變量SAV=(Window==24’hFF0000)＆(iData[4]==1’b0)。其中Window聲明24位寄存器，iData[7：0]是8位輸入信號(hào)，這里只取第4位。滑動(dòng)窗更新時(shí)每次左移8位，低8位用輸入信號(hào)補(bǔ)齊。
    解碼模塊的第二個(gè)功能在調(diào)整分辨率的時(shí)候引入Skip信號(hào)，當(dāng)Skip信號(hào)有效時(shí)，該像素點(diǎn)數(shù)據(jù)跳過(guò)。本設(shè)計(jì)通過(guò)除法器控制Skip信號(hào)，將行像素計(jì)算器的輸出值作為除法器的分子，分母為9，skip信號(hào)由除法器余數(shù)控制，當(dāng)余數(shù)為0時(shí)Skip信號(hào)有效。采用這種方案將行像素點(diǎn)由720轉(zhuǎn)換為640。
2．3 SOPC自定義FIFO接口
    由于視頻輸入部分工作在27 MHz的時(shí)鐘頻率下，而NiosII軟核CPU為了獲取較高的系統(tǒng)處理能力，整個(gè)SOPC系統(tǒng)工作在100 MHz的時(shí)鐘頻率下。數(shù)據(jù)從外部進(jìn)入SOPC系統(tǒng)的過(guò)程中由于時(shí)鐘的不匹配，極易造成數(shù)據(jù)重復(fù)或丟失，而異步FIFO正是解決這個(gè)問(wèn)題的關(guān)鍵。采用異步FI FO作為數(shù)據(jù)緩沖接口，低速時(shí)鐘域接收來(lái)自視頻解碼模塊的Raw Data圖像數(shù)據(jù)，完成寫FIFO操作；高速時(shí)鐘域響應(yīng)DMA控制器的讀請(qǐng)求，由DMA控制器完成讀FIFO操作。
    多路視頻數(shù)據(jù)存儲(chǔ)接口模塊通過(guò)SOPC的自定義外設(shè)實(shí)現(xiàn)，本設(shè)計(jì)針對(duì)多路視頻數(shù)據(jù)采集，可根據(jù)每路視頻數(shù)據(jù)的不同格式單獨(dú)為每路視頻數(shù)據(jù)定制存儲(chǔ)接口。這種設(shè)計(jì)一方面降低了系統(tǒng)硬件結(jié)構(gòu)的復(fù)雜度，另一方面保證每路數(shù)據(jù)獨(dú)立并行傳輸，提高數(shù)據(jù)采集的效率。自定義外設(shè)接口遵循Avalon總線協(xié)議，根據(jù)發(fā)起數(shù)據(jù)操作的方式不同，分為Master和Slave兩種，本系統(tǒng)的多路數(shù)據(jù)存儲(chǔ)接口模塊采用Salve模式。
    自定義存儲(chǔ)接口模塊以FIFO IP Core為核心，通過(guò)與Avalon總線協(xié)議匹配，接收NiosII處理器的控制信號(hào)。該模塊利用QuartusII中Mega Wizard Plug-In Manager實(shí)例化FIFO IP Core，根據(jù)數(shù)據(jù)格式和系統(tǒng)資源綜合考慮，F(xiàn)IFO的數(shù)據(jù)寬度為8位，F(xiàn)IFO深度為1024。在這里保留FI FO IP Core的讀時(shí)鐘信號(hào)readclk、讀請(qǐng)求信號(hào)readrequest、8位讀取數(shù)據(jù)接口q[7：0]、8位寫入數(shù)據(jù)接口 data[7：0]、寫時(shí)鐘信號(hào)writec lk、寫請(qǐng)求信號(hào)writerequest以及FIFO空狀態(tài)信號(hào)rdempty。實(shí)例化后的FIFO模塊如圖2所示。

[!--empirenews.page--]
    在SOPC自定義器件的配置過(guò)程中，根據(jù)我們所要實(shí)現(xiàn)的功能，F(xiàn)IFO的寫入端應(yīng)為SOPC系統(tǒng)的對(duì)外接口，F(xiàn)IFO的讀取端應(yīng)與Avalon總線掛接，并能被DMA控制模塊讀取。圖3為實(shí)例化后FIFO模塊作為自定義外設(shè)引入SOPC系統(tǒng)時(shí)的接口配置。

2．4 DMA控制器模塊
    DMA控制器負(fù)責(zé)將自定義FIFO接口中的數(shù)據(jù)搬移至存儲(chǔ)區(qū)域，每路視頻數(shù)據(jù)源對(duì)應(yīng)一個(gè)FIFO接口，每個(gè)FIFO接口配有一個(gè)DMA通道，各路視頻數(shù)據(jù)的解碼、存儲(chǔ)互不影響。SOPC系統(tǒng)所支持的DMA控制器IP Core傳輸模式有3種：
    ①存儲(chǔ)器到存儲(chǔ)器模式。這種情況下需要同時(shí)打開(kāi)發(fā)送通道和接收通道，而且源地址和目標(biāo)地址都是自增。
    ②存儲(chǔ)器到外設(shè)模式。這種情況下只要打開(kāi)發(fā)送通道，而且源地址自增，目標(biāo)地址固定。
    ③外設(shè)到存儲(chǔ)器模式。這種情況下只要打開(kāi)接收通道，而且源地址固定，目標(biāo)地址自增。
    本系統(tǒng)設(shè)計(jì)中，DMA控制器工作任務(wù)是將自定義外設(shè)存儲(chǔ)接口的數(shù)據(jù)搬移至SDRAM內(nèi)存中，所以采用第3種DMA控制器工作模式，即從外設(shè)到存儲(chǔ)器模式。這種工作模式下，源地址是自定義外設(shè)的地址，是一個(gè)固定地址。而目標(biāo)地址是SDRAM存儲(chǔ)器地址，需要地址自增，在數(shù)據(jù)傳輸過(guò)程中，由DMA控制器自動(dòng)完成目標(biāo)地址自增操作。SOPC系統(tǒng)中的DMA控制器IP Core配置中的DMA寄存器的寬度大小，決定了一次DMA傳輸所能傳輸?shù)臄?shù)據(jù)量大小。本設(shè)計(jì)所需搬移的數(shù)據(jù)量為一幀圖像大小。
2．5 存儲(chǔ)空間設(shè)計(jì)
    本系統(tǒng)方案中根據(jù)開(kāi)發(fā)板的資源，將多路采集的視頻數(shù)據(jù)分別存儲(chǔ)在兩塊SDRAM中，SOPC系統(tǒng)中兩塊SDRAM的基地址分別為SDRAM_0_BASE與SDRAM_1_BASE。一塊SDRAM中存儲(chǔ)的每路視頻數(shù)據(jù)間隔RAM_PROTECT_SPACE的地址空間，DATA_SPACE定義了每路視頻數(shù)據(jù)存儲(chǔ)在SDRAM中的預(yù)留空間大小。由此可得第n路視頻數(shù)據(jù)在SDRAM中的存儲(chǔ)空間的地址。
    起始地址：DATA_n_START_Addr=BASE_ADDRESS+RAM_PROTECT_SPACE。
    結(jié)束地址：DATA_n_END_Addr=DATA_n_START_addr+DATA_SPACE。
[!--empirenews.page--]
3 系統(tǒng)軟件設(shè)計(jì)
    本方案軟件部分主要為TVP5150芯片初始化、DMA控制器的配置等。軟件結(jié)構(gòu)流程如圖4所示。

4 實(shí)驗(yàn)結(jié)果
    為檢驗(yàn)高速多路視頻數(shù)據(jù)采集系統(tǒng)的圖像采集效果，系統(tǒng)外接4路攝像頭同時(shí)采集圖像數(shù)據(jù)，在實(shí)際視頻數(shù)據(jù)采集過(guò)程中，多路視頻圖像顯示連貫流暢。將存儲(chǔ)在SDRAM中的圖像數(shù)據(jù)讀取后，通過(guò)后期融合算法，融合成環(huán)境平面圖像，實(shí)際多路圖像采集融合效果如圖5所示。

結(jié)語(yǔ)
    本文基于FPGA設(shè)計(jì)了一種高速多路視頻數(shù)據(jù)采集系統(tǒng)，該系統(tǒng)通過(guò)外接視頻擴(kuò)展板連接多個(gè)視頻攝像頭，通過(guò)在FPGA內(nèi)部構(gòu)建視頻解碼模塊，能夠?qū)γ柯芬曨l數(shù)據(jù)并行解碼，提高要求實(shí)時(shí)性的多路數(shù)據(jù)采集的效率，并可在不更改硬件設(shè)計(jì)的前提下對(duì)編碼格式的數(shù)據(jù)采用不同的解碼模塊。SOPC系統(tǒng)的自定義FIFO接口能夠高速緩存視頻數(shù)據(jù)。通過(guò)DMA IP Core的使用，可減少Niosll軟核CPU讀取低速I／O接口數(shù)據(jù)所占用的時(shí)鐘周期，提高整個(gè)系統(tǒng)的工作效率。