圖像處理與計算機視覺一體化:未來的必然趨勢
消費者和企業(yè)總想“以少獲多”,并且總會這樣做;這也在無形中推動了我們的市場發(fā)展,為技術創(chuàng)新者創(chuàng)造了無限機會。在系統(tǒng)領域,“以少獲多”往往意味著“高度集成”。將更多功能集中到一個芯片中可以降低成本,使解決方案在價格敏感的市場上更具競爭力,還可以降低功耗,延長電池壽命,減少移動或遠程應用的維護,解決充電難題。
我們已經習慣許多終端設備中使用AI驅動的計算機視覺(CV)。目前,許多ADAS(高級駕駛輔助系統(tǒng))應用程序主要用于防撞(包括向前行駛和倒車)、車道偏離檢測,當然,更多的是用于自動和半自動車輛。無人機不再依賴我們導航、感知和躲避障礙物。AR(增強現實)和VR(虛擬現實)設備需要與視覺結合的人工智能來感知我們的位置和姿勢,以確保低延遲的優(yōu)質體驗(最大限度避免暈動?。?。為了減少存儲需求,用于運動/動作相機的攝像頭正趨向于利用AI來捕捉重要的視頻序列,。設施安全應用程序同樣只需捕獲重要序列,比如在畫面中移動的人,更重要的是避免持續(xù)的人工監(jiān)視。
為什么我們希望將圖像處理添加到這些功能中呢?可以從任何需要一個廣角視圖,甚至是360度全景視圖的用例開始,我們已經熟悉了在最近一些汽車的前/后視圖屏幕上可以選擇顯示俯視圖。這是如何做到的?其方法是通過拼接兩個或多個相機的視圖,然后進行矯正,以生成某種程度的無失真圖像。當然,圖像渲染的質量水平各不相同,有的圖像明顯沒有其他圖像那么清晰。其中一個重要應用是在倒車時利用后視攝像頭檢測障礙物,并自動觸發(fā)剎車。
從中,我們可以更加深入地了解圖像處理的重要性。OEM(原始設備制造商)不希望使用多個后視攝像頭(成本高昂),他們更希望選用配備廣角鏡頭的單一攝像頭。你可能見過這些“魚眼”鏡頭捕捉的圖像有趣,但高度失真。這種失真的矯正處理(實時自適應去扭曲校正)不僅僅是為了美觀,而是在通過神經網絡處理圖像以檢測目標之前的必要步驟。許多安全應用程序同樣需要做此類預處理。如果可以使用帶矯正功能的單個魚眼鏡頭,而不是多個攝像頭,那么整個設備就會更便宜。
圖像穩(wěn)定是另一個重要應用,尤其是對于體育活動領域的消費者而言。如果你要從滑雪斜坡上滑下來,或者從巖石嶙峋的山腰騎車下來,你肯定不希望你的頭戴式相機記錄下顛簸的畫面。大多數人都希望所有不平穩(wěn)的動作能平穩(wěn)成像。圖像處理還可以幫助在低光條件下增強對比度,也可以支持自動對焦應用。雖然這些功能需要不同類型的處理元件,但是將它們組合到一個高效的嵌入式處理器中就可以集中實現所有性能,優(yōu)化功率,更重要的是可以降低許多價格敏感性應用設備的成本。
這些想法很好,但是這樣高度集成的解決方案會不會很快被下一代產品所淘汰?或者在下一次的網絡訓練中得到更差的處理效果?畢竟,神經網絡算法的發(fā)展非???。你將如何應對這些變化?首先,你需要圖形編譯器的支持。該編譯器能夠從行業(yè)標準的學習平臺映射到目標網絡,并通過選擇每個層的定點位寬來優(yōu)化目標網絡。其次,你必須按要求重新設計神經網絡架構,并且能夠模擬更新,以優(yōu)化功率和性能,然后重新運行編譯器,將訓練好的網絡映射到你更新的設備上。
此外,還需要為圖像處理提供充足的冗余,以便于可以充分利用最新技術。進一步了解CEVA NeuPro-解決方案如何實現該目標。