近日,慧鯉科技公布了其在手機(jī)影像AI超分辨率領(lǐng)域的最新突破,在世界領(lǐng)先的獨(dú)立質(zhì)量測(cè)評(píng)實(shí)驗(yàn)室DXOMARK 的手機(jī)后置攝像頭測(cè)試基準(zhǔn)第4版的遠(yuǎn)攝(Tele)專項(xiàng)評(píng)分中,搭載慧鯉最新AI超分辨率算法的智能手機(jī)取得了144分的遠(yuǎn)攝成績,在該領(lǐng)域表現(xiàn)第一。憑借創(chuàng)新地將深度學(xué)習(xí)與物理成像模型深度結(jié)合,慧鯉實(shí)現(xiàn)了先進(jìn)的AI計(jì)算光學(xué)和AI計(jì)算攝影算法,可分別彌補(bǔ)光學(xué)鏡頭和傳感器硬件的不足,最大限度的還原出真實(shí)場(chǎng)景的原始信息,并大幅提升最終圖像細(xì)節(jié)和清晰度。

慧鯉的AI超分辨率還實(shí)現(xiàn)了全倍率、全場(chǎng)景覆蓋,在1.0x到100x倍率范圍內(nèi),室內(nèi)、室外、夜景、人像、運(yùn)動(dòng)等場(chǎng)景下均能提供優(yōu)異的超分效果,其中,低倍率(close range)和遠(yuǎn)距離(long range)評(píng)測(cè)成績大幅領(lǐng)先目前市場(chǎng)最高水平的產(chǎn)品。此次突破彰顯了慧鯉在AI超分辨率技術(shù)領(lǐng)域軟硬協(xié)同的創(chuàng)新能力,顯著拓展了智能手機(jī)的長焦攝影能力和應(yīng)用場(chǎng)景。

DXOMARK 的手機(jī)后置攝像頭測(cè)試基準(zhǔn)第4版于2020年10月發(fā)布,慧鯉在2022年提交評(píng)測(cè)之時(shí)使用的是第4版基準(zhǔn)*。此次慧鯉科技向DXOMARK提交用于AI超分辨率算法性能評(píng)估的智能手機(jī)樣機(jī)配備了目前最好的長焦攝像頭之一。它采用4800萬像素1/2英寸傳感器,單像素尺寸0.8um,等效120毫米f/4.1光圈鏡頭,并配有OIS光學(xué)防抖。得益于AI超分辨率算法的突破,在DXOMARK第4版測(cè)試基準(zhǔn)遠(yuǎn)攝專項(xiàng)評(píng)分中,搭載慧鯉算法的智能手機(jī)樣機(jī)相較配備同等硬件規(guī)格長焦攝像頭的智能手機(jī)產(chǎn)品,實(shí)現(xiàn)了高達(dá)13分的成績提升。

從交織錯(cuò)綜的城市建筑群,到山川聳立的自然風(fēng)光,這些景象在長焦鏡頭下呈現(xiàn)的空間壓縮感,能夠給人帶來一種身臨其境之感。很多美妙絕倫的獲獎(jiǎng)攝影作品也誕生在長焦鏡頭之下,可以說,人們對(duì)長焦的追求以及纖毫畢現(xiàn)的畫質(zhì)拍攝沒有上限。然而,在實(shí)際的攝影過程中,光信號(hào)從進(jìn)入光學(xué)模組到最終成像輸出,需要經(jīng)過鏡頭、傳感器、圖像處理芯片(ISP)等多個(gè)復(fù)雜的環(huán)節(jié),容易導(dǎo)致光信號(hào)信息丟失、形態(tài)改變,造成像差等“失真”現(xiàn)象。受到體積所限,智能手機(jī)所配備的光學(xué)鏡頭和傳感器的素質(zhì)也難以和單反相機(jī)相媲美,最終損失的光信號(hào)在信號(hào)分辨率大幅放大的過程中會(huì)更加凸顯,限制了捕捉高頻細(xì)節(jié)和遠(yuǎn)景的能力。

精準(zhǔn)恢復(fù)物理世界的真實(shí)光學(xué)信號(hào)需要精確的成像模型。傳統(tǒng)方案一般是通過數(shù)學(xué)建模來表達(dá)物理成像過程,其優(yōu)勢(shì)在于可解釋性強(qiáng)且遵循物理世界的光學(xué)成像原理。但由于相機(jī)成像系統(tǒng)復(fù)雜,加上鏡頭、圖像傳感器等硬件在設(shè)計(jì)和制造過程中會(huì)不可避免地產(chǎn)生不同程度的偏差或缺陷,導(dǎo)致數(shù)學(xué)模型的最終輸出結(jié)果往往與實(shí)際物理成像的結(jié)果相差甚遠(yuǎn),比如光學(xué)像差、噪聲、信號(hào)竄擾等。另一種方案是完全依靠對(duì)大量數(shù)據(jù)的深度學(xué)習(xí)進(jìn)行圖像恢復(fù),“猜測(cè)”損失掉的畫面細(xì)節(jié)并進(jìn)行“填充”,這種方法雖然可以在一定程度上利用采集到的訓(xùn)練數(shù)據(jù)抵消硬件偏差的影響,但常常會(huì)碰到一些邊角案例會(huì)生成一些不符合物理世界規(guī)律的畫面內(nèi)容,影響成片率,而且還需要針對(duì)不同硬件平臺(tái)采集不同數(shù)據(jù),成本高昂。

慧鯉科技的“AI+成像模型”將基于成像系統(tǒng)的物理模型和基于大數(shù)據(jù)的深度學(xué)習(xí)兩者的優(yōu)勢(shì)結(jié)合在一起,利用了深度學(xué)習(xí)對(duì)成像數(shù)學(xué)模型和實(shí)際物理成像過程不一致的情況進(jìn)行彌補(bǔ)。針對(duì)光學(xué)鏡頭,慧鯉的計(jì)算光學(xué)算法可以更聰明地恢復(fù)因光學(xué)缺陷所造成的光信號(hào)信息損失,為傳感器提供高質(zhì)量的“原料”。在傳感器端,慧鯉的計(jì)算攝影算法可對(duì)多幀圖像進(jìn)行逐像素的智能融合,最大化利用光信號(hào)信息“原料”的價(jià)值,結(jié)合多幀融合、分辨率放大、降噪等算法和圖像處理芯片(ISP)的處理,使清晰度、細(xì)節(jié)、噪聲水平等更加逼真地達(dá)到物理世界的信號(hào)水平,最終輸出一張分辨率更高、細(xì)節(jié)更豐富的照片,讓遠(yuǎn)方的美景纖毫可見。不僅如此,基于同一套算法框架和高效的自動(dòng)化工具鏈,慧鯉可快速適配高、中、低階等不同攝像頭硬件配置的智能手機(jī),通過軟件算法與成像硬件的緊密協(xié)同,實(shí)現(xiàn)最大化的畫質(zhì)提升,幫助智能手機(jī)取得機(jī)身尺寸和長焦成像質(zhì)量上的完美平衡。

DXOMARK影像質(zhì)量總監(jiān)Claire NASLOT表示:“DXOMARK的遠(yuǎn)攝測(cè)試會(huì)在大約 40 毫米至 300 毫米的焦距范圍內(nèi)對(duì)所有圖像質(zhì)量屬性進(jìn)行評(píng)鑒,測(cè)試場(chǎng)景涵蓋來自實(shí)驗(yàn)室中的許多客觀測(cè)量和對(duì)現(xiàn)實(shí)生活圖像的感知分析,其中的紋理和細(xì)節(jié)表現(xiàn)是我們關(guān)注的重點(diǎn)。搭載慧鯉算法的智能手機(jī),其遠(yuǎn)攝圖像質(zhì)量令人印象深刻,在各種焦距下,它的細(xì)節(jié)保留效果均相當(dāng)出色,擁有比其他手機(jī)產(chǎn)品更好的紋理和噪聲表現(xiàn)。這意味著用戶在多種長焦拍攝場(chǎng)景下,都能獲得更加清晰、干凈的照片?！?

AI超分辨率是慧鯉智能影像一直以來所倡導(dǎo)的AI圖像傳感器(AI Sensor)、AI圖像處理芯片(AI ISP)以及AI軟件算法(SDK++)三位一體的智能影像解決方案的典型代表。這種三位一體的解決方案可以充分利用手機(jī)相機(jī)系統(tǒng)軟硬件的優(yōu)勢(shì),為用戶提供極致的影像畫質(zhì)和性能表現(xiàn)。一方面,慧鯉利用AI技術(shù)充分挖掘鏡頭模組和各種新型傳感器等硬件的潛力,最大程度的利用成像設(shè)備的底層特性,以得到最優(yōu)的成像質(zhì)量。另一方面,慧鯉也利用AI技術(shù)將成像系統(tǒng)中的各個(gè)獨(dú)立的部件有機(jī)地結(jié)合在一起,使得原本獨(dú)立運(yùn)作的成像模塊成為協(xié)同合作的成像平臺(tái)。

在AI Sensor方面,慧鯉利用其獨(dú)有的高效輕量AI技術(shù),將AI-RMSC、去壞點(diǎn)、去摩爾紋、HDR融合、顏色融合、RAW域去模糊、深度圖增強(qiáng)等算法成功地移植固化到小型圖像傳感器上,在大幅提升圖像質(zhì)量的前提下,解決了圖像傳感器面積小、功耗標(biāo)準(zhǔn)嚴(yán)、發(fā)熱量控制要求高等阻礙AI落地傳感器領(lǐng)域的難題,目前已經(jīng)成功研發(fā)并落地了多款手機(jī)旗艦的圖像傳感器IP固化。在AI ISP方面,慧鯉提供視頻HDR和視頻夜景的核心功能,支持多種新型圖像傳感器和多攝像頭,可定制化的AI Engine提供可擴(kuò)展的混合精度計(jì)算平臺(tái),進(jìn)一步提升能效比,支撐豐富的AI模型應(yīng)用。在SDK++方面,結(jié)合新型AI圖像傳感器和計(jì)算攝影算法,慧鯉推出了夜景、HDR、超分、人像、虛化、運(yùn)動(dòng)去模糊、插幀、屏下攝像頭等多個(gè)拍照和視頻畫質(zhì)增強(qiáng)產(chǎn)品,已應(yīng)用于多家智能手機(jī)品牌的產(chǎn)品當(dāng)中。

作為智能手機(jī)產(chǎn)業(yè)的頭部AI軟件供應(yīng)商,慧鯉致力于通過AI技術(shù)的賦能,以業(yè)內(nèi)領(lǐng)先的圖像處理技術(shù),輸出專業(yè)優(yōu)質(zhì)的影像效果,打造豐富多樣的特色功能,讓手機(jī)拍照更簡單,讓照片質(zhì)量更上一層樓,讓每個(gè)人都能成為攝影大師?；埘幊掷m(xù)引領(lǐng)AI感知和成像技術(shù)突破,通過場(chǎng)景驅(qū)動(dòng),結(jié)合強(qiáng)大的軟硬件結(jié)合能力,降低消費(fèi)者的使用門檻,輕松拍出更清晰、更自然、更美觀的照片,不斷豐富人們的移動(dòng)影像體驗(yàn)。

備注:*目前DXOMARK線上公布的影像基準(zhǔn)為第5版更新,但并不影響第4版評(píng)測(cè)結(jié)果的權(quán)威性。