眾所周知,驍龍865安兔兔跑分達(dá)56萬,但這對于驍龍8系平臺來說,只是常規(guī)操作,我們已經(jīng)習(xí)以為常。而其不斷增強的AI性能,以及廣泛的AI用例似乎更有看點。從官方公布的數(shù)據(jù)以及隨后披露出的性能測試數(shù)據(jù)來看,驍龍865無疑還是安卓陣營標(biāo)桿產(chǎn)品。
全新一代旗艦移動平臺驍龍865已經(jīng)正式發(fā)布,預(yù)計2020年第一季度就可以看到搭載該平臺的產(chǎn)品上市。
先來回顧一下驍龍865 AI方面數(shù)據(jù)。由CPU、GPU、DSP、內(nèi)存、緩存等模塊共同組成的第五代AI Engine,運算能力達(dá)15萬億次/秒(TOPS),是驍龍855的2倍多,是驍龍845的5倍。
其中,作為AI Engine核心的Hexagon 698處理器,引入了全新升級的Hexagon張量加速器,算力是上代的4倍以上,能效提升35%。
同時支持深度學(xué)習(xí)帶寬壓縮,無損壓縮率超50%,可為SoC其它部分釋放帶寬,節(jié)省內(nèi)存?zhèn)鬏敹?jié)省功耗。
Adreno 650部分支持16位、32位浮點運算,支持新的AI混合精度指令,算力提升2倍以上。另外,LPDDR5內(nèi)存將帶寬增加30%,有助于優(yōu)化AI處理。
驍龍865整體AI性能提升非常明顯,那么這么強大的AI算力能夠做什么,也是我們關(guān)心的。
在驍龍技術(shù)峰會上,高通展示了豐富的AI用例。AI已經(jīng)并將持續(xù)改善我們的終端使用體驗。
1、實時互譯+實時語音轉(zhuǎn)文字/語音
基于強大的AI算力,驍龍865可以為基于AI的實時翻譯提供支持。
在驍龍技術(shù)峰會現(xiàn)場,演示了實時的演講語音英中互譯,且實時轉(zhuǎn)文字。轉(zhuǎn)換的正確率、效率都達(dá)到了很高的水準(zhǔn)。
演示結(jié)束,現(xiàn)場觀眾無不發(fā)出驚嘆。如此高的互譯速度和效率在移動終端平臺上應(yīng)該尚屬首次。
對于媒體工作者來說尤其適用,將大大提高工作效率,減少不必要的麻煩。
可能未來在大型的會議現(xiàn)場,不再需要速記,不再需要中英同傳,這些都可以依靠AI來實現(xiàn)。
關(guān)于實時翻譯的另外一個場景,出國的時候相信大家都一定遇到過語言不通的尷尬。
雖然我們也從小開始就學(xué)習(xí)英語,但熟練掌握并運用的其實并不多。上述的演示意味著,未來手機上實時語音互譯不是問題。
需要強調(diào)的是,不同于常規(guī)的翻譯棒產(chǎn)品(需要錄入聲音再翻譯),這一互譯是“實時”的。
以后我們在國外與當(dāng)?shù)厝私涣鞯臅r候應(yīng)該是這樣的:對向而坐,手機放桌上,你一言我一語。
他說英語你聽到的是中文,你說中文他聽到的是英語,好像用同種語言交流一樣順暢。沒有等待,沒有任何障礙。相比翻譯棒,這種體驗可高級太多了。
Vlog視頻博客的興起,極大改變了用戶獲取信息的方式,更多用戶偏向于用Vlog的形式分享生活、分享各種信息。
而在視頻處理中,添加字幕一直都是最耗費時間和精力的步驟,尤其是視頻剪輯工作者對此應(yīng)該深有體會。
在驍龍技術(shù)峰會之后,首發(fā)驍龍765G移動平臺的Redmi K30正式發(fā)布。
其中,Redmi帶來了一項頗為惹眼的功能:視頻實時字幕。即用戶在錄制視頻的時候,可以將用戶所說的話實時生成字幕,并添加到視頻中。
它極大簡化了視頻剪輯后期的處理時間,優(yōu)化了效率,讓大眾用戶也能成為專業(yè)的Vlog創(chuàng)作者。而這一功能的實現(xiàn)自然也是依托于不斷提升的終端AI算力。
2、手機多攝鏡頭平滑變焦
多攝已經(jīng)成為手機相機的主流,其主要作用是用不同的鏡頭應(yīng)對不同的拍攝場景,以實現(xiàn)更好的拍攝效果。
另外一大作用就是通過不同焦段的鏡頭組合實現(xiàn)接力變焦,但現(xiàn)在大多數(shù)安卓手機上的變焦體驗并不是很好,變焦體驗飽受詬病。
原因在于鏡頭切換時因鏡頭素質(zhì)的差異,會造成白平衡、色彩等觀感的跳變,非常不順滑。
在驍龍技術(shù)峰會上,高通展示了與虹軟合作,通過虹軟全新算法可實現(xiàn)媲美單反相機的平滑自然變焦體驗。
AI應(yīng)用于拍照優(yōu)化很早之前就有了,平滑變焦應(yīng)該是拍照優(yōu)化的又一個延伸。
通過大量的實時AI計算,使各個鏡頭呈現(xiàn)的畫面觀感達(dá)到驚人的一致,最大程度上消除鏡頭切換時的跳變,讓變焦變平滑。
3、更好玩、更有趣
驍龍技術(shù)峰會上,Qualcomm Technologies產(chǎn)品管理副總裁Ziad Asghar展示了LoomieTalk。
該應(yīng)用程序重點展現(xiàn)了在Qualcomm驍龍865移動平臺之第五代AI Engine人工智能引擎上運行時,利用Qualcomm驍龍神經(jīng)處理SDK后,Loom.ai實時SDK創(chuàng)建的3D虛擬形象極富表現(xiàn)力。
這些虛擬形象可以在手機的視頻會議中實時鏡像面部表情和動作。Loom.ai借由驍龍移動平臺的人工智能功能,可在移動硬件上大規(guī)模高效部署Loomie 3D虛擬形象。
Loom.ai只需使用一張照片,就可創(chuàng)建出一個完全可定制且具有用戶特征和動作的Loomie 3D虛擬形象。
它將深度學(xué)習(xí)與高級CGI相結(jié)合,可捕捉帶有微表情的細(xì)膩動作,并將其應(yīng)用到用戶Loomie中。
就現(xiàn)場的實際體驗而言,還是相當(dāng)震撼的。Loomie 3D通過對使用者的捕捉,可以實時呈現(xiàn)出一個3D的虛擬形象。
即便身處異地,也能通過虛擬形象實現(xiàn)面對面的無距離感的交流,增強員工協(xié)作,提高工作效率,所營造出的輕松愉快的氛圍同時也可提升企業(yè)文化。
4、持續(xù)優(yōu)化手機拍照
前面也已經(jīng)提到,AI很早就已經(jīng)應(yīng)用于手機拍照優(yōu)化了。
通過對實際環(huán)境的捕捉和實時分析,甚至可以令手機的成像水準(zhǔn)突破傳感器成像能力的天花板。
傳感器的成像能力雖然一直都是在逐步提升的,但AI一定更是手機影像的未來。
AI最早應(yīng)用于手機拍照優(yōu)化的用例應(yīng)該就是人像美顏了,通過人臉的精確分析,針對每個人的臉部特征做針對性優(yōu)化,避免了整體磨皮、提亮造成的千篇一律。
在AI算力逐步提升之后,不僅照片可以美顏,視頻同樣也可以。
現(xiàn)在已經(jīng)完全可以做到視頻中的實時美顏美體,也在一定程度上成就了“全民直播”,人人皆可美,人人皆可做主播。
而到了現(xiàn)在,15TOPS的AI算力可以為手機影像帶來哪些提升?
相機傳感器的成像能力是有上限的,無論單位面積多大的進(jìn)光量,在極限夜間、暗光環(huán)境下無論怎么做算法優(yōu)化都不可避免會出現(xiàn)噪點,畫質(zhì)不佳。
AI降噪則可以突破傳感器成像能力上限,通過對畫面的實時捕捉和分析再進(jìn)行處理,優(yōu)化畫質(zhì),提升純凈度,得到一張觀感更好的照片。
因為手機的內(nèi)部空間彌足珍貴,手機相機傳感器要想獲得更好的畫質(zhì),勢必要增大傳感器面積和體積,總會有上限。
并且與手機追求高度集成、輕薄化的趨勢相悖。正是因為終端平臺AI算力的不斷提升,可以對手機成像做出更精細(xì)化的處理。
可以看到,正是依托于驍龍865移動平臺強大的AI性能,更多的功能已經(jīng)得到實現(xiàn)。而現(xiàn)在我們看到的功能相信還只是冰山一角,未來,無論在影像、還是交互方面,AI還將持續(xù)對手機使用體驗做出更深度優(yōu)化。而此次驍龍865大幅提升的AI算力以及高通所搭建的AI生態(tài),才更有看點。基于AI,更多的功能演進(jìn)持續(xù)發(fā)生,正不斷提升著用戶體驗。