在備受關(guān)注的視頻領(lǐng)域，百度增強(qiáng)現(xiàn)實(shí)技術(shù)部技術(shù)架構(gòu)師馬曉昕從技術(shù)層面全面解讀了百度AR與百度智能云的強(qiáng)強(qiáng)聯(lián)合為短視頻創(chuàng)作者提供的云端賦能，為激活內(nèi)容創(chuàng)造力帶來了無限可能。

據(jù)第三方數(shù)據(jù)顯示，2018年短視頻行業(yè)月獨(dú)立設(shè)備數(shù)已近7億臺，短視頻日漸成為營銷傳播的通用手段和普通人記錄分享的常規(guī)方式?？梢哉f，短視頻時代，每個人都能成為內(nèi)容的生產(chǎn)者。

在短視頻制作方面，百度智能云構(gòu)建了從基礎(chǔ)設(shè)施、平臺工具到數(shù)據(jù)傳輸?shù)囊徽捉鉀Q方案，全能力覆蓋互動拍攝、智能編輯、轉(zhuǎn)碼上傳流程，為UGC/PGC內(nèi)容創(chuàng)作打造了利器。而百度AR與智能云平臺的能力打通，在拍攝階段引入豐富的AR特效能力，讓創(chuàng)作者通過疊加人機(jī)交互玩法獲得更大的想象空間；對平臺開發(fā)者來說，DuMix AR 5.0提供的涵蓋硬件層、結(jié)合層、能力層、技術(shù)平臺、內(nèi)容平臺和業(yè)務(wù)場景的多層次開放架構(gòu)，將有助于他們進(jìn)行靈活擴(kuò)展，大幅提高生產(chǎn)效率。

AR技術(shù)在短視頻中有哪些應(yīng)用場景？從最常見的美顏濾鏡，到手勢控雨、肢體游戲、環(huán)境風(fēng)格變換等，百度增強(qiáng)現(xiàn)實(shí)技術(shù)部技術(shù)架構(gòu)師馬曉昕結(jié)合不同玩法實(shí)例解析了DuMix AR 5.0人臉肢體手勢環(huán)境的一體化交互的技術(shù)解決方案。

通常在說到人臉特效能力時，大家往往關(guān)注的是能夠精準(zhǔn)定位150個2D關(guān)鍵點(diǎn)，涵蓋78個骨骼的關(guān)鍵點(diǎn)，能輸出3D的人臉姿態(tài)。其實(shí)在基礎(chǔ)能力之上，對于嘴部和眼球這兩個最“出戲”的部位，我們提供了更加精準(zhǔn)的解析，以保障應(yīng)用層可實(shí)現(xiàn)的玩法更多；另外，我們還對人臉平面進(jìn)行了三角剖分，分成264個三角形；以及5210個三角形人臉立體剖分，基于這個面部網(wǎng)格可以制作各種2D/3D貼紙、變形或進(jìn)行其他拓展。

我們也預(yù)設(shè)了32個人臉的表情基和15個表情語義，包含如微笑、大笑、睜眼、閉眼等一些常見的表情。通過內(nèi)置的19套塑形參數(shù)、五種基礎(chǔ)美妝、立體的3D的妝容等更加高階的能力，可以滿足開發(fā)者對于人臉特效玩法的各種需求，如美妝美體、微整形、多人實(shí)時換臉和個性化的美顏需求，并且在應(yīng)對光照變化劇烈、大角度追蹤、抖動遮擋這些復(fù)雜情境都表現(xiàn)出很強(qiáng)的穩(wěn)定性和魯棒性。

手勢特效預(yù)設(shè)了8種手勢語義，包含21個關(guān)鍵點(diǎn)，能夠復(fù)原出3D的手掌姿態(tài)；肢體特效提供59個輪廓點(diǎn)/18個關(guān)節(jié)點(diǎn)兩種輸出方式，其中18個關(guān)節(jié)點(diǎn)識別速度，全機(jī)型測試最多不超過6.7毫秒；人像分割更是達(dá)到IOU 93.76%的高指標(biāo)。

從人體跟蹤到物理世界大場景跟蹤，依靠低成本的地圖采集和在線融合跟蹤方案，百度AR推出了VPAS視覺定位與增強(qiáng)服務(wù)，用戶在打開時省去了掃描平面這一步驟，體驗(yàn)路徑更加順暢。開發(fā)者可以在真實(shí)世界中構(gòu)建更加宏大的虛擬場景，我們提供的實(shí)時渲染能力對于26萬面大場景在普通手機(jī)上的渲染幀率也達(dá)到了30fps。

為了降低開發(fā)者的使用門檻，百度DuMix AR平臺對一體化人機(jī)交互能力進(jìn)行了封裝，靈活的架構(gòu)確保開發(fā)者可以自主高效地進(jìn)行能力和玩法擴(kuò)展。

此外，針對不同需求的短視頻內(nèi)容制作者，百度DuMix AR特效開放平臺也提供了兩套不同的工具：具備創(chuàng)意技術(shù)能力的平臺開發(fā)者可以應(yīng)用工具插件進(jìn)行內(nèi)容制作，也可以通過生態(tài)合作伙伴進(jìn)行定制化生產(chǎn)；而個人開發(fā)者則可以使用平臺開放編輯器DuMix AR Studio和移動端預(yù)覽工具DuMix AR Cam進(jìn)行開發(fā)和實(shí)時調(diào)試。

百度AR提供的創(chuàng)意生產(chǎn)工具結(jié)合百度智能云的基礎(chǔ)架構(gòu)服務(wù)，以及百度生態(tài)資源閉環(huán)，共同構(gòu)建了從創(chuàng)意內(nèi)容到AR互動體驗(yàn)的完整工具鏈，提升生產(chǎn)端到消費(fèi)端的整體效率，有效降低生產(chǎn)成本，讓AI/AR賦能產(chǎn)業(yè)、改變生活！