英特爾助力北京冬奧會(huì)新體驗(yàn): 3DAT技術(shù)和AI算法閃亮登場(chǎng)
2月4日晚,相信不少網(wǎng)友都觀看了北京2022年冬奧會(huì)的開(kāi)幕式。在《致敬人民》和《雪花》兩個(gè)節(jié)目中,漫天流動(dòng)的風(fēng)雪在滑冰運(yùn)動(dòng)員的腳下實(shí)時(shí)消散、五百多個(gè)孩子如晶瑩的雪花在舞臺(tái)上歡笑嬉戲,這些畫(huà)面創(chuàng)意十足,令人印象深刻…但你知道這樣的效果是怎么實(shí)現(xiàn)的嗎?除了演員們的精心排練,還有來(lái)自?shī)W運(yùn)會(huì)全球TOP合作伙伴——英特爾的創(chuàng)新技術(shù)。
英特爾以基于英特爾至強(qiáng)可擴(kuò)展處理器的3DAT技術(shù),聯(lián)合第三方專業(yè)團(tuán)隊(duì)定制開(kāi)發(fā)了“基于人工智能技術(shù)的演出實(shí)時(shí)特效系統(tǒng)”。憑借先進(jìn)的AI算法,英特爾僅通過(guò)4臺(tái)攝像機(jī)進(jìn)行拍攝就覆蓋了全場(chǎng),隨后將視頻信號(hào)送到邊緣計(jì)算系統(tǒng)中進(jìn)行三維信號(hào)重建及渲染,隨即將生成的藝術(shù)形象呈現(xiàn)在LED大屏上,并以強(qiáng)大算力確保演員與大屏中藝術(shù)形象互動(dòng)的實(shí)時(shí)性與流暢性。
在覆蓋范圍上,英特爾依賴于先進(jìn)的AI算法專門(mén)設(shè)計(jì)開(kāi)發(fā)了多個(gè)人體檢測(cè)AI模型,可以穩(wěn)定精準(zhǔn)識(shí)別場(chǎng)中上百名演員,最終利用多相機(jī)標(biāo)定結(jié)果實(shí)時(shí)輸出他們的真實(shí)位置信息,只采用了4臺(tái)攝像機(jī)就做到了覆蓋全場(chǎng)并完成信息采集。
在實(shí)時(shí)性上,攝像機(jī)將采集到的數(shù)據(jù)信號(hào)通過(guò)光纖傳輸?shù)接⑻貭栐趪?guó)家體育場(chǎng)內(nèi)搭載了第三代英特爾至強(qiáng)可擴(kuò)展處理器的邊緣計(jì)算系統(tǒng)上,它的強(qiáng)大算力可滿足實(shí)時(shí)、大量、精準(zhǔn)度要求高的圖形、影像處理和3D建模、數(shù)據(jù)分析需求。
而在傳輸效率上,“基于人工智能技術(shù)的演出實(shí)時(shí)特效系統(tǒng)”通過(guò)英特爾OpenVINO視覺(jué)工具套件進(jìn)行開(kāi)發(fā),通過(guò)Intel DL Boost技術(shù)使能,進(jìn)而實(shí)現(xiàn)精準(zhǔn)、流暢、實(shí)時(shí)的視頻數(shù)據(jù)讀取和處理,從圖像采集、識(shí)別到檢測(cè)和處理,只需要不到幾十毫秒的時(shí)間。
“以前是人追著線走,現(xiàn)在是線追著人走?!狈謭?chǎng)導(dǎo)演王醒這樣描述輪滑表演與地面影像互動(dòng)的創(chuàng)新之處?!熬€追著人走”如何實(shí)現(xiàn)?國(guó)家體育場(chǎng)團(tuán)隊(duì)科技創(chuàng)新經(jīng)理?xiàng)罱澖榻B,3DAT技術(shù)(三維運(yùn)動(dòng)員追蹤技術(shù))的運(yùn)用是一大關(guān)鍵。
這支科技團(tuán)隊(duì)由北京電影學(xué)院和英特爾公司聯(lián)合組建,核心團(tuán)隊(duì)約有20人。北京電影學(xué)院聲音學(xué)院院長(zhǎng)童雷、英特爾項(xiàng)目經(jīng)理賀郁馨大致描述了系統(tǒng)的運(yùn)作過(guò)程:整個(gè)系統(tǒng)大致包括攝像機(jī)系統(tǒng)、進(jìn)行計(jì)算機(jī)視覺(jué)和人工智能處理的服務(wù)器系統(tǒng)、后端進(jìn)行渲染的渲染系統(tǒng)。運(yùn)行時(shí),技術(shù)團(tuán)隊(duì)通過(guò)安放在鳥(niǎo)巢看臺(tái)6層的4臺(tái)檢測(cè)度極高的攝像機(jī)覆蓋全場(chǎng),以此采集場(chǎng)上演員的影像,判斷他們的位置,然后把位置信息和動(dòng)作信息反饋給渲染系統(tǒng),渲染系統(tǒng)再按照導(dǎo)演設(shè)定的藝術(shù)效果,結(jié)合演員的位置、動(dòng)作、姿態(tài),進(jìn)行實(shí)時(shí)的現(xiàn)場(chǎng)合成。
除了《致敬人民》,開(kāi)幕式尾聲的《雪花》部分也運(yùn)用了這套系統(tǒng)。一般來(lái)說(shuō),3DAT技術(shù)多用于運(yùn)動(dòng)員訓(xùn)練,幫助教練員整理并提出科學(xué)訓(xùn)練計(jì)劃和專業(yè)策略,“而這套系統(tǒng)是世界上首次把英特爾3DAT技術(shù)運(yùn)用在演出中。”賀郁馨說(shuō),“這套系統(tǒng)難就難在它是實(shí)時(shí)的。這么長(zhǎng)的鏈條,要經(jīng)過(guò)幾套服務(wù)器,整個(gè)過(guò)程的延遲大概在100到200毫秒之間,所以從視覺(jué)上看起來(lái),渲染效果就像是跟隨著演員一樣,它給了導(dǎo)演們進(jìn)行更多藝術(shù)創(chuàng)作的空間?!?
顧灝寧表達(dá)了對(duì)英特爾支持體育事業(yè)的肯定和對(duì)北京2022年冬奧會(huì)順利舉辦的期盼:“科技一直是引領(lǐng)人類社會(huì)發(fā)展的重要?jiǎng)恿?,推?dòng)著人類社會(huì)的不斷進(jìn)步。作為國(guó)際知名的科技創(chuàng)新企業(yè),英特爾一直以來(lái)通過(guò)創(chuàng)新技術(shù)支持體育賽事和體育事業(yè)的發(fā)展。相信在即將到來(lái)的北京2022年冬奧會(huì)上,英特爾會(huì)用領(lǐng)先的技術(shù),致力為全世界帶來(lái)不同以往的冬奧體驗(yàn),釋放科技的力量,讓我們‘一起向未來(lái)’。”
北京2022年冬奧會(huì),智慧與科技的廣泛應(yīng)用將成為本屆盛會(huì)的一大亮點(diǎn)。英特爾技術(shù)包括AI數(shù)據(jù)分析、360° VR技術(shù)平臺(tái)、VSS數(shù)字孿生場(chǎng)館模擬仿真系統(tǒng)和為北京冬奧會(huì)公交運(yùn)營(yíng)提供支持的Mobileye等都將得到展現(xiàn)。
三維運(yùn)動(dòng)員追蹤技術(shù)(3DAT):極速追蹤 升級(jí)輔助訓(xùn)練
作為冬奧賽場(chǎng)上的焦點(diǎn),運(yùn)動(dòng)員們的備戰(zhàn)情況一直被全世界的體育愛(ài)好者們所關(guān)心。將創(chuàng)新技術(shù)應(yīng)用到訓(xùn)練和備戰(zhàn)中,已是全球體育事業(yè)發(fā)展的風(fēng)向所在。英特爾的3DAT技術(shù)已經(jīng)應(yīng)用在運(yùn)動(dòng)員日常訓(xùn)練中,幫助教練員整理并提出科學(xué)訓(xùn)練計(jì)劃和專業(yè)策略,有效提升訓(xùn)練效率,幫助運(yùn)動(dòng)員釋放運(yùn)動(dòng)潛力,提升競(jìng)技表現(xiàn)。英特爾已與中華全國(guó)體育總會(huì)達(dá)成合作,將3DAT技術(shù)應(yīng)用于速度滑冰和越野滑雪的運(yùn)動(dòng)員訓(xùn)練和教練員指導(dǎo)中,以支持冬奧會(huì)備戰(zhàn)中更科學(xué)、更高效的訓(xùn)練。
此外,英特爾3DAT技術(shù)還在本次冬奧會(huì)的花滑Gala秀——一場(chǎng)無(wú)關(guān)競(jìng)賽、只為觀賞的大秀上,為廣大奧運(yùn)體育迷奉獻(xiàn)一個(gè)精心準(zhǔn)備的大驚喜。
VR技術(shù)與360° VR技術(shù)平臺(tái):帶來(lái)極致沉浸體驗(yàn)
此外,在冬奧會(huì)舉辦期間,英特爾也將通過(guò)創(chuàng)新技術(shù)為運(yùn)動(dòng)員、教練員帶來(lái)豐富的休閑娛樂(lè)體驗(yàn)。在已經(jīng)落成的北京冬奧村(冬殘奧村)運(yùn)動(dòng)員娛樂(lè)中心,英特爾打造了豐富的娛樂(lè)中心整體解決方案。獨(dú)具創(chuàng)新科技的體驗(yàn)內(nèi)容將包含滑雪等冬季運(yùn)動(dòng)項(xiàng)目的VR模擬器,宇宙飛船,深海潛艇等高科技設(shè)備的VR模擬,以及各種中國(guó)傳統(tǒng)文化內(nèi)容,帶來(lái)不同于往屆奧運(yùn)村娛樂(lè)中心的沉浸式娛樂(lè)體驗(yàn)。