為機器人提供一站式雙向透視解決方案,萬有引力 GravityXR E100低功耗空間渲染和顯示專用芯片
在原HUAWEI天才少年創(chuàng)辦的智元機器人上,實現(xiàn)了3D落眼數(shù)字面部表情,表情是浮在其機器人頭部的外面的,大家可以感受它的立體的感覺。而這項技術(shù)背后,來自于萬有引力( GravityXR )的反向透明計算處理芯片技術(shù)加持。
在今天召開的第十五屆松山湖中國IC創(chuàng)新高峰論壇上,萬有引力(寧波)電子科技有限公司市場營銷總監(jiān)張武龍先生為大家介紹了公司最新的技術(shù)創(chuàng)新——EB100:面向機器人與XR應(yīng)用的低功耗空間渲染和顯示專用芯片。
EB100:反向透明計算處理芯片,實現(xiàn)更快呈現(xiàn)體驗
從2024年開始,GravityXR推出一款名為EB100的反向透明計算處理芯片,采用12nm工藝,主要應(yīng)用于數(shù)字人技術(shù),并應(yīng)用于特定的RST領(lǐng)域。
EB100芯片的設(shè)計目標(biāo)是為XR和機器人領(lǐng)域提供低功耗、高效能的解決方案。張武龍先生特別提到,EB100芯片通過集成3D模型實時重建與驅(qū)動技術(shù),可以實現(xiàn)更加精確和流暢的3D顯示效果,尤其是在面部表情渲染方面,EB100芯片比蘋果的技術(shù)實現(xiàn)了更高的亮度和分辨率,解決了傳統(tǒng)設(shè)備在低亮度條件下的顯示問題。同時,EB100芯片能夠與市場上的XR移動端芯片(如高通8代、K3588芯片)和PC芯片協(xié)同工作,形成強大的協(xié)同效應(yīng),為用戶提供更快的呈現(xiàn)體驗。
這是一款專為空間渲染和顯示設(shè)計的芯片,支持3D模型實時重建與驅(qū)動,能夠處理3D顯示圖像并增強其效果。它還具備多視角平行渲染和多圖層混合的能力,能夠提供高效的圖像處理。此外,EB100支持PCIe、USB 3.0和MIPI接口,并且能夠通過提供SDK、ASIC和3D顯示組件的整體解決方案,支持客戶在XR和機器人領(lǐng)域的需求。
如下圖展示了EB100芯片與XR2、XR2 Gen2芯片的配合工作方式。EB100芯片可用于面部掃描、實時跟蹤和UI圖層處理,它通過USB3.0/PCIe2連接進行數(shù)據(jù)傳輸,利用XR2 Gen2芯片的資源來支持離線建模、初始化校準(zhǔn)、面部渲染、光源引擎、圖形管道和模塊補償?shù)裙δ?。此外,EB100還與RST顯示模塊協(xié)同工作,完成顯示與光學(xué)堆棧的校準(zhǔn)和組裝,確保XR設(shè)備的精準(zhǔn)顯示和用戶交互。
通過先進的空間渲染技術(shù)和數(shù)字人技術(shù),GravityXR公司為XR和機器人行業(yè)提供的一站式雙向透視解決方案。這個方案由APP、SDK、ASIC(EB100芯片)以及定制3D顯示模塊組成,可以實現(xiàn)角色情感的實時捕捉與渲染,特別是在面部表情和眼部細(xì)節(jié)的處理上。該方案還支持無縫內(nèi)容融合與共享,能夠集成數(shù)字UI層,方便內(nèi)容的展示與共享。同時,解決方案提供了增強角色情感表現(xiàn)空間的功能,通過為Avatar(數(shù)字化身)加入精美的3D表情和藝術(shù)效果,提升用戶的沉浸感和交互體驗。
EB100應(yīng)用前景廣闊:XR教育、數(shù)字人、具身智能等
EB100芯片作為萬有引力(寧波)電子科技有限公司推出的低功耗空間渲染和顯示專用芯片,其核心技術(shù)不僅為XR和機器人領(lǐng)域提供了強大的支持,還在多個實際應(yīng)用場景中展現(xiàn)出了巨大的潛力。在XR領(lǐng)域的教育培訓(xùn)應(yīng)用中,EB100芯片通過其強大的實時渲染能力,能夠為教師和學(xué)生提供更加沉浸的互動體驗。教師佩戴XR頭盔,能夠?qū)崟r查看學(xué)生的視角,從而進行精準(zhǔn)的教學(xué)指導(dǎo)。同時,EB100芯片支持面部表情和肢體動作的捕捉與傳輸,能夠更加生動地展示教學(xué)內(nèi)容,增強學(xué)生的學(xué)習(xí)體驗。通過混合現(xiàn)實技術(shù),學(xué)生能夠與虛擬內(nèi)容進行互動,獲取更加直觀和深入的理解。
例如,在一門科學(xué)課程中,學(xué)生可以通過XR頭盔與虛擬實驗設(shè)備進行互動,不僅能看到實驗過程,還能實時了解實驗原理和結(jié)果。這種體驗方式顯著提高了學(xué)習(xí)的趣味性和實用性,尤其適用于需要動手操作的實踐性科目。
在數(shù)字人和虛擬角色的應(yīng)用中,數(shù)字人不僅可以用于客戶服務(wù)、虛擬助手等,還能與真實用戶進行實時互動。通過AI和面部識別技術(shù),EB100能夠根據(jù)用戶的面部表情生成高度逼真的虛擬形象,并將其實時映射到XR設(shè)備或機器人平臺上。
例如,在虛擬會議中,用戶可以使用EB100芯片生成虛擬形象,并與其他與會者進行面對面的互動,突破了物理距離的限制。在客戶服務(wù)場景中,數(shù)字人可以通過EB100芯片與用戶進行自然流暢的對話,提升用戶體驗。
在機器人領(lǐng)域,EB100芯片的低功耗和高效能特點使其成為具身智能機器人的理想解決方案。通過EB100,機器人能夠?qū)崟r渲染并表達面部表情,提升與用戶的情感交流能力。該技術(shù)廣泛應(yīng)用于智能陪伴機器人、遠(yuǎn)程醫(yī)療機器人等領(lǐng)域。
例如,在智能陪伴機器人的應(yīng)用中,EB100芯片能夠使機器人生成真實的面部表情,并與遠(yuǎn)程用戶進行互動。家長可以遠(yuǎn)程佩戴XR頭盔,與家中的陪伴機器人進行對話,機器人通過EB100芯片同步面部表情,增強親密感和互動性。這種技術(shù)使得機器人不僅僅是一個工具,更能成為與用戶建立情感聯(lián)系的伙伴。
不止于此,EB100芯片的實時面部表情捕捉與渲染技術(shù),能夠在虛擬社交和娛樂領(lǐng)域提供極為豐富的體驗。用戶在佩戴XR設(shè)備時,可以與朋友或家人通過虛擬角色進行互動,甚至在虛擬空間中共同參與游戲或其他娛樂活動。
例如,用戶可以在虛擬社交平臺中通過數(shù)字人代表自己,進行語音對話和面部表情同步,享受更加自然、真實的社交體驗。此外,結(jié)合XR設(shè)備和EB100芯片,虛擬娛樂內(nèi)容的呈現(xiàn)也更加生動,用戶可以在虛擬世界中享受與現(xiàn)實無縫連接的互動體驗。
EB100芯片憑借其在低功耗、高性能和實時渲染方面的優(yōu)勢,廣泛應(yīng)用于XR、機器人、數(shù)字人和虛擬角色等多個領(lǐng)域。無論是教育培訓(xùn)、數(shù)字人生成、具身智能機器人,還是虛擬社交和娛樂,EB100芯片都能夠為這些應(yīng)用提供強大的技術(shù)支持。隨著技術(shù)的不斷進步,EB100芯片將在未來的多個行業(yè)中發(fā)揮越來越重要的作用,推動數(shù)字交互和虛擬現(xiàn)實的全面發(fā)展。
結(jié)語
E100只是個起點,到2025年,萬有引力計劃發(fā)布X100芯片,這是一款功能全面的空間計算處理芯片,基于5nm + 12nm工藝,專為混合現(xiàn)實(MR)應(yīng)用設(shè)計,同時也將與AR眼鏡等設(shè)備配合使用。而在2026年,GravityXR的目標(biāo)是推出X200芯片,這是一款A(yù)I輔助的MR-Lite芯片,專注于AI驅(qū)動的MR應(yīng)用。此外,VX100 AI/AR ISP芯片也在開發(fā)中,旨在通過12nm工藝實現(xiàn)AI與AR的深度結(jié)合,進一步推動增強現(xiàn)實和人工智能技術(shù)的應(yīng)用。整個路線圖表明GravityXR致力于提供不斷優(yōu)化的芯片解決方案,以滿足日益增長的MR、AR和AI市場需求。