特斯拉展示全自動(dòng)駕駛汽車AI訓(xùn)練芯片:運(yùn)算性能突破360 TFLOPS
不讓Nvidia、Google專美于前,在今年Tesla AI Day活動(dòng)上,美國電動(dòng)汽車大廠特斯拉(Tesla)展現(xiàn)自家最新自動(dòng)駕駛汽車應(yīng)用同時(shí),首度公開披露一款自制AI訓(xùn)練芯片Dojo D1,強(qiáng)調(diào)擁有GPU的強(qiáng)大運(yùn)算力,更兼具CPU的運(yùn)用彈性,以及超高速傳輸帶寬,甚至在AI算力表現(xiàn)也優(yōu)于Google的TPU v3,可提供362 TFLOPS運(yùn)算性能,特斯拉不只用它加速AI訓(xùn)練創(chuàng)建全自動(dòng)駕駛汽車,未來也將作為首款人型機(jī)器人Tesla Bot的AI訓(xùn)練使用。
這顆自動(dòng)駕駛汽車AI芯片D1,是由Tesla工程團(tuán)隊(duì)一手開發(fā)完成,從芯片架構(gòu)、制作到封裝,采用先進(jìn)7納米制程,其內(nèi)置高達(dá)500億個(gè)晶體管。根據(jù)Tesla的介紹,D1處理器芯片是由354個(gè)高性能訓(xùn)練節(jié)點(diǎn)所組成的,每個(gè)訓(xùn)練節(jié)點(diǎn)都可視為是一個(gè)個(gè)運(yùn)算芯片,每個(gè)訓(xùn)練芯片皆采用定制ISA指令集架構(gòu)設(shè)計(jì)完成,特別對于ML工作負(fù)載執(zhí)行加以優(yōu)化,并內(nèi)置1.25MB高速的SRAM以及低延遲和高帶寬的網(wǎng)絡(luò)fabric,使得單一芯片,在BF16/CFP8測試基準(zhǔn)下,其運(yùn)算性能可達(dá)1.024 TFLOPS。
由354個(gè)訓(xùn)練節(jié)點(diǎn)所組成的D1模塊芯片,其運(yùn)算力更一舉達(dá)到362 TFLOPS(每秒1萬億次浮點(diǎn)運(yùn)算),若以目前市面已知的ML芯片 (TPU v3、GPU(HBM-Links互聯(lián))或其他創(chuàng)業(yè)公司ML芯片)性能來做比較,Tesla指出,D1算力表現(xiàn)還優(yōu)于其他市面ML芯片,甚至比Google的TPU v3表現(xiàn)都還好。另外這顆處理器本身的熱設(shè)計(jì)功耗(TDP)僅有400瓦,相較之下,TPUv3有達(dá)到450瓦。不只運(yùn)算性能,Tesla也特別強(qiáng)調(diào)這顆AI處理器,在設(shè)計(jì)上采用新的芯片互聯(lián)架構(gòu),可提供內(nèi)部高速互聯(lián),總帶寬可達(dá)到每秒40TB的傳輸能力,而且每個(gè)D1芯片,能支持最多576信道,可用于高速I/O應(yīng)用,跟當(dāng)前最先進(jìn)網(wǎng)絡(luò)交換機(jī)相比,Tesla表示,D1芯片可提供高達(dá)兩倍的傳輸帶寬。
開發(fā)人工智能既昂貴又耗時(shí)。定制芯片可以為公司帶來優(yōu)勢。
特斯拉制造汽車。現(xiàn)在,它也是最新一家通過制造自己的硅芯片來尋求人工智能優(yōu)勢的公司。
在上個(gè)月的一次促銷活動(dòng)中,特斯拉透露了一種名為 D1 的定制 AI 芯片的詳細(xì)信息,用于訓(xùn)練其 Autopilot 自動(dòng)駕駛系統(tǒng)背后的機(jī)器學(xué)習(xí)算法。該活動(dòng)的重點(diǎn)是特斯拉的人工智能工作,并展示了一個(gè)跳舞的人類,該公司打算制造一個(gè)人形機(jī)器人。
特斯拉是最新一家自行設(shè)計(jì)芯片的非傳統(tǒng)芯片制造商。隨著人工智能變得越來越重要且部署成本越來越高,谷歌、亞馬遜和微軟等其他在該技術(shù)上投入巨資的公司現(xiàn)在也在設(shè)計(jì)自己的芯片。
在此次活動(dòng)中,特斯拉首席執(zhí)行官埃隆馬斯克表示,從用于訓(xùn)練公司神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)系統(tǒng)中榨取更多性能將是自動(dòng)駕駛?cè)〉眠M(jìn)展的關(guān)鍵?!叭绻粋€(gè)模型需要幾天的時(shí)間來訓(xùn)練而不是幾個(gè)小時(shí),那將是一件大事,”他說。
在 2019 年改用英偉達(dá)硬件后,特斯拉已經(jīng)設(shè)計(jì)了可以在其汽車中解釋傳感器輸入的芯片。但是,創(chuàng)建一種用于訓(xùn)練 AI 算法的強(qiáng)大而復(fù)雜的芯片要昂貴得多且具有挑戰(zhàn)性。
特斯拉以制造電動(dòng)汽車聞名于世,但現(xiàn)在該公司也在尋求通過自主研發(fā)芯片在人工智能(AI)領(lǐng)域?qū)で笳紦?jù)更大優(yōu)勢。在上個(gè)月的“AI日”活動(dòng)中,特斯拉公布了名為D1的定制AI芯片的細(xì)節(jié),該芯片用于訓(xùn)練其自動(dòng)駕駛系統(tǒng)Autopilot背后的機(jī)器學(xué)習(xí)算法。此次活動(dòng)聚焦于特斯拉的AI努力,并展示了其計(jì)劃推出的人形機(jī)器人。
特斯拉是最新一家自主設(shè)計(jì)芯片的非傳統(tǒng)芯片制造商。隨著AI變得越來越重要,部署成本也越來越高,其他在這項(xiàng)技術(shù)上投入巨資的公司-現(xiàn)在也在設(shè)計(jì)自己的芯片,包括谷歌、亞馬遜以及微軟等。在活動(dòng)中,特斯拉首席執(zhí)行官埃隆·馬斯克(Elon Musk)表示,從用于訓(xùn)練公司神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)系統(tǒng)中擠出更多性能將是自動(dòng)駕駛?cè)〉眠M(jìn)步的關(guān)鍵。他說:“如果某個(gè)模型需要的訓(xùn)練時(shí)間縮短至幾個(gè)小時(shí)而非幾天,這可能產(chǎn)生重大影響?!?
特斯拉在2019年放棄使用英偉達(dá)硬件后,已經(jīng)設(shè)計(jì)了能夠解讀其汽車中傳感器數(shù)據(jù)的芯片。但是,創(chuàng)造能夠訓(xùn)練AI算法所需的強(qiáng)大而復(fù)雜的芯片要昂貴得多,也具有更大的挑戰(zhàn)性。參加特斯拉活動(dòng)的斯坦福大學(xué)汽車研究中心主任克里斯·格德斯(Chris Gerdes)表示:“如果你認(rèn)為自動(dòng)駕駛的解決方案是訓(xùn)練更大的神經(jīng)網(wǎng)絡(luò),那么接下來就是你需要的那種垂直整合策略?!?
特斯拉利用其首個(gè)“人工智能日”(AI Day)展示了其自動(dòng)駕駛能力的改進(jìn)(這一能力已受到監(jiān)管機(jī)構(gòu)的關(guān)注),并公布了一款人形機(jī)器人的計(jì)劃,首席執(zhí)行官埃隆·馬斯克(Elon Musk)表示,這款機(jī)器人將讓人們擺脫日常生活中的苦差事。
該公司還強(qiáng)調(diào)了在自主研發(fā)的半導(dǎo)體方面取得的進(jìn)展,這是公司內(nèi)部專門設(shè)計(jì)的,用于訓(xùn)練為自動(dòng)駕駛提供動(dòng)力的神經(jīng)網(wǎng)絡(luò)。馬斯克表示,他將考慮將這項(xiàng)技術(shù)授權(quán)給競爭對手。
該芯片是組成Dojo系統(tǒng)的關(guān)鍵部分,Dojo是特斯拉之前吹捧過的超級(jí)計(jì)算機(jī),特斯拉稱它為破解全自動(dòng)駕駛的關(guān)鍵。馬斯克表示,Dojo將于2022年年底開始運(yùn)營。
目前,特斯拉車身裝配有8枚攝像頭,以每秒36幀的頻率,1280*960分辨率12bit HDR圖像的清晰標(biāo)準(zhǔn),將周圍物體整合并通過時(shí)間軌跡區(qū)分靜態(tài)、動(dòng)態(tài)及物體邊界,并利用包括多頭路線、相機(jī)校準(zhǔn)、緩存、隊(duì)列和優(yōu)化等方法來簡化神經(jīng)網(wǎng)絡(luò)計(jì)算。
無論是長度巨大的半掛卡車,還是邊界被遮擋的街邊路口,通過多角度圖像呈現(xiàn)、數(shù)據(jù)分析、Transformer距離預(yù)測算法以及不同特征的疊加、覆蓋,特斯拉建立起了龐大的街景標(biāo)簽,為后續(xù)計(jì)算提供良好的感知分析。
現(xiàn)階段,特斯拉已針對10億張不同圖像和3億張不同場景進(jìn)行數(shù)據(jù)貼標(biāo),但對于完全無人駕駛來說,這些標(biāo)簽量還遠(yuǎn)遠(yuǎn)不夠。為了應(yīng)對如此龐大的數(shù)據(jù),特斯拉表示,公司目前擁有一支 1000 人的數(shù)據(jù)標(biāo)簽隊(duì)伍,與工程師一起工作,打造了完全定制化的數(shù)據(jù)標(biāo)簽和分析架構(gòu)。同時(shí),伴隨效率的不斷升高,特斯拉已經(jīng)實(shí)現(xiàn)對同一條路進(jìn)行多次數(shù)據(jù)收集,抹去曾經(jīng)紅黃顏色組成的“邊界框”,把環(huán)境場景拆分成點(diǎn)云,上傳至云端,形成了接近于“高精地圖”的實(shí)測環(huán)境場景。