國(guó)產(chǎn)中文大語(yǔ)言模型“天河天元”發(fā)布
21ic 近日獲悉,國(guó)家超算天津中心在 2023 第七屆世界智能大會(huì)期間舉行的世界智能科技創(chuàng)新合作峰會(huì)上發(fā)布了“天河 E 級(jí)智能計(jì)算開(kāi)放創(chuàng)新平臺(tái)”和國(guó)產(chǎn)中文大語(yǔ)言模型“天河天元大模型”。
據(jù)悉,本次智能科技展統(tǒng)籌規(guī)劃了 8 大展館和室外展區(qū),設(shè)置了信息技術(shù)應(yīng)用創(chuàng)新、人工智能、5G + 工業(yè)互聯(lián)網(wǎng)、智能交通、智能制造、智慧生活、數(shù)字金融、數(shù)字健康、國(guó)際與省市等主題展示區(qū),以及智能駕駛、5G 兩大體驗(yàn)專區(qū)。
本次在展會(huì)上亮相的天河新一代超級(jí)計(jì)算機(jī)是中國(guó)新一代百億億次超級(jí)計(jì)算機(jī),天河超級(jí)計(jì)算機(jī)從千萬(wàn)億次到百億億次不斷刷新世界算力速度極限,天津依托天河占據(jù)了全國(guó)超過(guò) 20% 的超級(jí)計(jì)算算力資源。
為充分發(fā)揮超算在算力方面的優(yōu)勢(shì),推動(dòng)國(guó)產(chǎn)異構(gòu)超級(jí)計(jì)算機(jī)平臺(tái)在 AI 應(yīng)用開(kāi)發(fā)和服務(wù)領(lǐng)域中的應(yīng)用,國(guó)家超算天津中心搜集整理了網(wǎng)頁(yè)數(shù)據(jù)、各種開(kāi)源訓(xùn)練數(shù)據(jù)、中文小說(shuō)數(shù)據(jù)、古文數(shù)據(jù)、百科數(shù)據(jù)、新聞數(shù)據(jù),以及專業(yè)領(lǐng)域的中醫(yī)、醫(yī)藥、問(wèn)診、法律等多種數(shù)據(jù)集,訓(xùn)練數(shù)據(jù)集總 token 數(shù)達(dá)到 350B,最終訓(xùn)練打造出了自己的中文語(yǔ)言大模型“天河天元”。
天河新一代超級(jí)計(jì)算機(jī)實(shí)現(xiàn)了從硬件到軟件環(huán)境全面自主的信息技術(shù)應(yīng)用創(chuàng)新,官方也在展區(qū)展示了天河新一代超級(jí)計(jì)算機(jī)上采用的計(jì)算芯片、主板等核心技術(shù)。“天河 E 級(jí)智能計(jì)算開(kāi)放創(chuàng)新平臺(tái)”將帶來(lái)突破百億億次的跨模態(tài)的超級(jí)計(jì)算算力,支撐傳統(tǒng)的科學(xué)工程計(jì)算,并服務(wù)智能混合計(jì)算,打造全方位的算力賦能創(chuàng)新和數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展載體。
據(jù)悉,未來(lái)國(guó)家超算天津中心還將在“天河天元大模型”的基礎(chǔ)上啟動(dòng)深度訓(xùn)練面向醫(yī)療、工業(yè)、法律等領(lǐng)域的專業(yè)模型。未來(lái)大模型將在深度學(xué)習(xí)平臺(tái)的支撐下成為產(chǎn)業(yè)智能化基座。