如何提升AI算法速度 打造接近人腦規(guī)模的神經(jīng)網(wǎng)絡
人工神經(jīng)網(wǎng)絡(ArTIficial Neural Networks;ANN)是人工智能(AI)革命的核心,正在形塑社會與科技的各層面發(fā)展。然而,目前ANN仍遠不足以處理非常復雜的問題。近日由數(shù)間國際知名大學所組成的研究團隊便針對此問題,研發(fā)出革命性的訓練方法,可大幅提升訓練AI算法的速度,最終可望打造出接近人腦規(guī)模的ANN。
據(jù)報導,由荷蘭恩荷芬理工大學(Eindhoven University of Technology)、美國德州大學奧斯丁分校(University of Texas at AusTIn)與英國德比大學(University of Derby)科學家所組成的研究團隊,于《Nature CommunicaTIons》期刊發(fā)表新AI訓練方法:稀疏式進化訓練(Sparse EvoluTIonary Training;SET)。
SET的靈感來自生物網(wǎng)絡以及特定神經(jīng)網(wǎng)絡,而這些特定神經(jīng)網(wǎng)絡之所以運行效率高有三個特征,包括網(wǎng)絡連接性相對較低、神經(jīng)中樞稀少以及路徑短。
研究團隊指出,常見的AI訓練是采用完全連結(jié)的人工神經(jīng)網(wǎng)絡,不過新訓練方法則隨機從稀疏的網(wǎng)絡著手,不斷演進至無尺度網(wǎng)絡(scale-free network),在過程中較弱的連結(jié)會被消除,并隨機增加新連結(jié),近似于被稱為突觸萎縮(synaptic shrinking)的生物過程。
透過SET,一般計算機也能獲得全面的AI能力,而超級計算機更可望于1~2年內(nèi)打造出遠超越今日規(guī)模的ANN。目前最新款超級計算機在處理1,600萬個神經(jīng)元網(wǎng)絡(約為青蛙大腦規(guī)模)就已相當吃力,而一臺功能強大的桌上型計算機要訓練僅10萬個神經(jīng)元網(wǎng)絡,就需要耗費十幾天的時間。
此新訓練方式能大幅提升AI算法的速度,使AI技術可用于解決當前棘手的問題。在智能電網(wǎng)與社會系統(tǒng)等復雜快速變動的環(huán)境中,需要非常頻繁地重復訓練ANN,因此在不影響準確度之下提高學習速度顯得至關重要。
此外,由于這類的訓練可在有限的運算資源之下達成,對于連接至大型系統(tǒng)的分散式裝置嵌入式智能系統(tǒng),SET訓練方法可望成為首選。
具體而言,透過SET任何使用者都能透過自身筆記本電腦打造神經(jīng)元達到100萬規(guī)模的ANN,但過去只有昂貴的云端運算系統(tǒng)才有辦法透過先進訓練方法達到此規(guī)模。
目前最新超級計算機所打造出的最大型ANN,規(guī)模等同于青蛙大腦(約1,600萬神經(jīng)元)。未來在部分技術挑戰(zhàn)被克服后,則可望藉由SET在同款超級計算機上打造出接近人腦規(guī)模(約800億個神經(jīng)元)的ANN。
該研究主要作者Decebal Mocanu表示,目前確實需要規(guī)模如此龐大的神經(jīng)網(wǎng)絡。舉例而言,以ANN檢測癌癥有很好的成效。這代表透過SET,可望提升醫(yī)療照護質(zhì)量,并使個人化醫(yī)療變得更為平價。