研究人員創(chuàng)建基了于憶阻器的貝葉斯機器
在過去的幾十年里,機器學(xué)習(xí)模型在各種現(xiàn)實世界任務(wù)上的性能有了顯著提高。然而,訓(xùn)練和實施這些模型中的大多數(shù)仍然需要大量的能量和計算能力。
因此,全世界的工程師一直在嘗試開發(fā)可以更有效地運行人工智能模型的替代硬件解決方案,因為這可以促進它們的廣泛使用并提高它們的可持續(xù)性。其中一些解決方案基于憶阻器,即可以存儲信息而不消耗能量的存儲設(shè)備。
巴黎-薩克萊大學(xué)-CNRS、格勒諾布爾-阿爾卑斯-CEA-LETI 大學(xué)、HawAI.tech、索邦大學(xué)和艾克斯-馬賽大學(xué)-CNRS 的研究人員最近創(chuàng)建了一種所謂的貝葉斯機器(即執(zhí)行計算的 AI 方法基于貝葉斯定理),使用憶阻器。他們提出的系統(tǒng)在Nature Electronics上發(fā)表的一篇論文中介紹,被發(fā)現(xiàn)比目前使用的硬件解決方案更節(jié)能。
“人工智能今天正在取得重大進展,但面臨著一個挑戰(zhàn):它相當大的能源消耗,”進行這項研究的研究人員之一 Damien Querlioz 告訴 TechXplore。“現(xiàn)在眾所周知,這種消耗來自計算機中計算和存儲功能之間的分離。由于人工智能使用大量數(shù)據(jù),因此需要大量內(nèi)存,就能源而言,訪問這些內(nèi)存成本很高。我們的大腦的能量效率更高,因為記憶功能與計算功能盡可能接近,我們想重現(xiàn)這種策略?!?
憶阻器,全稱記憶電阻器(Memristor)。它是表示磁通與電荷關(guān)系的電路器件。憶阻具有電阻的量綱,但和電阻不同的是,憶阻的阻值是由流經(jīng)它的電荷確定。因此,通過測定憶阻的阻值,便可知道流經(jīng)它的電荷量,從而有記憶電荷的作用。1971年,蔡少棠從邏輯和公理的觀點指出,自然界應(yīng)該還存在一個電路元件,它表示磁通與電荷的關(guān)系。2008年 ,惠普公司的研究人員首次做出納米憶阻器件,掀起憶阻研究熱潮。納米憶阻器件的出現(xiàn),有望實現(xiàn)非易失性隨機存儲器。并且,基于憶阻的隨機存儲器的集成度,功耗,讀寫速度都要比傳統(tǒng)的隨機存儲器優(yōu)越。此外,憶阻是硬件實現(xiàn)人工神經(jīng)網(wǎng)絡(luò)突觸的最好方式。由于憶阻的非線性性質(zhì),可以產(chǎn)生混沌電路,從而在保密通信中也有很多應(yīng)用。
憶阻器本質(zhì)上是基于納米設(shè)備的電子元件,可以限制或調(diào)節(jié)電路中的電流,同時還可以預(yù)先記錄其中傳遞的能量。由于它們同時執(zhí)行計算和信息存儲,這些設(shè)備可以更好地再現(xiàn)人腦的信息處理策略。
“直到最近,憶阻器還是一項新興技術(shù),我們無法用它們實現(xiàn)完整的系統(tǒng),”Querlioz 解釋說?!艾F(xiàn)在,我們的團隊構(gòu)建了一個‘貝葉斯機器’,這是一個帶有憶阻器的小型人工智能。原型包括 2,048 個氧化鉿憶阻器和 30,080 個硅晶體管 (MOSFET)?!?
Querlioz 和他的同事創(chuàng)建的貝葉斯機器將憶阻器與傳統(tǒng)的互補金屬氧化物半導(dǎo)體 (CMOS) 技術(shù)相結(jié)合。研究人員創(chuàng)建了機器原型并評估了其在手勢識別任務(wù)中的性能。值得注意的是,他們發(fā)現(xiàn),與基于微控制器的傳統(tǒng)硬件解決方案相比,它所消耗的能量少數(shù)千倍,可以識別特定的人類手勢。
“大多數(shù)關(guān)于基于憶阻器的機器學(xué)習(xí)的研究旨在實現(xiàn)深度學(xué)習(xí),”Querlioz 說?!爱斎?,這是一個極其重要的目標,因為深度學(xué)習(xí)在今天如此成功。然而,深度學(xué)習(xí)有一些局限性:它的結(jié)果無法解釋,并且在可用數(shù)據(jù)很少時表現(xiàn)不佳。在這里,我們選擇實施貝葉斯推理,這是一種替代人工智能方法,它在深度學(xué)習(xí)表現(xiàn)出色的大數(shù)據(jù)應(yīng)用中表現(xiàn)不佳,但在小數(shù)據(jù)情況下表現(xiàn)出色,并提供完全可解釋的結(jié)果?!?
未來,由這組研究人員創(chuàng)建的基于憶阻器的貝葉斯機器可以幫助提高 AI 模型的能效,同時還可能激發(fā)其他類似解決方案的開發(fā)。它可能對安全關(guān)鍵型應(yīng)用特別有用,例如用于監(jiān)控工業(yè)設(shè)施安全的醫(yī)療傳感器或電路。Hawai.tech 是一家為團隊貝葉斯算法的開發(fā)做出貢獻的初創(chuàng)公司,現(xiàn)在正在使用該機器來創(chuàng)建這些傳感器。
Querlioz 補充說:“我們設(shè)計了一個相當大的貝葉斯機器版本,目前正在制造中,我們也將機器背后的原理應(yīng)用于其他機器學(xué)習(xí)方法?!? “隨著我們在復(fù)雜性上擴展我們的設(shè)計,我們開始觸及學(xué)術(shù)團體可能的極限。因此,我們同時致力于新技術(shù),下一代憶阻器?!?