麻省理工提出一種新型深度光學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)
掃描二維碼
隨時(shí)隨地手機(jī)看文章
盡管科學(xué)家和研究者一直在探索新型的計(jì)算形式,但目前電子計(jì)算仍然是絕對(duì)的主流。隨著以深度學(xué)習(xí)為代表的人工智能技術(shù)的興起,人們也開(kāi)始關(guān)注如何開(kāi)發(fā)出能更有效、更高速地執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算的計(jì)算硬件。近日,麻省理工學(xué)院(MIT)的研究者在 Nature Photonics 上發(fā)表的一篇論文《Deep learning with coherent nanophotonic circuits》提出了一種使用光子技術(shù)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的方法,而且他們還已經(jīng)對(duì)這一概念進(jìn)行了實(shí)驗(yàn)驗(yàn)證。MIT 官網(wǎng)對(duì)這一研究進(jìn)行了報(bào)道解讀,機(jī)器之心對(duì)這篇文章以及原論文的摘要進(jìn)行了編譯介紹。
該概念圖展示了集成在印制電路板上的可編程納米光子(nanophotonic)處理器,其將助力深度學(xué)習(xí)計(jì)算
基于模擬人類大腦激活傳導(dǎo)的人工神經(jīng)網(wǎng)絡(luò),與其多層疊加的「深度學(xué)習(xí)」計(jì)算機(jī)系統(tǒng)已經(jīng)成為了計(jì)算機(jī)科學(xué)的熱門(mén)話題。除了引發(fā)了如人臉識(shí)別和語(yǔ)音識(shí)別等技術(shù)的變革外,這些系統(tǒng)不僅可以利用眾多的醫(yī)學(xué)數(shù)據(jù)找到可以高效診斷的模式,同時(shí)還能掃描化學(xué)成分而找到可能的新藥物。
但是,即使對(duì)于最強(qiáng)大的計(jì)算機(jī),這些系統(tǒng)執(zhí)行所需要的計(jì)算也是十分復(fù)雜和巨量的。
近日,MIT 的一個(gè)研究團(tuán)隊(duì)連同其他一些研究員開(kāi)發(fā)了一種新型計(jì)算方式,該方法利用光而不是電,因此該計(jì)算方法能大大提高某些深度學(xué)習(xí)計(jì)算的效率和速度。該研究結(jié)果發(fā)表在近日 Nature Photonic 期刊上,而完成這項(xiàng)研究的人員包括 MIT 博士后 Yichen Shen、研究生 Nicholas Harris、教授 Marin Solja?i? 和 Dirk Englund 等人。
Solja?i? 表示,多年來(lái),許多研究者都聲稱開(kāi)發(fā)出了基于光學(xué)的計(jì)算機(jī),但是「人們太夸大其辭了,結(jié)果反噬其身」。雖然還有很多研究者提出這種光子計(jì)算機(jī)無(wú)法實(shí)現(xiàn),但這個(gè)團(tuán)隊(duì)基于光學(xué)開(kāi)發(fā)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)「也許適用于一些深度學(xué)習(xí)應(yīng)用」。
傳統(tǒng)的計(jì)算機(jī)架構(gòu)對(duì)于一些重要的神經(jīng)網(wǎng)絡(luò)任務(wù)所需要的各種計(jì)算來(lái)說(shuō)并不是很高效。這樣的任務(wù)通常涉及到大量的矩陣乘法,因此在常規(guī)的 CPU 和 GPU 芯片上需要密集的計(jì)算。
在多年的研究之后,該 MIT 研究團(tuán)隊(duì)找出了一種以光學(xué)執(zhí)行這些操作的方案。Solja?i? 說(shuō):「我們這種芯片只要調(diào)試好,就能執(zhí)行矩陣乘法,并在理論上幾乎能立即實(shí)現(xiàn)零能耗(zero energy)。我們已經(jīng)展示了其關(guān)鍵組成模塊,但整個(gè)系統(tǒng)還沒(méi)有構(gòu)建完成?!?/p>
作為類比,Solja?i? 指出即使是普通的眼鏡鏡片,它也對(duì)穿越的光線執(zhí)行了一些列復(fù)雜的計(jì)算(即波函數(shù)的傅立葉變換)。雖然光束在新型芯片中執(zhí)行的計(jì)算方式很不一樣,但基本的原理都是一樣的。新方法使用多條光束并通過(guò)其間的光波干涉而產(chǎn)生干涉圖樣,而這些干涉圖樣就承載著預(yù)設(shè)計(jì)算的結(jié)果。這種方法構(gòu)建的芯片,研究者就稱為可編程納米光子處理器。
Shen 說(shuō),因此原理上講,使用這一架構(gòu)的光學(xué)芯片可以更快速地執(zhí)行傳統(tǒng)人工智能算法的計(jì)算,且能耗只占傳統(tǒng)電子芯片的千分之一不到。他說(shuō):「用光來(lái)做矩陣乘法的天然優(yōu)勢(shì)在加速和降低能耗方面發(fā)揮了大作用,因?yàn)槊芗仃嚦朔ㄊ侨斯ぶ悄芩惴ㄖ凶詈哪芎秃臅r(shí)的部分?!?/p>
這種新型可編程納米光子處理器由 Harris 及其同事在 Englund 的實(shí)驗(yàn)室開(kāi)發(fā),使用了一個(gè)波導(dǎo)陣列,其中的波導(dǎo)以一種可按需修改的方式互連在一起,它們可以根據(jù)特定的計(jì)算對(duì)波束進(jìn)行編程。Harris 說(shuō):「你可以編程任何矩陣運(yùn)算?!乖撎幚砥骺梢砸龑?dǎo)光線穿過(guò)一系列互相耦合的光子波導(dǎo)。該團(tuán)隊(duì)的完整方案需要使用交錯(cuò)的器件層,其可以應(yīng)用一種名為非線性激活函數(shù)(nonlinear acTIvaTIon funcTIon)的運(yùn)算操作,該運(yùn)算類似于大腦中的神經(jīng)元運(yùn)算。
為了證明這一概念,該團(tuán)隊(duì)設(shè)置了可編程納米光子處理器來(lái)實(shí)現(xiàn)可識(shí)別四個(gè)基本元音的神經(jīng)網(wǎng)絡(luò)。即使目前系統(tǒng)還很基本,但依然可以達(dá)到 77% 的準(zhǔn)確率,與之相比,傳統(tǒng)方法的準(zhǔn)確率接近 90%。Solja?i? 說(shuō):「在擴(kuò)展該系統(tǒng)取得更高準(zhǔn)確率方面不存在大的障礙?!?/p>
Englund 補(bǔ)充說(shuō)可編程納米光子處理器還有其他應(yīng)用,比如,數(shù)據(jù)傳輸?shù)男盘?hào)處理,他說(shuō):「該系統(tǒng)也可以勝任高速模擬信號(hào)處理,且比其他一開(kāi)始把信號(hào)轉(zhuǎn)化為數(shù)字的傳統(tǒng)方法更快,因?yàn)楣庠诒举|(zhì)上是一種模擬介質(zhì)?!褂终f(shuō):「這種方法可在模擬領(lǐng)域做直接處理?!?/p>
該團(tuán)隊(duì)表示,這個(gè)系統(tǒng)走向?qū)嵱眠€需更多的努力和時(shí)間;然而,一旦系統(tǒng)獲得擴(kuò)展完整運(yùn)行,就能實(shí)現(xiàn)很多用例,比如用于數(shù)據(jù)中心或安全系統(tǒng)。Harris 說(shuō):「該系統(tǒng)也可推動(dòng)無(wú)人駕駛汽車、無(wú)人機(jī)的發(fā)展,以及在你需要做大量計(jì)算卻苦于沒(méi)有功率或時(shí)間時(shí),該系統(tǒng)都會(huì)有所幫助。」
以下是對(duì)原論文的摘要介紹:
論文:使用相干納米光子電路的深度學(xué)習(xí)(Deep learning with coherent nanophotonic circuits)
論文地址:https://www.nature.com/nphoton/journal/vaop/ncurrent/full/nphoton.2017.93.html
人工神經(jīng)網(wǎng)絡(luò)是一種靈感來(lái)自于大腦中信號(hào)處理過(guò)程的計(jì)算網(wǎng)絡(luò)模型。這些模型可以極大提升許多機(jī)器學(xué)習(xí)任務(wù)的表現(xiàn),包括語(yǔ)音識(shí)別和圖像識(shí)別。但是,今天的計(jì)算硬件在實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)方面還很低效,這在很大程度上是因?yàn)槠涫菫轳T·諾依曼體系結(jié)構(gòu)設(shè)計(jì)的。為了開(kāi)發(fā)出為實(shí)現(xiàn)專為人工神經(jīng)網(wǎng)絡(luò)調(diào)節(jié)的電子架構(gòu),使其能實(shí)現(xiàn)更高的計(jì)算速度和準(zhǔn)確度,人們已經(jīng)付出了巨大的努力。在這里,我們提出了一種可用于全光學(xué)神經(jīng)網(wǎng)絡(luò)的新架構(gòu),其在理論上可以在當(dāng)前最好的用于傳統(tǒng)推理任務(wù)的電子設(shè)備的基礎(chǔ)上實(shí)現(xiàn)進(jìn)一步的計(jì)算速度和功率效率提升。我們使用一個(gè)硅光子集成電路進(jìn)行了實(shí)驗(yàn)——該可編程納米光子處理器包含一個(gè)具有 56 個(gè)馬赫-曾德?tīng)柛缮鎯x(Mach–Zehnder interferometer)的級(jí)聯(lián)陣列;該實(shí)驗(yàn)演示了這一概念的關(guān)鍵部分,并且表明了其在元音識(shí)別上的可用性。
圖 1:ONN 的一般架構(gòu)
圖 2:OIU 示意圖
圖 3:元音識(shí)別