隨著對(duì)人工智能 (AI) 和內(nèi)存計(jì)算的興趣顯著增加，電阻式隨機(jī)存取存儲(chǔ)器 (ReRAM) 可能成為解鎖其模仿人腦能力的關(guān)鍵——但挑戰(zhàn)依然存在。

去年的 IEDM 匯集了許多關(guān)于推進(jìn)各種內(nèi)存類型的最新研究論文，包括新興的和現(xiàn)有的。毫不奇怪，他們中的很多人都致力于記憶如何改善內(nèi)存計(jì)算、人工智能和機(jī)器學(xué)習(xí) (ML)，甚至模仿人腦。

ReRAM 一直是神經(jīng)病計(jì)算的代名詞，Weebit Nano 已經(jīng)表達(dá)了對(duì)其技術(shù)追求的興趣；盡管它在公司的其他業(yè)務(wù)重點(diǎn)上處于次要地位。

與此同時(shí)，密歇根大學(xué)至少十年前就一直在開發(fā)各種 ReRAM 原型。該大學(xué)電氣工程和計(jì)算機(jī)科學(xué)系教授 Wei D. Lu 解釋說，ReRAM 提供高密度非易失性存儲(chǔ)和高效內(nèi)存計(jì)算的潛力，而支持 ReRAM 的加速器可以解決馮諾依曼瓶頸密歇根州。他的 IEDM 演示概述了一些設(shè)備，以及并行性如何解決越來越大的 AI 模型以及邊緣計(jì)算應(yīng)用程序的功率、延遲和成本要求。

利用并行性的 CPU 仍然會(huì)遇到內(nèi)存瓶頸。雖然 GPU 允許更快的內(nèi)存訪問，但 Lu 表示，需要一種從根本上提高吞吐量和計(jì)算效率的新計(jì)算架構(gòu)。內(nèi)存保護(hù)單元 (MPU) 可以顯著提高并行性并將內(nèi)存與邏輯放在一起，從而實(shí)現(xiàn)設(shè)備級(jí)計(jì)算并更好地促進(jìn)內(nèi)存計(jì)算。

MPU 可以顯著提高并行性并將內(nèi)存與邏輯放在一起，從而實(shí)現(xiàn)設(shè)備級(jí)計(jì)算并更好地促進(jìn)內(nèi)存計(jì)算（圖片由密歇根大學(xué)提供）

Lu 說，ReRAM 在內(nèi)存計(jì)算方面的潛力在于使用 ReRAM 陣列作為計(jì)算結(jié)構(gòu)，因?yàn)樗梢员镜貓?zhí)行學(xué)習(xí)和推理功能。ReRAM 還支持雙向數(shù)據(jù)流，而更大的神經(jīng)網(wǎng)絡(luò)可以使用具有平鋪 MPU 架構(gòu)的模塊化系統(tǒng)來實(shí)現(xiàn)，以實(shí)現(xiàn)更高的吞吐量。

應(yīng)對(duì) RERAM 挑戰(zhàn)

然而，ReRAM 器件存在幾個(gè)關(guān)鍵挑戰(zhàn)。一方面，基于高精度模數(shù)轉(zhuǎn)換器的讀出電路構(gòu)成了重大挑戰(zhàn)，而性能可能會(huì)受到包括單元間變化在內(nèi)的設(shè)備非理想性的影響。第三個(gè)挑戰(zhàn)是在 ReRRAM 設(shè)備中觀察到的非線性和不對(duì)稱電導(dǎo)更新會(huì)嚴(yán)重降低訓(xùn)練精度，Lu 說。

第一個(gè)問題的潛在解決方案包括多范圍量化和二元神經(jīng)網(wǎng)絡(luò)。Lu 說，具有架構(gòu)意識(shí)的培訓(xùn)可以解決由設(shè)備非理想性引起的性能問題，以及使用 2T2R 架構(gòu)實(shí)現(xiàn)二進(jìn)制權(quán)重，這也有助于應(yīng)對(duì)第三個(gè)挑戰(zhàn)。混合精度訓(xùn)練還可以解決第二個(gè)和第三個(gè)挑戰(zhàn)，因?yàn)樗ㄟ^以較低精度格式訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)來提供顯著的性能和計(jì)算提升。

相變存儲(chǔ)器 (PCM)也是改進(jìn)內(nèi)存計(jì)算的候選者。IBM Research Europe 一直在探索使用 PCM 來解決模擬內(nèi)存計(jì)算的溫度敏感性問題。正如 IBM Research 內(nèi)存計(jì)算小組成員 Irem Boybat 所述，隨著人工智能神經(jīng)網(wǎng)絡(luò)的蓬勃發(fā)展，存在計(jì)算效率問題。深度學(xué)習(xí)是計(jì)算密集型的，如果正在進(jìn)行的“人工智能革命”要可持續(xù)，就必須采用顛覆性的計(jì)算機(jī)范式。

“語言模型的規(guī)模呈指數(shù)級(jí)增長(zhǎng)，”Boybat 說。根據(jù) Boybat 的說法，這涉及將大量數(shù)據(jù)從內(nèi)存?zhèn)鬏數(shù)教幚韱卧@很昂貴并且會(huì)留下大量的碳足跡。

模擬內(nèi)存計(jì)算通過在內(nèi)存本身內(nèi)執(zhí)行某些計(jì)算任務(wù)來模糊內(nèi)存和處理之間的界限，并通過利用內(nèi)存設(shè)備的物理屬性來實(shí)現(xiàn)。Boybat 說，PCM 是內(nèi)存計(jì)算的有前途的候選者，因?yàn)樗梢砸苑浅Ｃ芗姆绞酱鎯?chǔ)信息并且消耗的靜態(tài)功率可以忽略不計(jì)。IBM Research 最近在過去一年展示了兩款基于 PCM 的內(nèi)存計(jì)算芯片。

溫度敏感性仍然是該團(tuán)隊(duì)的研究領(lǐng)域，蘑菇型 PCM 被用于研究保留。放置在芯片下方的電阻加熱器和溫度表明，在 30 至 80 攝氏度范圍內(nèi)預(yù)計(jì)不會(huì)出現(xiàn)滯留問題。IBM Research 的實(shí)驗(yàn)研究了溫度變化和漂移對(duì)用于內(nèi)存計(jì)算的多級(jí) PCM 的影響。

在IBM Research AI Hardware Center的支持下，研究團(tuán)隊(duì)發(fā)現(xiàn)，盡管 PCM 表現(xiàn)出與電導(dǎo)相關(guān)的溫度敏感性，但電導(dǎo)狀態(tài)的歸一化分布在所應(yīng)用的時(shí)間-溫度曲線中保持相對(duì)恒定。研究人員開發(fā)了一個(gè)可靠的統(tǒng)計(jì)模型來捕捉溫度對(duì)漂移和電導(dǎo)的影響，并根據(jù) PCM 電導(dǎo)測(cè)量對(duì)其進(jìn)行驗(yàn)證。

他們使用超過一百萬個(gè) PCM 設(shè)備證明，使用簡(jiǎn)單的補(bǔ)償方案可以在 33 到 80 攝氏度的環(huán)境溫度變化下為各種網(wǎng)絡(luò)實(shí)現(xiàn)并保持高推理精度。

模仿人腦

另一個(gè)超越內(nèi)存計(jì)算的熱門研究領(lǐng)域是創(chuàng)建更符合人腦的神經(jīng)網(wǎng)絡(luò)。由劉明代表中科院微電子研究所和復(fù)旦大學(xué)的許多研究人員介紹的基于 ReRAM 的類腦計(jì)算 (BIC) 的工作正在受到前所未有的人工智能計(jì)算使用速度的推動(dòng)，劉說，每三個(gè)月翻一番。

BIC 將在中長(zhǎng)期規(guī)避馮諾依曼瓶頸。（圖片由中國(guó)科學(xué)院中國(guó)微電子研究所提供）

人工智能計(jì)算的使用增加使得受大腦啟發(fā)的硬件對(duì)于維持發(fā)展至關(guān)重要。雖然新的內(nèi)存技術(shù)可以在短期內(nèi)增強(qiáng)現(xiàn)有的層次結(jié)構(gòu)，但 BIC 將在中長(zhǎng)期規(guī)避馮諾依曼瓶頸；BIC 包括內(nèi)存計(jì)算和神經(jīng)形態(tài)計(jì)算。

理解 BIC 需要區(qū)分 AI 的算法：計(jì)算機(jī)科學(xué)的神經(jīng)網(wǎng)絡(luò)與生物學(xué)和神經(jīng)科學(xué)的神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò) (ANN) 處理空間域中的連續(xù)信號(hào)，而尖峰神經(jīng)網(wǎng)絡(luò) (SNN) 更具生物可能性，因?yàn)樗７铝舜竽X的工作方式。劉說，ReRAM 為 BIC 提供了一個(gè)理想的平臺(tái)，因?yàn)樗哂胸S富的開關(guān)動(dòng)態(tài)，可以支持大規(guī)模集成、低功耗外圍設(shè)備和用于構(gòu)建 BIC 芯片和系統(tǒng)的特定應(yīng)用架構(gòu)。

劉說，在許多其他機(jī)構(gòu)從模擬行為開始進(jìn)行了十多年的研究之后，很快，集成的 SNN 多核將成為可能。ReRAM SNN 的計(jì)算密度和能效為高性能提供了巨大潛力，將事件驅(qū)動(dòng)表示和集成多核相結(jié)合的芯片將成為現(xiàn)實(shí)。然而，要開發(fā)適用于實(shí)際應(yīng)用的 BIC 芯片，在架構(gòu)層面仍有許多探索工作要做。

ReRAM的特性使其成為人工智能和旨在模仿人腦的應(yīng)用程序的熱門候選者。但是 IEDM 在 IEDM 2021 上通過一整天的會(huì)議和兩次 IEEE 磁性學(xué)會(huì)活動(dòng)對(duì)磁阻隨機(jī)存取存儲(chǔ)器給予了同樣多的關(guān)注，以表彰微電子學(xué)和磁學(xué)界之間的關(guān)系以推動(dòng)進(jìn)步。

在鐵電隨機(jī)存取存儲(chǔ)器 (FRAM) 方面，CEA-Leti 宣布了它聲稱的世界上第一個(gè) 130nm 節(jié)點(diǎn) 16-kbit 陣列的演示，使其更接近商業(yè)化。超低功耗、快速、高耐用性和 CMOS 兼容的 BEOL FRAM 存儲(chǔ)器使用一種新的基于 HfO2 的鐵電材料，該材料也比 PZT 更環(huán)保，因?yàn)樗菬o鉛的。

潛在用例包括嵌入式應(yīng)用程序，例如物聯(lián)網(wǎng) (IoT) 設(shè)備和可穿戴設(shè)備。這項(xiàng)工作得到了歐盟 3eFERRO 聯(lián)盟項(xiàng)目的支持，該項(xiàng)目旨在生產(chǎn)新的鐵電材料，使 FRAM 成為物聯(lián)網(wǎng)應(yīng)用中具有競(jìng)爭(zhēng)力的非易失性存儲(chǔ)器候選者。

盡管許多 IEDM 研究論文傾向于在人工智能、神經(jīng)形態(tài)計(jì)算和內(nèi)存計(jì)算等前沿應(yīng)用中使用新興存儲(chǔ)器，但推進(jìn)現(xiàn)有存儲(chǔ)器（如動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器）仍然是許多研究人員的重點(diǎn)。

英特爾通過 IEDM 活動(dòng)發(fā)表了多篇論文，其中涵蓋了規(guī)模改進(jìn)和為芯片帶來新功能的內(nèi)容。英特爾的組件研究概述了圍繞混合鍵合互連的設(shè)計(jì)、工藝和組裝挑戰(zhàn)所做的努力，提出了將封裝互連密度提高 10 倍以上的愿景。在此之前，英特爾在 7 月宣布推出 Foveros Direct，它支持亞 10 微米的凸塊間距，為 3D 堆疊的互連密度提供了一個(gè)數(shù)量級(jí)的增加。

其他論文著眼于英特爾如何通過堆疊多個(gè) CMOS 晶體管的方法來應(yīng)對(duì)預(yù)期的后 FinFET 時(shí)代，該方法旨在通過每平方毫米安裝更多晶體管來實(shí)現(xiàn)最大 30% 到 50% 的邏輯縮放改進(jìn)，以繼續(xù)推進(jìn)摩爾定律。推進(jìn)摩爾定律的另一項(xiàng)努力包括即將到來的埃時(shí)代，通過研究展示了如何使用只有幾個(gè)原子厚的新型材料來制造克服傳統(tǒng)硅通道限制的晶體管——在每個(gè)芯片面積上實(shí)現(xiàn)數(shù)百萬個(gè)晶體管。

英特爾還概述了通過在 300 毫米晶圓上集成基于 GAN 的電源開關(guān)與基于硅的 CMOS 為硅帶來新功能的研究，這將實(shí)現(xiàn)向 CPU 的低損耗、高速供電，同時(shí)減少主板組件和空間。