三星存內計算技術公佈:全球首搭 MRAM,鋪路下一代 AI 晶片
1 月 17 日報道,近日,三星電子在頂級學術期刊 Nature 上發表了全球首個基於 MRAM(磁性隨機儲存器)的存內計算研究。
存內計算由於無需資料在儲存器和處理器間移動,大大降低了 AI 計算的功耗,被視作邊緣 AI 計算的一項前沿研究。雖然 MRAM 儲存器件具備耐用性、可大規模量產等優勢,但其小電阻的特性阻礙了這類儲存器被用於存內計算。
本次,三星電子的研究團隊通過構建新的 MRAM 陣列結構,用基於 28nm CMOS 工藝的 MRAM 陣列晶片運行了手寫數字識別和人臉檢測等 AI 演算法,準確率分別為 98% 和 93%。
研究擴充套件存內計算型別,填補 MRAM 空白
在傳統的計算機架構中,資料需要從記憶體移動到處理單元,然後將中間結果儲存回記憶體。但這種無謂的資訊傳輸不僅增加了計算延遲,也提升了相關功耗。
根據臺積電此前對存內計算的研究,資料移動所消耗的能量甚至大於計算的能量消耗。因此,在記憶體中同時執行資料儲存和計算的存內計算成為了行業與學術機構研究的焦點。
此前的研究中,非易失性的 RRAM(電阻式隨機存取儲存器)和 PRAM(相變隨機存取儲存器)是存內計算最常用的兩類儲存器。相比之下,儘管 MRAM 器件在操作速度、耐用性和量產等方面具有優勢,但其較低的電阻使 MRAM 儲存器在傳統的存內計算架構中無法達到低功耗要求。
在本篇論文中,三星電子的研究人員構建了一種基於 MRAM 的新存內計算架構,填補了這種空白。論文特別寫道,該研究並非和基於其他儲存器的存內計算架構競爭。到目前為止,沒有一種儲存器型別在電子產品中佔據絕對主導,因為不同型別的儲存器各有自身的優點和缺點。因此,基於不同儲存器的存內計算也可能發展成不同的架構。
從這個角度看,三星電子通過填補基於 MRAM 儲存器的存內計算架構空白,有助於存內計算髮展。
▲ 三星研究團隊:共同通訊作者 SAIT(三星高階技術研究所)院士、哈佛大學教授 Donhee Ham(左一);論文一作 SAIT 研究員 Seungchul Jung(左二);共同通訊作者 SAIT 技術副總裁 Sang Joon Kim(左三)
基於 28nm CMOS 工藝,準確檢測 1851 張人臉
三星電子構建了一個 64×64 的 MRAM 陣列,其外圍電路通過 28nm CMOS 工藝進行了整合。
具體結構上來說,MRAM 陣列在寫 / 讀(W / R)電子元件和底部的 TDC 讀出電子元件之間,輸入資料控制器(IN)位於陣列左側。
為了彌補 MRAM 小電阻的問題,三星電子引入了一種新的位單元(陣列行列交叉處的元素,bit-cell),每個位單元組合成兩條路徑,每條路徑則由一個 MTJ(磁性隧道結)和一個 FET(場效電晶體)開關串聯組成。
▲ 晶片佈局與 MRAM 陣列排布(圖片來源:Nature)
研究人員將每列中這些新的位單元串聯起來,每個位單元的輸出電阻相加便得到了列電阻 R。通過新的結構設計,列電阻 R 取代了傳統(存內計算)結構中基於基爾霍夫定律的列電流總和,成為了列輸出,解決了 MRAM 器件電阻較小的問題。
簡單來說,就是三星電子開發了一種 MRAM 陣列晶片,用新的“電阻總和”記憶體計算架構取代了標準的“電流和”記憶體計算架構,從而解決了單個 MRAM 器件的小電阻問題。
為了將這種新的 MRAM 陣列用於 AI 計算,研究人員採用了二值神經網路(BNN)演算法。這種演算法的精度可以以網路大小為代價,將每個實值權值表示為二值化函式,或以計算速度為代價將每個實值輸入資料表示為多個二值化函式序列,以提高 BNN 演算法的精度。
該研究中,三星電子採用了後一種方式,將每個輸入資料擴充套件為 8 位編碼,以抑制噪聲。之後,研究人員用兩層 BNN 網路以對 MNIST 資料集進行分類。
MNIST 資料集來自美國國家標準與技術研究所(NIST),訓練集和測試集均由不同的手寫數字組成,資料集和測試集 50% 的手寫數字來自高中生,另外 50% 來自美國人口普查局的工作人員。
▲ 不同的手寫數字 7(圖片來源:CSDN)
研究人員用 MRAM 陣列執行了對 1 萬個手寫數字影象的分類,並重復了三次,得到了 93.23±0.05% 的準確率。測試後,研究人員又通過 VGG-8 神經網路對 1 萬個手寫數字影象進行了分類,其準確率高達 98.86±0.06%。
除了手寫數字分類,三星電子還用 4 個 MRAM 陣列晶片運行了人臉檢測演算法。在這一步,MRAM 陣列晶片並沒有對場景中的所有物件進行人臉認證,而是先檢測場景中是否存在人臉,確認存在後再啟用更高功率的人臉認證演算法。
通過這種方法,MRAM 陣列晶片從 2000 個無遮罩人臉場景中檢測到 1851 張人臉,準確率為 92.5%;從 500 個遮罩人臉場景中檢測到 483 張人臉,準確率為 96.6%,總體準確率為 93.4%。此外,MRAM 陣列晶片可以和相機結合實時檢測人臉。
▲ 4 個 MRAM 陣列晶片與相機相連實時人臉檢測(圖片來源:Nature)
整合多種器件面臨挑戰,未來或可用於生物神經元網路
對於這項研究,研究人員寫道,MRAM 陣列執行存內計算的一個重要挑戰是構建 AI SoC(片上系統),將許多陣列和資料轉換器、數位電子裝置進行整合。
研究人員還強調,寬泛來說,記憶體陣列不僅可以用來運算神經網路演算法,也可以作為潛在的生物神經元網路載體。
2021 年 9 月,三星電子和哈佛聯合在 Nature 子刊 Nature Electronics 上發表了名為《Neuromorphic electronics based on copying and pasting the brain(基於複製和貼上大腦的神經形態電子學)》的論文,提出了一種將大腦神經元連線圖(neuronal wiring map)“複製、貼上”到高密度 3 維儲存網路上的可能。
▲ 三星此前“複製、貼上”大腦的研究(圖片來源:Nature)
MRAM 陣列研究的第一作者 Seungchul Jung 稱,存內計算與人類大腦的計算類似,因為人類的計算也發生在記憶或突觸網路中。雖然 MRAM 陣列當前的計算目的並非模仿大腦,但這種固態儲存網路將來可能會被用作模擬大腦突觸的平臺。
結語:新研究或將豐富三星存內計算產品
近年來,存內計算已逐漸成為產業界和學術界的公識,相關論文反覆出現在 ISSCC 和 IEDM 等電子領域的頂級會議中,臺積電等半導體頭部廠商也都在佈局和探索。
三星電子作為全球儲存龍頭,更是一直在關注存內計算技術。去年 2 月,三星電子便公佈了其首款集成了 AI 計算能力的高頻寬記憶體(HBM),可以節省 70% 以上的能耗並提供 2 倍以上的系統性能。本次基於 MRAM 的存內計算研究豐富了三星在存內計算領域的佈局,未來或許能夠看到更多型別的存內計算產品出現在市場上。