ReRAM將在邊緣AI扮演重要角色

機器學(xué)習有兩個(gè)基本階段：訓練和推理。人工神經(jīng)網(wǎng)路旨在模仿大腦的運作方式，首先要讀取大量的已知資料——例如狗和貓的圖片——這樣才能學(xué)會(huì )識別每個(gè)物體的樣子以及它們的不同之處；然后經(jīng)過(guò)訓練的神經(jīng)網(wǎng)路或模型就可以開(kāi)始工作，根據所學(xué)到的知識推斷呈現在面前的新資料是什么事物，例如判別影像中的是狗還是貓。

目前大多數訓練都是在資料中心進(jìn)行的，但也有少數是在邊緣端進(jìn)行。像Google、Facebook、Amazon、Apple和Microsoft這樣的大公司都擁有大量消費者資料，因此可以為他們的「伺服器農場(chǎng)」提供足夠多的資料進(jìn)行工業(yè)規模的AI訓練，以改善其演算法。訓練階段需要速度非常高的處理器，例如繪圖處理器(GPU)或Google開(kāi)發(fā)的張量處理器(TPU)。

當邊緣裝置收集到資料——例如建筑物或人臉的照片——并傳送到推理引擎進(jìn)行分類(lèi)時(shí)，推理就會(huì )發(fā)生。以云端為基礎的AI因為固有的延遲缺點(diǎn)，對許多應用來(lái)說(shuō)是不可接受的；例如自動(dòng)駕駛車(chē)需要對看到的物體做出即時(shí)決策，這以云端AI架構就不可能實(shí)現。

隨著(zhù)AI功能逐漸向邊緣端發(fā)展，它們將推動(dòng)更多的AI應用，而且這些應用會(huì )越來(lái)越需要更強大的分析能力和智慧，好讓系統在本地即可做出運作決策，無(wú)論是部分還是完全自主的，就像自動(dòng)駕駛車(chē)輛所配備的功能。

傳統CPU不是很擅長(cháng)這類(lèi)任務(wù)，而高階GPU則是功耗大、價(jià)格昂貴；邊緣端推理需要更便宜、功率更低的晶片，可快速透過(guò)神經(jīng)網(wǎng)路識別一種動(dòng)物、一張臉，鎖定一個(gè)腫瘤，或將德語(yǔ)翻譯成英語(yǔ)。如今有超過(guò)30家公司正在研發(fā)AI專(zhuān)用的硬體，以提高在智慧型手機、平板電腦和其他邊緣裝置中完成這類(lèi)特殊運算任務(wù)的效率。

分析師們預測，從2017~2021年，全球AI晶片市場(chǎng)將取得高達54%的年復合成長(cháng)率(CAGR)，其關(guān)鍵成長(cháng)動(dòng)力在于能滿(mǎn)足機器學(xué)習要求的強大硬體。

消除記憶體瓶頸

所有AI處理器都仰賴(lài)于資料集，也就是「學(xué)習過(guò)的」物件種類(lèi)(如影像、聲音等等)模型，用以執行識別功能；每個(gè)物件的識別和分類(lèi)都需要多次存取記憶體，而當今工程師面臨的最大挑戰就是如何克服現有架構中的記憶體存取速度和功耗瓶頸，以實(shí)現更快的資料存取，同時(shí)降低資料存取消耗的能源成本。

透過(guò)在盡可能接近AI處理器核心的位置儲存訓練資料，可獲得最快存取速度和最大能效；但是目前的設計所采用之儲存架構，都是幾年前還沒(méi)有其他實(shí)用解決方案時(shí)打造的，仍然是速度快但小容量的嵌入式SRAM與大容量但速度較慢的外部DRAM之傳統組合。當訓練模型以這種方式儲存，嵌入式SRAM、外部DRAM和神經(jīng)網(wǎng)路之間頻繁且大規模的資料交換會(huì )增加功耗及傳輸延遲；此外，SRAM和DRAM都是揮發(fā)性記憶體，限制了在待機狀態(tài)的省電效果。

利用高密度、高速和低功耗的非揮發(fā)性記憶體將整個(gè)訓練模型直接儲存在A(yíng)I處理器晶片上，就可以實(shí)現更高的能效和速度。透過(guò)實(shí)現以記憶體為中心的新架構(如圖1)，整個(gè)訓練模型或知識庫就可以放在晶片上，直接與神經(jīng)網(wǎng)路連結，這樣就有實(shí)現大規模節能與性能提升的潛力，并因此能大幅延長(cháng)電池壽命并提供更好的用戶(hù)體驗?，F在已經(jīng)有幾種新一代記憶體技術(shù)正競相實(shí)現此一目標。

圖1 記憶體位于A(yíng)I架構中心

ReRAM的潛力

針對AI應用的理想非易失性嵌入式記憶體應該具備如下特點(diǎn)：容易制造、容易整合到成熟的CMOS后段制程、容易微縮到先進(jìn)制程節點(diǎn)、可大量供應，并且能夠滿(mǎn)足各種應用對功耗和速度的要求。

在制程微縮方面，電阻式記憶體(ReRAM)會(huì )比磁性記憶體(MRAM)或相變化記憶體(PCM)更具優(yōu)勢，這在考量14奈米、12奈米甚至是7奈米晶圓制程時(shí)是一個(gè)重要因素；其他記憶體技術(shù)都需要比ReRAM更復雜和昂貴的制程，運作功耗也更高。

圖2 ReRAM可以填補記憶體技術(shù)的空白

舉例來(lái)說(shuō)，美國業(yè)者Crossbar的ReRAM所采用之奈米絲(nanofilament)技術(shù)，可以在不影響性能的情況下微縮到10奈米以下。ReRAM以簡(jiǎn)單的元件結構為基礎，采用適合CMOS制程的材料和標準生產(chǎn)流程，可以在現有的CMOS晶圓廠(chǎng)生產(chǎn)；因為是一種低溫、后段制程整合的方案，可以在CMOS邏輯晶圓上整合多層ReRAM陣列，以構建3D ReRAM儲存架構。

AI需要最佳的每瓦性能，尤其對于小功率的邊緣裝置；ReRAM的能效可達到DRAM的五倍——達到每奈焦(nanojoule) 1,000位元的讀取—同時(shí)表現出比DRAM更好的整體讀取性能，高達12.8GB/s，隨機延遲小于20ns。

以記憶體為中心的架構

科學(xué)家們一直在探索各種新穎的大腦啟發(fā)典范，試圖透過(guò)模仿中樞神經(jīng)系統的神經(jīng)元和突觸(synapses)之交互作用來(lái)實(shí)現更高的能效。以ReRAM技術(shù)為基礎的人工神經(jīng)突觸是一種非常有前途的方法，可用于在神經(jīng)形態(tài)結構中實(shí)現這些高密度且能終極微縮的突觸陣列。藉由在邊緣端啟動(dòng)AI，ReRAM有可能在現有和全新的AI解決方案中扮演重要角色。