英特爾推出神經網絡處理器:AI Nervana

原創內容,轉載請注明:  [http://www.od-music.com]  謝謝!

本周在拉斯維加斯舉行的2019年國際消費電子展上,英特爾數據中心集團執行副總裁Navin Shenoy宣布英特爾Nervana神經網絡推理處理器將于今年投入生產。早在2016年,英特爾就以4.08億美元的價格從圣地亞哥收購了擁有48人的AI SAAS初創公司Nervana。 Nervana當時是一家軟件公司,提供一個名為Nervana Cloud的全棧軟件即服務平臺,在一個名為Neon的開源框架基礎上支持定制深度學習應用程序的開發。

據報道,Nervana當時正致力于開發用于神經網絡處理的定制芯片,他們聲稱使用這種芯片AI加速器的性能至少會領先GPU10倍。當然,開發自定義處理器對于小型軟件團隊來說是一項艱巨的任務,但是在它被英特爾收購后,要實現這一想法就變得現實多了?,F在,英特爾宣布推出第一款產品,用于推理的英特爾Nervana神經網絡處理器,簡稱NNP-I。該公司還宣布將在今年下半年推出代號為“Spring Crest”的神經網絡訓練處理器。Nervana Engine最初是采用28nm技術開發的,計劃在發布之前升級到14nm。英特爾目前還沒有做出回應,但我們推斷今年交付的設備將采用英特爾的14nm FinFET技術,未來或許會改用10nm。

英特爾表示Nervana正在與Facebook合作開發,這是一個很有意思的消息,因為Facebook是“超七”數據中心公司,其加速策略一直是不公開的。谷歌開發了自己的處理器,微軟,亞馬遜和AWS等公司也在基于FPGA的加速方面投入了大量資金。和Facebook成為開發合作伙伴,應該能讓Nervana在今年下半年全面上市時獲得可靠的端到端認證。

神經網絡訓練和推理是計算密集型的,涉及矩陣的張量乘法和卷積。多年來,圖形處理單元(GPU)一直是人工智能訓練加速的首選解決方案,而FPGA一直在努力開拓推理游戲中的競爭優勢。就像現成的芯片一樣,GPU可以充分利用其高度并行的矢量和線性代數功能,非常適合人工智能任務。但是,由于GPU并非專為人工智能而設計,所以當涉及到人工智能和深度學習的架構優化時,GPU仍然有很多問題需要解決。

類似地,FPGA可以通過精確的功率預算為推理任務提供極高的并行性和性能,而不同于訓練的推理任務的功率非常有限,可以通過降低精度的定點計算來完成。大型數據中心和云安裝已經開始利用FPGA集群來加速推理任務,在吞吐量、延遲和計算效率方面取得了顯著成果。然而,與GPU類似,而且在典型的FPGA上有許多不涉及AI操作的硬件,以及許多架構假設使得FPGA作為通用設備非常棒,但作為AI處理器卻不夠理想。

Nervana是從GPU內核的深度學習開發人員的角度來解決這個問題的,這讓他們深刻地認識到GPU對于AI任務的局限性。該公司表示,Nervana引擎是從頭開始設計的,拋棄了GPU架構,重新開始。他們分析了許多深層神經網絡,并提出了他們認為的最適合關鍵操作的架構。他們還提出了一種新的數字格式——FlexPoint,它試圖最大化16位存儲的精度。

由于人工智能計算可能非常耗費內存,因此Nervana需要能夠快速移動大量數據。Nervana設備包括32GB的內置高帶寬內存(HBM),可提供高容量速度。該公司聲稱每秒8太比特的內存訪問帶寬。HBM存儲器通過模積實現高容量。一個HBM芯片??梢源鎯?GB的數據,其中包含8個1GB的獨立內存模塊。Nervana引擎包括4個HBM棧,提供32GB的包內存儲。英特爾的多模封裝技術將HBM與處理器核心陣列連接起來。我們假設這是由英特爾的2.5D嵌入式多?;ミB橋(EMIB)技術而不是新宣布的FOVEROS 3D封裝完成的,不過英特爾并沒有給出明確答案。

Nervana引擎由一系列“Tensor Processing Cores”組成,這些核心由HBM基串、內存接口和高速IO組成,旨在將許多Nervana設備組合在一起,以提供超大規模的網絡實施。英特爾尚未給出新設備的具體性能或功耗數據,只是說功耗將達到數百瓦,和Movidius和Mobileye等邊緣目標AI設備相比,Nervana明顯處于數據中心。

該設備包括六條雙向高帶寬鏈路,該公司表示該芯片能夠在機箱內部或機箱之間無縫連接。該公司表示,這使用戶能夠通過簡單地分配更多的計算,或者在不降低速度的情況擴展模型規模,從而在當前模型上獲得線性加速。將多臺設備連接在一起可以作為一個大處理器。

Nervana的目標似乎是讓GPU和FPGA作為AI加速器在數據中心的地位越來越穩固。由于英特爾在其PSG部門(前身為Altera)擁有世界上最好的FPGA技術,因此它認為Nervana在推理和GPU訓練方面比FPGA具有更明顯的優勢。特別是英偉達(NVIDIA),它在AI訓練的數據中心加速游戲領域占據著主導地位,顯然是Nervana瞄準的目標。隨著更多專用制造的人工智能設備進入市場,以挑戰目前填補人工智能處理需求缺口的通用加速器,我們將拭目以待。

原文鏈接:https://www.eejournal.com/article/intel-achieves-ai-nervana/

分類目錄 國外動態, 行業動態.
掃一掃二維碼或者微信搜索公眾號ssdfans關注(添加朋友->點最下面的公眾號->搜索ssdfans),可以經??吹絊SD技術和產業的文章(SSD Fans只推送干貨)。
ssdfans微信群介紹
技術討論群 覆蓋2000多位中國和世界華人圈SSD以及存儲技術精英
固件、軟件、測試群 固件、軟件和測試技術討論
異構計算群 討論人工智能和GPU、FPGA、CPU異構計算
ASIC-FPGA群 芯片和FPGA硬件技術討論群
閃存器件群 NAND、3D XPoint等固態存儲介質技術討論
企業級 企業級SSD、企業級存儲
銷售群 全國SSD供應商都在這里,砍砍價,會比某東便宜20%
工作求職群 存儲行業換工作,發招聘,要關注各大公司招聘信息,趕快來
高管群 各大SSD相關存儲公司高管和創始人、投資人

想加入這些群,請微信掃描下面二維碼,或搜索nanoarchplus,加阿呆為微信好友,介紹你的昵稱-單位-職務,注明群名,拉你進群。SSD業界需要什么幫助,也可以找阿呆聊。