Habana Labs開始為數據中心提供推理處理器

原創內容,轉載請注明:  [http://www.od-music.com]  謝謝!

Habana Labs(位于以色列特拉維夫)已經開始向部分客戶提供其神經網絡處理器HL-1000(也稱為Goya)的樣品。

該公司聲稱HL-1000是性能最高的AI推理處理器,但必須始終考慮到不同的公司將AI處理器定位于不同的應用程序和計算環境中。

Habana已經在基于該芯片的PCIe卡上展示了其處理器,聲稱在ResNet50網絡上的性能為15,000張圖片/秒,批處理大小為10,延遲為1.3毫秒,同時耗電量為100瓦。

因此,Goya-1000顯然是要部署在數據中心的,Habana聲稱它的性能將比目前數據中心常用解決方案的性能要好一到三個數量級。這當然是拿神經處網絡理器與CPU和GPU比較,而不是與其他神經網絡處理器比較。

HL-1000,Goya推理處理器的一般結構。資料來源:Habana Labs。

Habana公司尚未提供有關制造HL-1000 Goya芯片或后續芯片HL-2000的工藝信息。

該芯片被稱為通用AI處理器,能夠支持多種神經網絡和各種應用,包括圖像識別、語言翻譯和情感分析。

HL-1000芯片架構基于8個張量處理器內核(TPC),可使用基于LLVM的編譯器在C和C ++中進行編程。每個TPC支持多個通用的乘法累加、矩陣乘法功能和本地存儲器。Habana已經制作了支持性的開發工具庫。

SynapseAI軟件棧首先分析經過訓練的模型,然后再優化HL-1000處理器的使用。它還支持神經網絡框架的接口,如MXNet,Caffe 2,TensorFlow,Microsoft Cognitive Toolkit,PyTorch和開放式神經網絡交換格式(ONNX)。

然而,Habana認為訓練和推理并不方便在同一個芯片上進行。為了優化效率,Habana為訓練和推理工作負載提供單獨的處理器。Habana實驗室計劃在2019年第二季度對HL-2000或Gaudi?訓練處理器進行采樣。Habana聲稱,每個Gaudi設備?擁有2Tbps接口,其訓練性能可以很好地擴展到數千個處理器。

但Goya處理器并不局限于使用由Gaudi HL-2000訓練的模型。推理處理器支持由任何處理器訓練的模型,如GPU,TPU,CPU和Habana Gaudi。

Habana Labs成立于2016年,公司在全球擁有120名員工。

分類目錄 國外動態, 行業動態.
掃一掃二維碼或者微信搜索公眾號ssdfans關注(添加朋友->點最下面的公眾號->搜索ssdfans),可以經??吹絊SD技術和產業的文章(SSD Fans只推送干貨)。
ssdfans微信群介紹
技術討論群 覆蓋2000多位中國和世界華人圈SSD以及存儲技術精英
固件、軟件、測試群 固件、軟件和測試技術討論
異構計算群 討論人工智能和GPU、FPGA、CPU異構計算
ASIC-FPGA群 芯片和FPGA硬件技術討論群
閃存器件群 NAND、3D XPoint等固態存儲介質技術討論
企業級 企業級SSD、企業級存儲
銷售群 全國SSD供應商都在這里,砍砍價,會比某東便宜20%
工作求職群 存儲行業換工作,發招聘,要關注各大公司招聘信息,趕快來
高管群 各大SSD相關存儲公司高管和創始人、投資人

想加入這些群,請微信掃描下面二維碼,或搜索nanoarchplus,加阿呆為微信好友,介紹你的昵稱-單位-職務,注明群名,拉你進群。SSD業界需要什么幫助,也可以找阿呆聊。