英特爾那款專(zhuān)用AI芯片的大招已經(jīng)憋三年半了。
準確來(lái)說(shuō)，Nervana——英特爾砸了4.08億美元（也有報道稱(chēng)3.5億）買(mǎi)下的那家加州創(chuàng )企——他們那款專(zhuān)用AI芯片的大招已經(jīng)憋三年半了。
2014年4月，在Nervana獲得首筆60萬(wàn)美元的成立之初，這家公司就宣布要打造一款“深度學(xué)習專(zhuān)用硬件”。而在2014年8月，在獲得第二筆融資（330萬(wàn)美元）后，其CEO Naveen Rao就表示，“用戶(hù)能在大約6個(gè)月后嘗試到這些深度學(xué)習專(zhuān)用硬件。”
三年多后，在經(jīng)歷了第三輪2050萬(wàn)美元融資并且被英特爾收購后，在今年10月17日，英特爾CEO科再奇在采訪(fǎng)中表示，這塊芯片在今年年底就會(huì )正式和用戶(hù)見(jiàn)面。與此同時(shí)他還說(shuō)，Facebook正在參與合作打造這款AI專(zhuān)用芯片。
然而，隨著(zhù)2017年轉眼就要余額不足，英特爾這款Nervana專(zhuān)用AI芯片的還是沒(méi)有正式亮相。尤其是在歐美連珠炮假日季“感恩節-圣誕節-元旦”來(lái)臨的12月底，我們可以大膽地假設一句——明年見(jiàn)（也許是2018 CES？）
不過(guò)，雖然大招一再推遲，但是英特爾集團上下依舊對于Nervana項目十分看重。英特爾CEO科再奇不僅在不同場(chǎng)合內一再為Nervana站臺，而且在收購Nervana后短短幾個(gè)月間，前Nervana CEO就被晉升為英特爾人工智能事業(yè)部總負責人，直接向科再奇匯報——在以資歷排位著(zhù)稱(chēng)的英特爾內，晉升速度堪稱(chēng)火箭。
▲前Nervana CEO、英特爾人工智能事業(yè)部總負責人Naveen Rao
今天，我們就來(lái)扒一扒Nervana與這塊英特爾專(zhuān)用AI芯片，同時(shí)也來(lái)看一看英特爾這三年多的等待和3.5億美元的資金砸出了多大一個(gè)響來(lái)？也看看英特爾這個(gè)曾經(jīng)PC時(shí)代當之無(wú)愧的霸主，如今能不能靠著(zhù)Nervana在人工智能領(lǐng)域提刀再戰？
一、比GPU更好、更快、更強大
深度學(xué)習分為訓練（Training）和應用（Inference）兩個(gè)階段，Nervana芯片瞄準的是訓練階段，這一階段需要計算機處理大量的數據，現有的CPU難以滿(mǎn)足如此強大的計算需求，這也是英偉達靠著(zhù)GPU崛起的重要原因。
目前Nervana芯片主要應用在云計算數據機房?jì)?。Nervana CEO Naveen Rao曾經(jīng)表示，Nervana使用的這種新型芯片設計架構比GPU更快、功耗更低、性能更好。
▲英特爾Nervana深度學(xué)習專(zhuān)用芯片設計架構
根據英特爾在2016年11月的AI Day上，我們第一次了解到了這塊Nervana深度學(xué)習專(zhuān)用芯片的設計架。這款芯片為2.5D封裝，搭載了32GB的HBM2內存，內存帶寬為8Tbps。芯片中沒(méi)有緩存，完全通過(guò)軟件去管理片上存儲。它可以支持各類(lèi)神經(jīng)網(wǎng)絡(luò )算法框架的加速，比如Nervana的Neon、谷歌的TensorFlow、Facebook的Caffe等。
Nervana CEO表示，之所以這款芯片能夠做到比更快CPU、比GPU更快地加速處理深度神經(jīng)網(wǎng)絡(luò )，原因有二：
1、這塊芯片由“處理集群”陣列構成，處理被稱(chēng)作“活動(dòng)點(diǎn)（flexpoint）”的簡(jiǎn)化數學(xué)運算，基于張量處理器的架構。相對于浮點(diǎn)運算，這種方法所需的數據量更少，因此帶來(lái)了10倍的性能提升。
2、“互聯(lián)（interconnect）”技術(shù)——這是Nervana芯片的真正亮眼之處，不過(guò)Nervana一直這一技術(shù)的細節諱莫如深——Naveen Rao將這項互連技術(shù)描述為一種模塊化架構，其芯片結構可以在編程上擴展成與其它芯片的高速串行連接，幫助用戶(hù)創(chuàng )造更大、更多元化的神經(jīng)網(wǎng)絡(luò )模型。
在GPU上，數據在芯片內部處理和芯片外部通信處理有很大的不同，必須將內存映射到I/O，在內存不同層次結構中移動(dòng)數據，造成延時(shí)等復雜問(wèn)題。而Nervana的互聯(lián)技術(shù)能讓芯片內的數據傳輸和芯片間的數據通信看起來(lái)一樣，從而加快了處理速度。
“正如在PC時(shí)代，人們發(fā)現用GPU處理圖片比CPU更快，于是轉而購買(mǎi)獨立GPU；而在人工智能時(shí)代，人們會(huì )發(fā)現用我們的芯片處理深度神經(jīng)網(wǎng)絡(luò )比GPU更好，于是轉而選擇我們，”Naveen Rao曾經(jīng)這樣說(shuō)，“我們可以在硬件上打敗英偉達。”
如此看來(lái)，也許英特爾這三年多的等待和3.5億美元的資金砸得不虧？——可以說(shuō)虧，也可以說(shuō)不虧。
二、名不見(jiàn)經(jīng)傳的2014
讓我們把時(shí)間軸調回2014年4月。
2014年4月，一家名為Nervana System（以下簡(jiǎn)稱(chēng)Nervana）的加州創(chuàng )企宣布獲得60萬(wàn)美元融資輪融資。跟現在動(dòng)輒幾億、幾十億的AI創(chuàng )業(yè)融資輪次來(lái)說(shuō)，這金額并不算多——不過(guò)，彼時(shí)“深度學(xué)習”、“神經(jīng)網(wǎng)絡(luò )”、“人工智能”這些概念還沒(méi)有現在這般火熱得家喻戶(hù)曉，“AI芯片”更是無(wú)從提起。
▲英特爾團隊與Nervana團隊合影
這家公司總部位于圣地亞哥，三位聯(lián)合創(chuàng )始人全部來(lái)自高通：其中CEO Naveen Rao在高通神經(jīng)擬態(tài)研究組（neuromorphic research group）中負責人工神經(jīng)網(wǎng)絡(luò )計算研究、CTO Amir Khosrowshahi在高通負責神經(jīng)擬態(tài)傳感器研究、公司的機器學(xué)習負責人Arjun Bansal則在高通負責深度學(xué)習算法研究。
正如我們所知，設計制造芯片的成本非常高昂，尤其是這樣一塊用于處理海量數據專(zhuān)用芯片。于是就在短短4個(gè)月后，Nervana宣布了他們的第二輪融資——330萬(wàn)美元，用于深度學(xué)習訓練專(zhuān)用芯片的打造，彼時(shí)公司只有11個(gè)人。
在其后的采訪(fǎng)中，Nervana CEO Naveen Rao曾經(jīng)對記者表示，“用戶(hù)能在大約6個(gè)月后嘗試到這些深度學(xué)習專(zhuān)用硬件。”
其實(shí)當時(shí)市面上專(zhuān)注于打造深度學(xué)習專(zhuān)用硬件的創(chuàng )業(yè)公司并不止Nervana一家，其他還包括Ersatz Labs（2014年之后幾乎沒(méi)有消息）、Skymind（2016年9月獲騰訊參投的300萬(wàn)美元，2017年5月又獲騰訊參投的300萬(wàn)美元*）、Clarifai（2015年4月獲1000萬(wàn)美元融資、2016年10月獲3000萬(wàn)美元融資）等等。
*2017年5月這輪融資只有少數英文網(wǎng)站報道，中文網(wǎng)站沒(méi)有報道
順便一提，2014年最火的行業(yè)當屬虛擬現實(shí)（VR/AR），其融資領(lǐng)頭獨角獸Magic Leap在2014年年初和年末分別獲得了5000萬(wàn)美元A輪融資和5.42億美元的B輪融資。這家神秘AR創(chuàng )企的產(chǎn)品同樣推遲多年，聽(tīng)說(shuō)最近他們的產(chǎn)品就要首次亮相了。
三、端or 云？傻傻分不清楚的2015
2015年5月，正在市場(chǎng)已經(jīng)為Nervana的深度學(xué)習專(zhuān)用芯片等待了長(cháng)達9個(gè)月后，Nervana忽然扔下一個(gè)重磅消息——
不，不是芯片推出。而是Nervana忽然宣布，公司即將推出Nervana云服務(wù)，讓企業(yè)與用戶(hù)能夠通過(guò)網(wǎng)絡(luò )接入Nervana云的方式獲得強大的計算能力，不用受制于硬件的限制——不過(guò)當時(shí)，Nervana只是宣布了他們在打造“這朵云”，并沒(méi)有公布它的面世時(shí)間。
幾天后，Nervana再次宣布，開(kāi)源一款深度學(xué)習軟件框架Neon。這款軟件框架采用Python框架、采用Maxwell GPU框架，其卷積運算速度非?？欤ǜ鶕礼itHub上的跑分，速度已經(jīng)超過(guò)了Caffe、Torch等傳統框架）。
就在Neon軟件框架開(kāi)源后的一個(gè)月，2015年6月，Nervana宣布獲得公司成立以來(lái)的第三輪融資——2050萬(wàn)美元，本輪融資將用于Nervana深度學(xué)習硬件和云服務(wù)平臺的搭建，其中“安卓之父”Andy Rubin旗下的硬件孵化器Playground Global參投，Nervana也加入了該孵化器中。
在獲得這輪融資時(shí)，聯(lián)合創(chuàng )始人兼CTO Amir Khosrowshahi也向記者表示，Nervana曾與美國情報委員會(huì )的風(fēng)險投資部門(mén)In-Q-tel簽署合作協(xié)議，美國國家能源研究科學(xué)計算中心也正在使用由Nervana開(kāi)發(fā)的深度學(xué)習軟件Neon。
2016年2月29日，在宣布推出Nervana云服務(wù)的大半年后，這朵云終于經(jīng)Nervana推出正式和大家見(jiàn)面。這項云服務(wù)的目的是讓深度學(xué)習更快、更簡(jiǎn)單易用，專(zhuān)門(mén)為為缺少深度學(xué)習工具、缺少高級數據處理能力的公司打造。
不過(guò)，Nervana云暫時(shí)只能在英偉達的GPU上運行。Nervana CEO再次強調，假以時(shí)日，他們將會(huì )推出Nervana專(zhuān)用芯片。
此時(shí)Nervana云平臺的合作伙伴已經(jīng)拓寬到農業(yè)機器人初創(chuàng )公司藍河科技(Blue River Technology)、 石油及天然氣勘探公司Paradigm等，他們用Nervana云平臺上的計算機視覺(jué)識別能力進(jìn)行農作物分類(lèi)、3D地形檢測。
四、投身英特爾懷抱，兩款芯片終于現形的2016
半年后——重頭戲來(lái)了。
▲左：英特爾副總裁、數據中心事業(yè)組總經(jīng)理Diane Bryant，右：Naveen Rao
2016年8月9日，英特爾忽然宣布全資收購Nervana System，收購價(jià)格在新聞稿中沒(méi)有透露。當天大部分媒體在報道中提到的價(jià)格是3.5億美元，而這一價(jià)格在第二天變成了4.08億美元（根據Recode引援消息人士報道）。當時(shí)，Nervana全體員工只有48人。
此時(shí)距Nervana首次宣布要打造深度學(xué)習專(zhuān)用硬件已經(jīng)過(guò)去了兩年多的時(shí)間，在被英特爾收購后，這款Nervana深度學(xué)習專(zhuān)用芯片終于有了第一個(gè)名字——代號為“Lake Crest”，第一代產(chǎn)品預計將于2017年第一季度使用臺積電28nm工藝進(jìn)行流片測試，2017下半年開(kāi)放給小部分用戶(hù)使用。第二代芯片則會(huì )由英特爾自己的芯片制造生產(chǎn)線(xiàn)打造。
與此同時(shí)，英特爾還宣布將使用Nervana的技術(shù)打造一款代號為“Knights Crest”的加速器，配合英特爾的Xeon（至強）處理器使用。
此前，GPU憑借其并行計算能力一度在深度學(xué)習訓練中大放異彩，不僅股價(jià)一路飆升，英偉達創(chuàng )始人黃仁勛（粉絲愛(ài)稱(chēng)“老黃”）還一再在各種場(chǎng)合diss摩爾定律，恐怕著(zhù)實(shí)讓稱(chēng)霸CPU多年的英特爾很是不爽。
除了一再買(mǎi)買(mǎi)買(mǎi)之外（收購Altera、Saffron、Movidius……）英特爾在人工智能領(lǐng)域一直相對低調。不過(guò)，也許收購Nervana成了砌成英特爾AI堡壘的最后一塊重要磚頭——就在收購Nervana的三個(gè)月后，英特爾首次公布了其人工智能的整體策略，預告了未來(lái)即將推出的一系列AI解決方案，同時(shí)在11月17日、11月30 日分別在舊金山和北京舉行人工智能論壇（AI Day），表達英特爾要從芯片到軟件、從架構到飲用掀起一連串AI革命的決心。
而就在這個(gè)人工智能論壇上，我們終于第一次見(jiàn)到這款Nervana深度學(xué)習專(zhuān)用芯片的面紗，也就是本文第一段內提到內容（不容易啊，都兩年半了）。
轉過(guò)年來(lái)，在2017年3月25日，英特爾還宣布，公司上下要整合其AI力量，構建一個(gè)統一的部門(mén)：人工智能產(chǎn)品事業(yè)部（ArTIficial Intelligence Products Group）AIPG，由Nervana前CEO Naveen Rao負責，直接向英特爾CEO科再奇匯報。
這一人工智能產(chǎn)品事業(yè)部將包括Xeon、Xeon Phi、Nervana和Altera等四個(gè)部分，這個(gè)新部門(mén)將整合公司的資源，包括工程、實(shí)驗室、軟件等等，打造英特爾Nervana平臺——既有包括Nervana云計算服務(wù)、數據庫、又包括Nervana專(zhuān)用芯片。
加入英特爾短短6個(gè)月就空降成四部門(mén)總管，這位今年僅40出頭的事業(yè)部總管在一向看中年齡與資歷的英特爾集團中可謂是坐了火箭了一般，足以見(jiàn)得英特爾內部對于Nervana這一項目的看重之處。
今年，英特爾宣布這款芯片正式命名為“英特爾Nervana神經(jīng)網(wǎng)絡(luò )處理器”（Nervana Neural Network Processors，簡(jiǎn)稱(chēng)NNP）在今年10月17日和《財富》雜志的采訪(fǎng)中，英特爾CEO科再奇表示，今年年底NNP就會(huì )正式和用戶(hù)見(jiàn)面。與此同時(shí)他還透露，Facebook正在參與合作打造這款AI專(zhuān)用芯片，不過(guò)他們沒(méi)有正式達成書(shū)面合作協(xié)議。
與此同時(shí)英特爾還表示，公司將暫時(shí)不會(huì )單獨售賣(mài)這些芯片，而是以?xún)深?lèi)形式向用戶(hù)開(kāi)放服務(wù)：
1、以數據中心服務(wù)器（data center appliance）的形式售賣(mài)，里面包含了幾個(gè)NNP和英特爾的其他CPU。
2、通過(guò)接入英特爾的Nervana云服務(wù)，獲取計算能力。
不過(guò)無(wú)論如何，2017年里我們恐怕是很難見(jiàn)到了。
結語(yǔ)：英特爾的AI芯片之旅
回到我們最開(kāi)始拋出的問(wèn)題，英特爾這三年多的等待和3.5億美元（或者4.08億）的資金砸得到底虧不虧？
——可以說(shuō)虧，也可以說(shuō)不虧。
在GPU崛起的時(shí)代，英偉達在人工智能訓練階段大放異彩，市值動(dòng)不動(dòng)一年翻一倍，一年翻三倍，老黃還常年diss摩爾定律，老牌CPU霸主英特爾固然是不爽的。
然而，異構計算的主流已經(jīng)不可逆轉，失去計算優(yōu)勢的CPU在計算機中的調度器功能逐漸加重。英特爾雖然一直在靠自我研發(fā)+“買(mǎi)買(mǎi)買(mǎi)”彌補其在人工智能產(chǎn)品線(xiàn)上的差距，以更好地參與到急速增長(cháng)的人工智能市場(chǎng)中來(lái)，但是集團內沒(méi)有一個(gè)拳頭產(chǎn)品可以撐起英特爾這么大的市場(chǎng)。
目前，Nervana芯片依舊存在以下挑戰：
1、圍繞GPU，英偉達已經(jīng)建立了包括CUDA、cuDNN、TensorRT等在內的一系列豐富的軟件生態(tài)系統，其通用性、廣泛性、開(kāi)發(fā)者友好性都使得它廣受歡迎。
在錯過(guò)了三年的市場(chǎng)生態(tài)打造后，英特爾想要讓廠(chǎng)商們舍棄自己在CUBA架構和GPU硬件上的大量投資（時(shí)間+金錢(qián)），轉而投向Nervana芯片的懷抱，那這款產(chǎn)品必然要較之GPU有超過(guò)一個(gè)數量級的提升才足夠吸引。
2、在英特爾產(chǎn)品一再跳票的同時(shí)，不僅有老對頭英偉達在加速研發(fā)加速奔跑，各類(lèi)人工智能專(zhuān)用AI芯片也不斷崛起，就拿國內來(lái)說(shuō)，寒武紀、深鑒科技、地平線(xiàn)等創(chuàng )業(yè)公司都已經(jīng)在2017年下半年陸續推出（或正要推出）專(zhuān)用AI芯片，普遍宣布在2018年上半年進(jìn)入量產(chǎn)，英特爾可以說(shuō)是活生生把一個(gè)藍海市場(chǎng)熬成了紅海市場(chǎng)。
3、性能、速度、功耗比等方面暫時(shí)都是英特爾或是Nervana宣布的理論性能或是測試性能，在芯片進(jìn)入量產(chǎn)之前，工程化的坑依舊有很多，最后如何達到價(jià)格、性能、穩定性等的多方平衡，仍是英特爾需要努力的方向。從英特爾決定一開(kāi)始不單獨售賣(mài)芯片看來(lái)，這塊NNP的通用型、易用性可能還在攻克當中。
不過(guò)從另一方面講，如果Nervana的產(chǎn)品真的成功量產(chǎn)，并且在性能、速度、功耗比等各個(gè)方面都較之GPU有著(zhù)異常出色的表現，那么最起碼英特爾在云計算數據中心這一人工智能領(lǐng)域的短板能夠成功補足。再加上英偉達在邊緣計算（端智能）方面由于GPU功耗較大而存在一定劣勢，手握Movidius VPU低功耗視覺(jué)處理器的英特爾也許真的能夠在人工智能浪潮中扳回一局。
而且，隨著(zhù)時(shí)間不斷推移，有關(guān)NNP的信息也越來(lái)越多，越來(lái)越具體。雖然我們在2017年可能看不到這塊芯片，但是在緊接著(zhù)的2018 CES上，也許英特爾會(huì )給我們帶來(lái)一個(gè)新驚喜。
01月07日 18:14
