在(zài)先進(jìn)工藝(yì)和(hé)架構的協(xié)同下，芯片的(dí)性能(néng)在過去(qù)幾年(nián)獲(huò)得(dé)了(liǎo)爆發性(xìng)的增(zēng)長，尤其是在最近幾年(nián)火熱的(dí)人(rén)工智能行(háng)業，這個取(qǔ)得的(dí)成(chéng)就(jiù)是(shì)有目共(gòng)睹的(dí)。

據(jù)OpenAI在2018年(nián)年中發表的報(bào)告(gào)，自 2012 年以(yǐ)來，人工(gōng)智(zhì)能(néng)訓(xùn)練(liàn)任(rèn)務(wù)中(zhōng)使用的算力正呈指數級(jí)增長。人們對(duì)於算(suàn)力的需求增長(cháng)也超(chāo)過 300,000 倍(bèi)。作為對比(bǐ)，如(rú)果是(shì)以摩(mó)爾定律的(dí)速(sù)度，這個數字(zì)隻會是12倍(bèi)的增長。在他們看(kàn)來(lái)，正是這(zhè)些硬(yìng)件性(xìng)能的跨(kuà)越式突破(pò)，才(cái)成(chéng)就了(liǎo)現在的AI產(chǎn)業。

Open AI的報(bào)告進(jìn)一步(bù)指(zhǐ)出(chū)，成(chéng)本(běn)考量(liáng)和(hé)物(wù)理學特性等因素將會壓製(zhì)傳(chuán)統(tǒng)AI硬件性(xìng)能(néng)的(dí)上升勢(shì)頭(tóu)。但市場對(duì)AI算(suàn)力(lì)的需(xū)求仍然(rán)處於(yú)增(zēng)長期(qī)，為此(cǐ)探索(suǒ)新(xīn)的硬(yìng)件方案(àn)成(chéng)為(wéi)了AI芯片供(gōng)應(yīng)商(shāng)亟(jí)待解(jiě)決(jué)的(dí)問題。不少(shǎo)廠(chǎng)商也都另辟蹊(qī)徑從多個(gè)方向解決(jué)廣為(wéi)人(rén)知的“馮諾依曼(màn)瓶頸(jǐng)”。

在鯤(kūn)雲信息科(kē)技有限公司創始人(rén)牛昕宇博士(以(yǐ)下簡(jiǎn)稱(chēng)牛博(bó)士)看(kàn)來，一個不(bù)同(tóng)於過(guò)往的新(xīn)架(jià)構，是解決(jué)當前(qián)AI問題的正確之選。他(tā)同時(shí)也(yě)指出(chū)，目前(qián)的AI芯片行(háng)業，需(xū)要變革(gé)的(dí)不僅僅(jǐn)是(shì)架(jià)構。

亟待變(biàn)革(gé)的AI芯片架(jià)構(gòu)

對AI芯(xīn)片行業有所了(liǎo)解的(dí)讀者都應該(gāi)知(zhī)道，現在統治人(rén)工智(zhì)能芯片市(shì)場的(dí)廠商(shāng)主要是(shì)英偉達，依靠(kào)GPU優秀的並行計算能(néng)力(lì)和(hé)CUDA生(shēng)態，這家本(běn)來隻(zhī)是做顯(xiǎn)卡(qiǎ)的廠商在人工(gōng)智能(néng)時代(dài)大放異(yì)彩。

除了(liǎo)英偉達之外(wài)，擁(yōng)有龐(páng)大(dà)部(bù)署(shǔ)量的英(yīng)特爾(ěr)至強(qiáng)處(chǔ)理(lǐ)器(qì)和聲(shēng)名在(zài)外(wài)的(dí)穀(gǔ)歌TPU和特(tè)斯拉FSD也(yě)是AI芯片(piàn)市(shì)場(cháng)一個不可(kě)忽略(lüè)的(dí)角色。這些(xiē)處理(lǐ)器(qì)有一個共(gòng)同(tóng)特點，那(nà)就是他們(mén)無一(yī)例外(wài)采(cǎi)用了(liǎo)指(zhǐ)令集架(jià)構(gòu)處理器。

這些(xiē)架(jià)構(gòu)在(zài)實(shí)際應用(yòng)中(zhōng)不(bù)能(néng)發揮人(rén)工智(zhì)能芯片的(dí)全(quán)部(bù)算(suàn)力潛力(lì)，為(wéi)此牛博士(shì)指(zhǐ)出，在算(suàn)力需(xū)求(qiú)猛增(zēng)的AI時(shí)代(dài)，需要一種新的芯(xīn)片架構(gòu)，這(zhè)主要是(shì)由以(yǐ)下兩(liǎng)個(gè)原因決定的(dí)：

從硬(yìng)件(jiàn)架構上看，指令集架構芯片(piàn)中有部(bù)分(fēn)芯片(piàn)麵(miàn)積用(yòng)於支持(chí)指(zhǐ)令控製。更關(guān)鍵的問(wèn)題(tí)在於，在指令執(zhí)行(háng)過程中，計算(suàn)單(dān)元在(zài)多數時間(jiān)內處(chǔ)於(yú)等待的(dí)狀態：等待計算所(suǒ)需數據(jù)的到(dào)來(lái)。從這(zhè)個角度看，指令集(jí)架構下(xià)的算力並沒有被(bèi)充(chōng)分發揮(huī)出來給到(dào)用戶。

另一(yī)方麵，如上圖(tú)右邊所示，一(yī)個(gè)標準的五級(jí)指(zhǐ)令集(jí)的每一條指令(líng)都要(yào)經過讀取(qǔ)，解碼(mǎ)，執行，讀(dú)寫內存和把(bǎ)數據寫到寄(jì)存器(qì)裏(lǐ)麵去這(zhè)五(wǔ)個(gè)步(bù)驟。在這些步驟(zhòu)中，隻有執行(háng)這(zhè)一步(bù)驟(zhòu)是(shì)在執行真正的(dí)計算(suàn)。其他部分(fēn)都是(shì)在做(zuò)指令(líng)的(dí)讀取和解碼這(zhè)樣的功(gōng)能(néng)。雖(suī)然可以通過指令流水降低計(jì)算(suàn)單(dān)元(yuán)閒(xián)置(zhì)，不過在(zài)實(shí)際執行(háng)過(guò)程(chéng)中(zhōng)，受(shòu)限於(yú)指令間的依賴，以(yǐ)及指令間協同的(dí)時鐘不(bù)確定性，指令內部(bù)的計(jì)算(suàn)單元會出(chū)現(xiàn)閒(xián)置(zhì)等挑戰。

牛博(bó)士舉(jǔ)例(lì)說到，英偉達(dá)T4在Batch=128或Batch最(zuì)高(gāo)的測試環境下，按照其(qí)官網(wǎng)公布的指標(biāo)去比對幾個(gè)網(wǎng)絡(luò)實際的使(shǐ)用(yòng)算力，得出的結果是(shì)峰值(zhí)算(suàn)力的(dí)7%到30%左右(yòu)。這意味著產(chǎn)品(pǐn)有很大部分的(dí)性能(néng)還(huán)不能完(wán)全(quán)發(fā)揮出來。

“如果大(dà)家都在(zài)類(lèi)似(sì)架構下競爭(zhēng)，在(zài)接(jiē)近(jìn)的(dí)芯片利用(yòng)率(shuài)前提(tí)下，芯(xīn)片(piàn)公司的產(chǎn)品升級最(zuì)後會變(biàn)成依賴製程(chéng)工(gōng)藝和軟件(jiàn)生(shēng)態(tài)的比拼(pīn)。而(ér)且，對比(bǐ)P4與(yǔ)T4產品(pǐn)的(dí)實(shí)測(cè)性能可以發現(xiàn)，隨著峰值算力的增加(jiā)，芯片的實(shí)際(jì)利用率(shuài)有所降(jiàng)低”，牛(niú)博士補(bǔ)充(chōng)說。

從目(mù)前(qián)的市場發(fā)展上看，包(bāo)括英偉達在內(nèi)的(dí)多(duō)家(jiā)AI芯(xīn)片(piàn)廠商(shāng)都(dū)在(zài)沿(yán)著上述(shù)技術(shù)路綫演(yǎn)進(jìn)，但從當(dāng)前製程(chéng)工(gōng)藝(yì)的發(fā)展和材(cái)料(liào)本(běn)身的特性限(xiàn)製(zhì)看來(lái)，繼(jì)續大(dà)幅(fú)提(tí)升峰值(zhí)算力意味著更高的芯(xīn)片(piàn)成(chéng)本(běn)，而(ér)隨著(zhuó)峰(fēng)值算力降(jiàng)低的芯(xīn)片利(lì)用(yòng)率意味著給到用(yòng)戶的實(shí)測算力(lì)並不會(huì)等比(bǐ)例(lì)綫(xiàn)性(xìng)提升。這與當(dāng)前AI應(yīng)用客戶(hù)更高算力性價比(bǐ)的需求(qiú)是相背而行(háng)的。換(huàn)而(ér)言(yán)之，尋找一個(gè)新(xīn)的(dí)AI芯片(piàn)架構(gòu)迫(pò)在眉睫。

“數(shù)據(jù)流架(jià)構或許(xǔ)會是一個不(bù)錯(cuò)的(dí)選(xuǎn)擇(zé)”，牛博士說。

根據(jù)他的(dí)觀點，所(suǒ)有(yǒu)的(dí)計算(suàn)架構(gòu)需(xū)要保(bǎo)證(zhèng)一個核心(xīn)需求(qiú)：加減(jiǎn)乘除等計算操作能(néng)夠(gòu)按照(zhào)編(biān)程(chéng)需(xū)求按(àn)特定(dìng)次(cì)序完成(chéng)對特定數(shù)據(jù)的(dí)計算。與傳(chuán)統(tǒng)的馮·諾(nuò)依(yī)曼架構或控製流(liú)體係(xì)結構(gòu)進行對比，數據(jù)流架構(gòu)並(bìng)沒有指(zhǐ)令(líng)相關的指令控製與執(zhí)行單元。數(shù)據流(liú)架(jià)構依靠數(shù)據流動次序，而不(bù)是指(zhǐ)令(líng)執行次序保(bǎo)證(zhèng)計(jì)算(suàn)執行(háng)順(shùn)序，從(cóng)而(ér)將計算(suàn)與(yǔ)數據(jù)搬(bān)運重(zhòng)疊(dié)，以實現更(gēng)高(gāo)的吞(tūn)吐(tǔ)量(liáng)和(hé)更(gēng)低(dī)的(dí)延遲(chí)。

“在指(zhǐ)令集架構中，由於(yú)指令(líng)協(xié)同的不(bù)確定性，計(jì)算(suàn)與數(shù)據讀寫無法深度重疊(dié)，部分時間(jiān)計(jì)算單元處(chǔ)於等(děng)待數(shù)據狀(zhuàng)態，從(cóng)而導(dǎo)致閒(xián)置計算單(dān)元(yuán)和芯(xīn)片利(lì)用率的(dí)下降(jiàng)。而數據(jù)流(liú)架(jià)構中每個時鐘(zhōng)下所有(yǒu)計(jì)算(suàn)單(dān)元的狀態是確(què)定(dìng)的(dí)，計(jì)算(suàn)單元(yuán)無需等待其它(tā)單元的計算，從而消(xiāo)除計算(suàn)資(zī)源(yuán)閒置。”牛(niú)博(bó)士表示(shì)。“這(zhè)就像一個交響(xiǎng)樂團，當樂團中(zhōng)每個人(rén)都(dū)按(àn)照統(tǒng)一(yī)的拍(pāi)子進行演奏(zòu)時(shí)，而且每(měi)個人在每個拍(pāi)子下的動(dòng)作(zuò)是確定(dìng)的，樂團中(zhōng)的樂(lè)器之間並(bìng)不需要相(xiāng)互(hù)等待(dài)，可以按(àn)照自(zì)己(jǐ)的(dí)節(jié)拍並行(háng)的(dí)演(yǎn)奏，就會協(xié)作完(wán)成一首曲(qū)子。這(zhè)就像數據流(liú)架構中計算單元間(jiān)的協作關係：通(tōng)過精(jīng)確(què)的時(shí)鐘(zhōng)進行協作，而並不存(cún)在(zài)先後依(yī)賴關係，所以無(wú)需等待(dài)。”牛博(bó)士補充說。

據介紹，數據流(liú)架構支持時(shí)鐘級的精確計算(suàn)，讓(ràng)每(měi)個數據(jù)流動(dòng)及計算(suàn)在(zài)每(měi)個(gè)時(shí)鐘都(dū)可精確(què)預計(jì)，從(cóng)而(ér)支(zhī)持(chí)將數據流動與計(jì)算深度重(zhòng)疊(dié)，消除(chú)計算(suàn)單元閒(xián)置;於此同時，數(shù)據流架構中沒(méi)有指令，從而破除了(liǎo)指令集(jí)架構的(dí)控製冗(rǒng)餘(yú)以及等(děng)待指令(líng)讀取(qǔ)譯(yì)碼帶來(lái)的(dí)計算(suàn)單(dān)元閒(xián)置(zhì)問題(tí)，進一步提升芯片利(lì)用率。此外，數(shù)據流(liú)架(jià)構中一個(gè)數據流(liú)流(liú)水綫中(zhōng)可深度整合(hé)大量計算(suàn)單元(yuán)，從(cóng)而(ér)打破(pò)指令集(jí)架(jià)構中峰值算(suàn)力(lì)提升與(yǔ)芯(xīn)片利(lì)用率(shuài)的衝(chōng)突問題(tí)：通過不斷(duàn)加(jiā)深(shēn)數(shù)據流流(liú)水(shuǐ)綫(xiàn)，可以在(zài)提升峰值(zhí)算力(lì)同時，不(bù)降(jiàng)低(dī)流水綫(xiàn)中計(jì)算(suàn)單元閒(xián)置時(shí)間。”

正是因為數(shù)據流架構擁有如此多的(dí)優勢，包(bāo)括Wave Computing，SambaNova和(hé)Groq在(zài)內(nèi)的(dí)多家(jiā)公司(sī)投(tóu)入了這(zhè)個(gè)領域(yù)的研(yán)發，值得(dé)一提的是Groq的初(chū)創團隊(duì)還是(shì)由穀歌TPU的核(hé)心(xīn)成(chéng)員(yuán)創(chuàng)立，由(yóu)此(cǐ)可以看到(dào)數(shù)據流架構的前景(jǐng)。

當然(rán)，鯤雲(yún)科技(jì)創始(shǐ)團隊自(zì)1994年就(jiù)開始探(tàn)索數(shù)據(jù)流架(jià)構在(zài)各個(gè)垂(chuí)直(zhí)領域的開發(fā)和落地，在數(shù)據(jù)流(liú)技術(shù)上(shàng)具有(yǒu)深(shēn)厚的積累，自(zì)然(rán)是這個(gè)架(jià)構(gòu)的(dí)積極支(zhī)持(chí)者(zhě)。也(yě)正是在(zài)這個背景(jǐng)下(xià)，團(tuán)隊創立了(liǎo)鯤(kūn)雲(yún)科技，從零開(kāi)始探索針對(duì)深度(dù)學習的(dí)數據流(liú)架(jià)構(gòu)，也(yě)就(jiù)是(shì)CAISA。

AI芯片能(néng)力≠芯片峰值算力(lì)

在(zài)架構類(lèi)似的情(qíng)況(kuàng)下，峰值算力是一個(gè)可以(yǐ)簡(jiǎn)單(dān)快速估算芯(xīn)片(piàn)實測(cè)性能的指(zhǐ)標(biāo)，也(yě)是(shì)在AI芯(xīn)片設(shè)計中(zhōng)重點關(guān)注的指(zhǐ)標(biāo)。然而(ér)近(jìn)幾年，提升峰值(zhí)算(suàn)力(lì)的(dí)發展(zhǎn)方(fāng)向將人工(gōng)智(zhì)能芯片的發(fā)展推(tuī)向(xiàng)了另一(yī)個(gè)極(jí)端(duān)：峰(fēng)值算(suàn)力(lì)(或每(měi)瓦的峰值算力)已經(jīng)成為(wéi)評(píng)價一顆(kē)AI芯片(piàn)性能的(dí)單一(yī)指標，導(dǎo)致大量AI芯片研(yán)發資源(yuán)投入到(dào)如何(hé)把(bǎ)峰值算力(lì)推(tuī)高。

然而對(duì)於(yú)用(yòng)戶來說(shuō)，峰值算力其實(shí)並(bìng)不(bù)是他們的本質(zhì)需求。

“用戶真正(zhèng)關(guān)心的(dí)是AI芯片的實測算(suàn)力，而不(bù)完(wán)全是峰值算(suàn)力。峰值算(suàn)力(lì)並(bìng)不(bù)能直接(jiē)釋(shì)放給(gěi)用戶(hù)，真(zhēn)正釋(shì)放(fàng)給用戶(hù)的(dí)要乘上(shàng)一(yī)個係數(shù)，叫做芯片(piàn)利用(yòng)率(shuài)”，牛博士(shì)說。“峰(fēng)值算力(lì)指(zhǐ)標假(jiǎ)設(shè)每(měi)個芯(xīn)片(piàn)內(nèi)部計算(suàn)單(dān)元每(měi)個時(shí)鐘都(dū)處(chǔ)於計(jì)算(suàn)狀(zhuàng)態(tài)，而現(xiàn)有(yǒu)指令(líng)集架構在運算執(zhí)行中(zhōng)計算單(dān)元存在(zài)閒置(zhì)”，牛(niú)博(bó)士(shì)強(qiáng)調。

以英偉(wěi)達T4加速(sù)卡(qiǎ)為例，常(cháng)用的(dí)識別，檢(jiǎn)測和(hé)分割的算(suàn)法(fǎ)ResNet50，SSD-ResNet50和(hé)U-Net Industrial，在Batch=128或者(zhě)最(zuì)高性(xìng)能的情(qíng)況(kuàng)下(xià)，可(kě)以分別(bié)獲得32.1%，7.5%，11.9%的(dí)芯片(piàn)利用(yòng)率，這(zhè)意味(wèi)著在實(shí)際(jì)應用中，隻有7%到32%的峰值(zhí)算(suàn)力轉(zhuǎn)換(huàn)為(wéi)實測性(xìng)能(néng)釋放給用戶，當(dāng)中(zhōng)帶(dài)來的芯(xīn)片(piàn)性能(néng)浪費(fèi)是(shì)顯而易(yì)見的(dí)。

“為了(liǎo)讓用(yòng)戶獲(huò)得(dé)更高(gāo)的(dí)性(xìng)能，除了持(chí)續(xù)提高(gāo)峰(fēng)值(zhí)性(xìng)能以外(wài)，芯(xīn)片(piàn)利用率的提升(shēng)會(huì)是一(yī)個(gè)更好的(dí)方案，因(yīn)為(wéi)這(zhè)會(huì)在不增加(jiā)芯(xīn)片(piàn)成本的(dí)情況下(xià)，大幅提(tí)升(shēng)芯(xīn)片的實測(cè)性能。這(zhè)也(yě)是(shì)鯤雲科(kē)技(jì)新推出(chū)的(dí)CAISA 芯片正在(zài)努(nǔ)力(lì)的(dí)方向(xiàng)”，牛博(bó)士(shì)說(shuō)。

這是一(yī)款(kuǎn)采(cǎi)用28nm工藝打造(zào)的芯片，搭(dā)載了(liǎo)四個CAISA 3.0引(yǐn)擎(qíng)，具有(yǒu)超過(guò)1.6萬個(gè)MAC(乘(chéng)累(léi)加)單(dān)元，峰值性能可達(dá)10.9TOPs。而通過PCIe 3.0×4接(jiē)口(kǒu)與(yǔ)主處理(lǐ)器(qì)通(tōng)信，同時具有雙DDR通道，可為(wéi)每(měi)個(gè)CAISA芯片(piàn)提供超過340Gbps的(dí)帶(dài)寬(kuān)。

作(zuò)為一款(kuǎn)麵(miàn)向(xiàng)邊(biān)緣(yuán)和數據(jù)中心(xīn)推理(lǐ)的(dí)人(rén)工智能芯片(piàn)，CAISA芯片(piàn)可(kě)實現(xiàn)最高95.4%的(dí)芯片(piàn)利(lì)用(yòng)率。這(zhè)就讓(ràng)他們在既滿(mǎn)足(zú)客戶(hù)在價(jià)格和(hé)功耗(hào)方麵(miàn)需求(qiú)的同(tóng)時，還(huán)能為(wéi)客戶(hù)提(tí)供更強的算(suàn)力(lì)，提高(gāo)了(liǎo)性價(jià)比(bǐ)。而之所以能做(zuò)到(dào)如此(cǐ)高(gāo)的芯片(piàn)利用(yòng)率(shuài)，與(yǔ)鯤(kūn)雲(yún)科技的CAISA 3.0數(shù)據(jù)流(liú)架(jià)構(gòu)有(yǒu)莫大(dà)的(dí)關係(xì)。

在(zài)文(wén)章(zhāng)前(qián)麵(miàn)我們(mén)提到(dào)，鯤(kūn)雲科技(jì)首席(xí)科(kē)學家(jiā)Wayne Luk陸(lù)永青(qīng)院(yuàn)士(shì)從1994年就(jiù)開始將數據流架(jià)構(gòu)應用到各個垂(chuí)直領域。經(jīng)歷了前十幾(jī)年的(dí)發(fā)展積(jī)累(léi)，到鯤(kūn)雲(yún)科技於2016年成立(lì)並在(zài)FPGA上(shàng)實現交付(fù)，與(yǔ)客戶的交流迭代(dài)之(zhī)後(hòu)，完成了此次(cì)全(quán)新(xīn)的架(jià)構升級。

來到(dào)CAISA3.0中，數據計算(suàn)與數據(jù)流(liú)動的(dí)重疊，壓(yā)縮計算資源的每(měi)一(yī)個空(kōng)閒時鐘(zhōng);通(tōng)過算力資(zī)源(yuán)的動態平衡(héng)，消除流水(shuǐ)綫的性能瓶頸(jǐng);通(tōng)過數(shù)據流的時空映(yìng)射(shè)，最大化復(fù)用芯片(piàn)內的數據(jù)流(liú)帶(dài)寬，減少(shǎo)對外部存(cún)儲(chǔ)帶寬的(dí)需求。上(shàng)述設計使CNN算法的計算數據在(zài)CAISA3.0內可(kě)以實現不(bù)間斷(duàn)的(dí)持續(xù)運(yùn)算，最高可實現(xiàn)95.4%的(dí)芯片(piàn)利用(yòng)率，在同等(děng)峰(fēng)值(zhí)算(suàn)力條(tiáo)件(jiàn)下，可(kě)獲得相對於(yú)GPU 3倍以上(shàng)的實測(cè)算力，從(cóng)而(ér)為用戶提供更高的算力性價比。

相比(bǐ)旗(qí)艦款Xavier加(jiā)速(sù)卡(qiǎ)，搭載CAISA芯片的(dí)星空加速卡(qiǎ)X3可(kě)以最高提(tí)供(gōng)4.12倍實測性(xìng)能提(tí)升(shēng);而(ér)與(yǔ)T4相比，鯤雲(yún)科(kē)技(jì)也(yě)能提(tí)供(gōng)最高3.91倍實測性(xìng)能(néng)提(tí)升。這都是超高(gāo)的(dí)芯片利用率提升(shēng)所(suǒ)帶(dài)來(lái)的(dí)。得益(yì)於這(zhè)個利(lì)用(yòng)率，過往通(tōng)過提(tí)升峰(fēng)值性獲得更高性能而(ér)帶來(lái)的(dí)高(gāo)成(chéng)本問(wèn)題，也(yě)迎刃而解(jiě)。

也許很多人並沒(méi)有(yǒu)理解這個(gè)3.91倍背後(hòu)的(dí)意(yì)義(yì)，讓我們舉個現(xiàn)有的(dí)例子來(lái)對比說明一下。

AI從(cóng)業(yè)人員都知(zhī)道(dào)，英偉(wěi)達為(wéi)了展(zhǎn)現其(qí)T4的(dí)實(shí)力(lì)，在其(qí)官(guān)方網站(zhàn)上(shàng)公布了這(zhè)個加速(sù)卡(qiǎ)跑(pǎo)在不同網絡模型下的性(xìng)能指標(biāo)。作為AI芯片行業的風向(xiàng)標(biāo)，任(rèn)何一款芯(xīn)片想(xiǎng)要說(shuō)明自己的實(shí)力(lì)，隻需(xū)要跑(pǎo)和T4一(yī)樣(yàng)的網(wǎng)絡(luò)，然(rán)後公(gōng)布相(xiāng)關(guān)的Benchmark就(jiù)可以如願(yuàn)以(yǐ)償(cháng)。早前被(bèi)英特爾(ěr)收(shōu)購的Habana就(jiù)是這樣做(zuò)的。根據Habana所公布benchmark性能(néng)，相(xiāng)比於T4官(guān)網指標(最(zuì)新(xīn)官(guān)網(wǎng)指標為(wéi)5415FPS)，通(tōng)過(guò)更高的峰值算力，Habana的產(chǎn)品提(tí)供(gōng)了(liǎo)2.85倍實測(cè)性能提(tí)升。正是(shì)因(yīn)為在實測(cè)性能上取(qǔ)得(dé)的領(lǐng)先，最終獲(huò)得Intel的青(qīng)睞，讓他(tā)們(mén)以(yǐ)20億美(měi)元的(dí)估(gū)值被收購。

通過(guò)這個例子(zǐ)，我們(mén)也可以(yǐ)看到鯤雲(yún)科技這(zhè)個(gè)數(shù)字(zì)的真正價值(zhí)。

在這個高性(xìng)能(néng)芯(xīn)片的(dí)支持(chí)下，鯤雲科(kē)技打(dǎ)造(zào)了高(gāo)算(suàn)力性(xìng)價比的(dí)AI計算平台星空加(jiā)速卡(qiǎ)係列，並推出了X3和X9兩款產(chǎn)品。

其(qí)中星空X3加速卡是(shì)搭(dā)載單(dān)顆CAISA 芯(xīn)片(piàn)的(dí)數據流(liú)架(jià)構深(shēn)度學習(xí)推(tuī)斷計算平台，為(wéi)工業(yè)級半高(gāo)半(bàn)長單(dān)槽(cáo)規格的PCIe板卡(qiǎ)。得益於其輕量化(huà)的規格特(tè)點，X3加(jiā)速卡可以與不(bù)同類(lèi)型的計算(suàn)機(jī)設備進行適配(pèi)，包(bāo)括個人電(diàn)腦，工業計(jì)算(suàn)機，網絡(luò)視頻錄像機，工作站(zhàn)，服務器等，滿足(zú)邊緣(yuán)和(hé)高(gāo)性能(néng)場景中的AI計算需(xū)求。相(xiāng)較(jiào)於英(yīng)偉達邊(biān)緣(yuán)端(duān)旗艦產品Xavier，X3可實現1.48-4.12倍的實測性能提升(shēng)。

X9加速(sù)卡為(wéi)搭(dā)載4顆CAISA 芯片(piàn)的深(shēn)度學(xué)習推(tuī)斷板卡(qiǎ)，峰(fēng)值性(xìng)能(néng)43.6TOPS，主要滿足高性能場(cháng)景下(xià)的AI計(jì)算(suàn)需求(qiú)。同(tóng)英偉達旗艦產(chǎn)品T4相對(duì)，X9在(zài)ResNet-50, YOLO v3等模(mó)型上(shàng)的芯片(piàn)利用率(shuài)提升2.84-11.64倍(bèi)。在實測性(xìng)能(néng)方(fāng)麵，X9在ResNet50可達(dá)5240FPS，與T4性(xìng)能(néng)接近，在YOLO v3，UNet Industrial等檢測(cè)分割網絡，實(shí)測(cè)性能(néng)相(xiāng)較T4有(yǒu)1.83-3.91倍(bèi)性能提升(shēng)。在(zài)達(dá)到最(zuì)優實測性能下，X9處(chǔ)理延時(shí)相(xiāng)比(bǐ)於T4降低1.83-32倍。實(shí)測(cè)性(xìng)能(néng)以(yǐ)及處理(lǐ)延時的(dí)大(dà)幅(fú)領(lǐng)先(xiān)，讓數(shù)據流架(jià)構(gòu)為AI芯片的(dí)發展提(tí)供(gōng)了提升峰值性能之(zhī)外(wài)的另一條技術路(lù)綫。

據了(liǎo)解，目前(qián)星空(kōng)X3加(jiā)速卡已經推出市(shì)場(cháng)，而星(xīng)空X9加速卡(qiǎ)將(jiāng)於今年8月(yuè)推出市場。

全(quán)球首個(gè)數據(jù)流AI芯(xīn)片背(bèi)後(hòu)

從行業的現狀看來，鯤雲科技(jì)是(shì)全球(qiú)首家推出數(shù)據(jù)流AI芯(xīn)片，並且(qiě)提供(gōng)第三(sān)方實(shí)測benchmark的中國芯片(piàn)企業(yè)。這(zhè)是(shì)前文(wén)說到的(dí)Wave Computing，SambaNova和(hé)Groq等國(guó)外(wài)明星初創企業(yè)所不能達到的(dí)成(chéng)就(jiù)。而(ér)通(tōng)過數據(jù)流(liú)網絡(luò)中算子的不同配置(zhì)和組合，鯤雲(yún)科(kē)技的(dí)CAISA芯(xīn)片更可支持到(dào)絕大(dà)多(duō)數(shù)的CNN算法，並能讓開發(fā)者輕(qīng)易(yì)地(dì)將(jiāng)模型遷移到(dào)這個平台上(shàng)。

能(néng)做(zuò)到這樣，是其(qí)架(jià)構(gòu)和(hé)軟件相(xiāng)互協(xié)同(tóng)獲得(dé)的成果(guǒ)。

CAISA3.0架構(gòu)可(kě)以通過(guò)流(liú)水(shuǐ)綫動態重組(zǔ)實現對(duì)不(bù)同(tóng)深度學(xué)習算法的(dí)高(gāo)性(xìng)能(néng)支持。通過(guò)CAISA架構層(céng)的(dí)數據流(liú)引擎(qíng)，全(quán)局數(shù)據流網，全(quán)局(jú)數(shù)據(jù)流(liú)緩(huǎn)存，以(yǐ)及(jí)數據流引(yǐn)擎(qíng)內(nèi)部的(dí)人工(gōng)智(zhì)能算子(zǐ)模塊(kuài)，局部(bù)數(shù)據(jù)流網，局部(bù)數據(jù)流緩(huǎn)存的分層設(shè)計，在數(shù)據流配置器控製下(xià)，CAISA架(jià)構(gòu)中的數據流(liú)連(lián)接關(guān)係和運行狀(zhuàng)態(tài)都(dū)可(kě)以(yǐ)被(bèi)自動(dòng)化動態配(pèi)置，從而(ér)生(shēng)成(chéng)麵(miàn)向(xiàng)不同AI算法的高(gāo)性能(néng)定製化流(liú)水(shuǐ)綫(xiàn)。在保證高性能的前提下(xià)，支持用戶(hù)使用(yòng)基(jī)於(yú)CAISA3.0架構的計算(suàn)平(píng)台實現如(rú)目(mù)標檢(jiǎn)測，分類及(jí)語(yǔ)義分割(gē)等(děng)廣泛的人(rén)工(gōng)智(zhì)能(néng)算(suàn)法(fǎ)應用(yòng)。

“專為CAISA3.0架構配備(bèi)的RainBuilder編譯(yì)工(gōng)具鏈(liàn)支持(chí)從算法(fǎ)到(dào)芯片的(dí)端到(dào)端自動化(huà)部(bù)署”，牛(niú)博士(shì)強調。而在(zài)RainBuilder編譯(yì)工具鏈(liàn)的支持(chí)下，用戶和開發(fā)者(zhě)無需(xū)了解架構(gòu)的(dí)底層(céng)硬件配置，簡單(dān)兩(liǎng)步即(jí)可(kě)實現算法(fǎ)快速(sù)遷移(yí)和(hé)部署(shǔ)。

據(jù)透露，RainBuilder編譯器可(kě)自動(dòng)提(tí)取主流AI開(kāi)發框架(jià)(TensorFlow，Caffe，Pytorch，ONNX等)中開發的深(shēn)度(dù)學(xué)習算(suàn)法的網絡結構和(hé)參數信息(xī)，並麵(miàn)向CAISA結(jié)構(gòu)進(jìn)行(háng)優化(huà);工具(jù)鏈中(zhōng)的(dí)運(yùn)行(háng)時(Runtime)和驅動(Driver)模(mó)塊(kuài)負責硬件(jiàn)管理(lǐ)並(bìng)為用戶(hù)提(tí)供(gōng)標準(zhǔn)的(dí)API接口，運行(háng)時(shí)可(kě)以基於精確(què)的(dí)CAISA性能(néng)模(mó)型(xíng)，實現算法向(xiàng)CAISA架構的(dí)自(zì)動化映射(shè)，同(tóng)時提(tí)供可以被(bèi)高級(jí)語言(yán)直接(jiē)調用(yòng)的(dí)API接口;最底(dǐ)層的驅(qū)動可以實(shí)現對(duì)用戶(hù)透(tòu)明(míng)的硬(yìng)件(jiàn)控製。RainBuilder工具(jù)鏈使用簡單，部署方(fāng)便，通用性(xìng)強，可以(yǐ)讓用戶(hù)快(kuài)速和低成本的部(bù)署(shǔ)和遷移已有算法(fǎ)到CAISA硬(yìng)件平台上(shàng)。

回(huí)顧計(jì)算行(háng)業的發展，不(bù)同(tóng)的應(yīng)用催生了不同的(dí)處理(lǐ)器架構。早期PC的出(chū)現(xiàn)，讓X86架構和Intel名揚(yáng)天下;近十年移(yí)動設備的(dí)出現，又推動了Arm架構和(hé)高(gāo)通的蓬(péng)勃(bó)發展。

現在(zài)，我們進入了AI時代，也許(xǔ)一個(gè)屬(shǔ)於(yú)數(shù)據流處理(lǐ)器和(hé)鯤(kūn)雲(yún)科技的(dí)時代，從這刻(kè)開始(shǐ)正式(shì)上演。

本(běn)文轉(zhuǎn)載自：https://mp.weixin.qq.com/s/87oBRJv-_pRL9r6Y1vyUeQ