近年來人(rén)工智能的算力需(xū)求持續(xù)增(zēng)高
，各(gè)家芯(xīn)片(piàn)廠商從不(bù)同(tóng)角度出(chū)發
，不(bù)斷(duàn)提(tí)升芯片(piàn)的算力(lì)性價比(bǐ)。針(zhēn)對(duì)這(zhè)個問(wèn)題
，電子發燒友網與(yǔ)鯤雲科(kē)技(jì)聯合(hé)創始人(rén)，首席運(yùn)營(yíng)官王(wáng)少(shǎo)軍博(bó)士進(jìn)行了交(jiāo)流
，以下是電子(zǐ)發燒友網(wǎng)的報(bào)道(dào)
，作者李彎(wān)彎。

　　現在(zài)各種(zhǒng)應(yīng)用(yòng)場景(jǐng)對(duì)算力的需求越來(lái)越大
，為了(liǎo)滿足需(xū)求(qiú)
，各(gè)廠商不(bù)斷提升AI芯(xīn)片的峰值(zhí)算力(lì)
，而(ér)傳統指令集架(jià)構的芯(xīn)片(piàn)利用(yòng)率卻(què)難以(yǐ)提升(shēng)
，大多(duō)數在10-40%
，這讓芯片的實(shí)測性能大(dà)打(dǎ)折扣
，那麼如(rú)何突(tū)破呢(ní)?

　　與指令集架構(gòu)不同(tóng)
，數據(jù)流架構的顯(xiǎn)著特點就是依(yī)托(tuō)數據(jù)流的流動次(cì)序控製(zhì)計算執行次序(xù)
，而非(fēi)指令執行(háng)次序(xù)
，因(yīn)此(cǐ)把(bǎ)它(tā)用在AI上可以讓芯片利(lì)用(yòng)率(shuài)大(dà)幅提升(shēng)
，芯(xīn)片利(lì)用率直至(zhì)逼近(jìn) 100%。

　　數據流(liú)架構如何提升(shēng)芯片利用率(shuài)

　　目前(qián)市(shì)場上的芯(xīn)片主要有兩種架構形式(shì)：一種是大家熟知(zhī)的指(zhǐ)令集架構
，主要包(bāo)括(kuò)X86架構(gòu)，ARM架(jià)構，精(jīng)簡(jiǎn)指令集(jí)運算(suàn)RISC-V開(kāi)源(yuán)架構(gòu)
，以及SIMD架(jià)構;另外(wài)一種就是數(shù)據流架構。 指(zhǐ)令(líng)集架構(gòu)采用馮諾依曼(màn)計算方式(shì)
，通過指令執行次序控製計算順(shùn)序(xù)
，並通過分離數據搬運與數(shù)據(jù)計算(suàn)提供(gōng)計算(suàn)通用性。數據(jù)流(liú)架(jià)構(gòu)采(cǎi)用數據流引(yǐn)擎計算(suàn)
，它(tā)允許編(biān)譯器(qì)同時調(tiáo)度多個順(shùn)序(xù)循環(huán)和功(gōng)能
，具(jù)有更(gēng)高(gāo)的(dí)吞吐(tǔ)量和更低的延遲
，顯(xiǎn)著特點(diǎn)是能(néng)夠(gòu)大(dà)幅提升芯(xīn)片(piàn)利用(yòng)率(shuài)。

　　如(rú)下圖(tú)左側
，指令集架構(gòu)首先執(zhí)行函數A
，完成之(zhī)後再執行(háng)函數B
，依(yī)次類推直至執(zhí)行(háng)完(wán)所(suǒ)有程序。下圖(tú)右側(cè)
，在數據流(liú)架(jià)構的情形(xíng)下(xià)
，編(biān)譯器可以(yǐ)安排(pái)每(měi)個(gè)函數在(zài)數(shù)據可(kě)用時立即執行
，這樣(yàng)可(kě)以(yǐ)大(dà)大縮(suō)短等待(dài)和間(jiān)隔(gé)的時(shí)間。

　　雖然數據流架(jià)構沒有指令集(jí)架構那(nà)麼(mó)廣為(wéi)人(rén)知(zhī)
，然而不可忽視的是
，目(mù)前(qián)數據(jù)流架(jià)構已(yǐ)經(jīng)在專用硬件中成功應(yīng)用(yòng)
，比(bǐ)如數字信(xìn)號處理，網絡(luò)路由(yóu)，圖(tú)形(xíng)處理，遙感(gǎn)檢測(cè)以(yǐ)及數(shù)據(jù)庫(kù)處理(lǐ)等
，在(zài)許多軟件體係結(jié)構(gòu)中
，包括(kuò)數據庫(kù)引擎設(shè)計(jì)和並(bìng)行計算框架(jià)
，它(tā)也(yě)占據重(zhòng)要地(dì)位(wèi)。

　　1994年
，帝(dì)國(guó)理(lǐ)工學院教(jiào)授，英(yīng)國皇(huáng)家(jiā)工程院院士，鯤雲科(kē)技聯合創始(shǐ)人和首席科(kē)學(xué)家(jiā)Wayne Luk陸(lù)永(yǒng)青院(yuàn)士率(shuài)先將數據流(liú)架(jià)構定製(zhì)化(huà)並運(yùn)用到(dào)AI領(lǐng)域(yù)。如今國內(nèi)外對數據流(liú)技術(shù)的(dí)關注日益增(zēng)多
，包(bāo)括(kuò)國(guó)外(wài)的(dí)SambaNova，Groq，Wave computing
，以及(jí)國內的鯤(kūn)雲科技(jì)。鯤(kūn)雲科技已(yǐ)經(jīng)於(yú)去(qù)年量(liáng)產(chǎn)了全球首(shǒu)款(kuǎn)數(shù)據(jù)流(liú)AI芯(xīn)片CAISA
，脫(tuō)胎(tāi)於斯(sī)坦(tǎn)福大學的(dí)SambaNova
，產品(pǐn)處於(yú)小規(guī)模(mó)試(shì)用(yòng)階段(duàn)
，而(ér)前(qián)穀歌TPU核(hé)心團隊(duì)創(chuàng)辦的(dí)Groq
，現(xiàn)在還(huán)未(wèi)推出(chū)產品。

　　數據流(liú)架(jià)構如(rú)何提升(shēng)芯片利用率(shuài)?我們(mén)通過(guò)全球(qiú)唯(wéi)一量產數(shù)據流AI芯(xīn)片的公(gōng)司鯤雲(yún)科技(jì)來看一(yī)下(xià)
，鯤雲(yún)的(dí)核(hé)心技術就(jiù)是他們(mén)的(dí)定(dìng)製數(shù)據流(liú)CAISA架構
，這(zhè)是一款(kuǎn)為深(shēn)度學習(xí)神(shén)經網絡定製(zhì)的高(gāo)性(xìng)能(néng)AI計算架構。CAISA架構(gòu)通(tōng)過數據流(liú)流(liú)動次序來(lái)控製(zhì)計(jì)算(suàn)順序(xù)
，消除(chú)指(zhǐ)令(líng)操作(zuò)導致(zhì)的額(é)外時間開(kāi)銷(xiāo)
，讓(ràng)CNN網(wǎng)絡的(dí)算子(zǐ)級數據流(liú)圖可(kě)以實(shí)現高效(xiào)流(liú)水綫運(yùn)算(suàn)。同(tóng)時(shí)CAISA可(kě)並行執行數(shù)據(jù)訪(fǎng)問和(hé)數據(jù)計算(suàn)
，進一步減(jiǎn)少計算(suàn)單(dān)元的(dí)空閒時間(jiān)
，最(zuì)大化(huà)地(dì)利用(yòng)芯片(piàn)的(dí)計(jì)算資(zī)源
，從而(ér)提(tí)供更高的(dí)實測算(suàn)力(lì)。

　　鯤(kūn)雲(yún)科(kē)技合夥(huǒ)人(rén)，首席(xí)運營(yíng)官王少軍博士(shì)在(zài)接(jiē)受(shòu)電子發燒(shāo)友(yǒu)網(wǎng)采(cǎi)訪時(shí)表示
，之所(suǒ)以投身於定(dìng)製數據流(liú)架(jià)構芯片的研發
，首先是(shì)鯤雲科技有數據(jù)流架構(gòu)技(jì)術研(yán)發基(jī)礎
，公(gōng)司(sī)創始(shǐ)團隊(duì)來(lái)自數(shù)據(jù)流技(jì)術(shù)的(dí)源(yuán)頭(tóu)實驗室
，該(gāi)實(shí)驗(yàn)室是全(quán)球(qiú)三(sān)大定(dìng)製計(jì)算(suàn)實(shí)驗室之(zhī)一(yī)
，從90年(nián)代開(kāi)始就深耕數據流(liú)架構(gòu)與(yǔ)不(bù)同領(lǐng)域的(dí)領域專(zhuān)用(yòng)架構(gòu)研(yán)發
，具備深(shēn)厚(hòu)的研發(fā)和(hé)迭代積(jī)累。

　　其(qí)次(cì)更為重(zhòng)要的(dí)是(shì)底層芯(xīn)片技術存在算力(lì)瓶(píng)頸
，隨(suí)著摩爾定(dìng)律發展(zhǎn)
，依(yī)靠(kào)摩爾定(dìng)律(lǜ)提升(shēng)芯(xīn)片性能的(dí)成本越(yuè)來越高
，比如(rú)一款5nm芯片的研發成本就(jiù)高達數(shù)億美(měi)元
，針對特(tè)定(dìng)領(lǐng)域實現領(lǐng)域(yù)專用架構(gòu)的性能獲益(yì)會越來越高
，直到大幅(fú)領(lǐng)先(xiān)通用(yòng)計算芯片(piàn)
，鯤雲科(kē)技認為在算力猛(měng)增(zēng)的(dí)時代
，行業需(xū)要一(yī)顆高(gāo)算(suàn)力性價(jià)比(bǐ)的人(rén)工智能專(zhuān)用(yòng)芯片
，數據(jù)流架(jià)構(gòu)的(dí)重大(dà)意義(yì)在於它突(tū)破(pò)了(liǎo)傳統芯(xīn)片架(jià)構(gòu)對(duì)芯(xīn)片利用率(shuài)的約束(shù)
，最大(dà)化發揮芯片本身(shēn)的(dí)峰(fēng)值性能(néng)。

　　因(yīn)此鯤雲(yún)科技在早(zǎo)期(qī)數(shù)據流架(jià)構技(jì)術的積(jī)累下(xià)
，針對人工智能領(lǐng)域(yù)開發(fā)出(chū)CAISA架構
，並最(zuì)終(zhōng)實現從(cóng)0到1完成(chéng)首顆數據流(liú)AI芯片(piàn)量(liáng)產(chǎn)。

　　鯤雲(yún)CAISA芯片(piàn)利用率高(gāo)達95.4%

　　鯤雲(yún)科(kē)技於去年6月(yuè)正式量產了全(quán)球(qiú)首(shǒu)款數據(jù)流AI芯片CAISA
，芯片利用率達(dá)到95.4%
，麵(miàn)向(xiàng)數(shù)據(jù)中(zhōng)心(xīn)和(hé)邊緣端AI推斷應(yīng)用(yòng)
，該芯(xīn)片(piàn)采(cǎi)用(yòng)28nm工藝
，這個(gè)製程(chéng)並不高(gāo)
，不過因為芯片(piàn)利用(yòng)率(shuài)高
，即使(shǐ)在比(bǐ)較(jiào)低的製程(chéng)情況下
，CAISA芯片(piàn)也(yě)可以帶來很高(gāo)的實測(cè)性(xìng)能。

　　同時鯤雲(yún)科技還基(jī)於CAISA芯(xīn)片推(tuī)出三款高(gāo)性能計算平台
，包括麵向邊(biān)緣端的(dí)星空(kōng)X3加(jiā)速卡，麵向數(shù)據中(zhōng)心的(dí)星空X9加(jiā)速(sù)卡(qiǎ)，麵向邊緣AI應用(yòng)的星空(kōng)X6A邊緣(yuán)小站(zhàn)。星(xīng)空(kōng)X3加速卡(qiǎ)麵向8-16路視頻(pín)實時結構(gòu)化(huà)分析
，星空X6A邊(biān)緣(yuán)小站(zhàn)麵(miàn)向(xiàng)8路視頻(pín)處理應(yīng)用。

　　目前CAISA芯(xīn)片及(jí)加(jiā)速(sù)卡(qiǎ)產(chǎn)品已在多(duō)領(lǐng)域實現應用
，包(bāo)括(kuò)智慧安監，智能(néng)製造，智慧(huì)電力，智慧(huì)城市(shì)等(děng)。王少(shǎo)軍博(bó)士認(rèn)為
，對於這些場(cháng)景(jǐng)
，特別(bié)是(shì)國民生(shēng)產支柱(zhù)行業(yè)而(ér)言(yán)
，“降本增效”是(shì)剛需(xū)
，比(bǐ)如在油田的應(yīng)用(yòng)場景(jǐng)
，傳統的(dí)安(ān)防(fáng)監控(kòng)係(xì)統已(yǐ)經比(bǐ)較成熟(shú)
，端(duān)側(cè)的(dí)攝(shè)像頭安(ān)防係(xì)統基本部署(shǔ)完成(chéng)
，但視頻結(jié)構(gòu)化利用率低
，單(dān)純(chún)依(yī)靠人(rén)工巡檢(jiǎn)
，作(zuò)業(yè)區域廣(guǎng)
，環境(jìng)復雜
，耗(hào)時長
，數(shù)據(jù)采集維(wéi)度單(dān)一(yī)
，人(rén)工識(shí)別難(nán)度(dù)大
，而且(qiě)預警(jǐng)不(bù)及(jí)時
，漏報(bào)概(gài)率(shuài)高(gāo)
，事後取證難。

　　針對這(zhè)些行業痛點
，鯤(kūn)雲科(kē)技提供算法(fǎ)算(suàn)力平台一(yī)體(tǐ)化方(fāng)案
，基(jī)於數(shù)據流(liú)AI芯片的(dí)底層(céng)算(suàn)力優勢(shì)
，以及算力和算(suàn)法聯合優化(huà)的(dí)技術優勢(shì)
，對現場(cháng)接(jiē)入(rù)的500路視頻進(jìn)行數據處(chǔ)理
，對漏油，安(ān)全帽，工服，抽煙(yān)，打(dǎ)電話，人員闖入(rù)和采油(yóu)設備運行(háng)狀(zhuàng)態進行(háng)識(shí)別
，可以(yǐ)做(zuò)到從(cóng)視頻(pín)流(liú)獲取(qǔ)到輸(shū)出報警時(shí)間為1s
，為油(yóu)區的(dí)生產情況(kuàng)提供更可(kě)靠的(dí)安全保障(zhàng)。在油(yóu)田(tián)智能化(huà)升(shēng)級過程(chéng)中
，數(shù)據流AI芯片就凸(tū)顯出了其(qí)市(shì)場價值
，可以充分利舊，快(kuài)速部署，控製成本。

　　未(wèi)來(lái)解(jiě)決算力(lì)需求的(dí)主流(liú)方(fāng)法

　　數據(jù)流AI芯(xīn)片的商(shāng)用落(là)地
，證(zhèng)實了數(shù)據流(liú)和(hé)深度(dù)學(xué)習融合的(dí)價值
，王(wáng)少軍(jūn)博(bó)士認為(wéi)數(shù)據(jù)流架(jià)構(gòu)具備(bèi)成(chéng)為(wéi)下一(yī)代(dài)計(jì)算平(píng)台的(dí)潛(qián)力(lì)。他談(tán)到
，在計(jì)算平台(tái)的演(yǎn)進(jìn)過程中(zhōng)
，十倍(bèi)核(hé)心(xīn)性(xìng)能指標的(dí)提升(shēng)
，是計(jì)算架構(gòu)代際(jì)更替(tì)的(dí)主要(yào)指(zhǐ)標
，比如
，從X86到RISC計算平(píng)台(tái)
，能效(xiào)比提升(shēng)了(liǎo)10倍以上;從X86到CUDA計算平(píng)台(tái)
，峰值算(suàn)力(lì)也提(tí)升了超(chāo)過(guò)10倍。

　　從(cóng)歷(lì)史脈絡來看
，相對上(shàng)一代(dài)主流算力平台
，新的算力平台(tái)在某個指標上(shàng)需要(yào)高出(chū)10倍(bèi)
，才(cái)能實(shí)現實測(cè)性(xìng)能的大(dà)幅提升
，隨著(zhuó)摩爾定律(lǜ)的放緩
，業界(jiè)越來越關注(zhù)下一代芯(xīn)片應該如何(hé)發(fā)展
，而(ér)底層架(jià)構創新是這(zhè)幾(jī)年(nián)業界的(dí)共識
，行業需(xū)要(yào)新(xīn)的(dí)技(jì)術路綫(xiàn)來(lái)實(shí)現底層(céng)算(suàn)力的突(tū)破(pò)。

　　王(wáng)少(shǎo)軍博(bó)士認(rèn)為(wéi)
，下一(yī)代有(yǒu)望(wàng)帶來(lái)10倍(bèi)以(yǐ)上突破(pò)的(dí)指標就(jiù)是芯片利(lì)用(yòng)率(shuài)
，這(zhè)可能(néng)是未(wèi)來(lái)解決算(suàn)力需(xū)求的(dí)主(zhǔ)流方法
，而數(shù)據(jù)流(liú)架構(gòu)可以實(shí)現這(zhè)一(yī)點(diǎn)
，鯤雲科(kē)技(jì)認(rèn)為(wéi)未來會(huì)有更(gēng)多(duō)新興AI芯片廠(chǎng)商(shāng)加入到(dào)數據流AI技(jì)術(shù)路綫中。對(duì)於現有芯片(piàn)廠商(shāng)來說
，技術(shù)路綫(xiàn)的(dí)選(xuǎn)擇是(shì)公司的一(yī)大(dà)核(hé)心戰略
，而(ér)其已有的(dí)開(kāi)發生態和技術(shù)積(jī)累使其(qí)很難轉換(huàn)賽(sài)道(dào)
，但(dàn)有些(xiē)玩家(jiā)也(yě)看(kàn)到(dào)了數(shù)據流技術的(dí)價值(zhí)
，比(bǐ)如英偉達(dá)就(jiù)推出了(liǎo)TensorCore
，在(zài)指令集架構(gòu)的基礎(chǔ)上
，該(gāi)模塊(kuài)采用(yòng)了數(shù)據流技(jì)術的(dí)原(yuán)理
，來提升(shēng)其在(zài)特(tè)定領(lǐng)域的(dí)芯(xīn)片(piàn)利用效率。

　　總結

　　整體來說
，數據流(liú)架構可(kě)以大幅(fú)提(tí)升芯片(piàn)利用率
，鯤(kūn)雲定製數(shù)據流(liú)CAISA芯片的量(liáng)產(chǎn)商用(yòng)
，也(yě)證(zhèng)實(shí)了數(shù)據流與深度學(xué)習融合的(dí)價值(zhí)
，給AI帶(dài)來了一(yī)個新的技術研究方(fāng)向(xiàng)
，相信(xìn)未(wèi)來會(huì)有更(gēng)多(duō)AI芯片(piàn)廠(chǎng)商(shāng)加入到(dào)數據流(liú)架構技術(shù)的研究中(zhōng)。

　　現在AI芯(xīn)片(piàn)在很多(duō)場(cháng)景(jǐng)都(dū)有落地(dì)剛需
，尤其(qí)在邊緣(yuán)端
，很多場景(jǐng)還(huán)存在(zài)“碎片化(huà)”需求
，因此廠(chǎng)商除(chú)了(liǎo)考慮提升芯(xīn)片利用率(shuài)
，做到更(gēng)高算力性價比之外
，還需要思考如何提升通用性，軟件易用性等
，全麵(miàn)提(tí)升(shēng)芯(xīn)片性能
，促(cù)進專用(yòng)AI芯(xīn)片(piàn)規模(mó)化量產
，賦(fù)能(néng)各產業(yè)智(zhì)能化升(shēng)級(jí)。

本(běn)文(wén)轉(zhuǎn)載自(zì)：https://m.elecfans.com/article/1746588.html