目前，市(shì)場(cháng)上(shàng)的芯片(piàn)主要包(bāo)括指令(líng)集(jí)架(jià)構和數據流(liú)架構兩(liǎng)種實現方(fāng)式(shì)。指(zhǐ)令(líng)集架構(gòu)主(zhǔ)要包括(kuò)X86架構(gòu)，ARM架構(gòu)，精簡指(zhǐ)令集運算RISC-V開(kāi)源架構，以及SIMD架構。總體來說，四(sì)者都屬(shǔ)於傳統(tǒng)的通(tōng)用指令(líng)集架構。傳統(tǒng)的指令(líng)集(jí)架構(gòu)采(cǎi)用(yòng)馮諾(nuò)依(yī)曼(màn)計算方式(shì)，通過指令執(zhí)行(háng)次序控製計算(suàn)順(shùn)序，並通過(guò)分離(lí)數據(jù)搬(bān)運與數據計(jì)算提供(gōng)計算通用性。與(yǔ)上(shàng)述(shù)四者不同(tóng)，數據流(liú)架構采用了數(shù)據流引擎(qíng)的計算架構(gòu)，它的顯著特點就(jiù)是(shì)能夠(gòu)大(dà)幅提高芯(xīn)片利(lì)用率。如鯤雲的(dí)CAISA（Custom AI Streaming Accelerator Architecture）就(jiù)采用(yòng)了定製(zhì)化的(dí)數據流架構(gòu)。那麼，究(jiū)竟什麼是數(shù)據流架(jià)構(gòu)呢？它又(yòu)是怎麼實現(xiàn)性能(néng)的極大提升(shēng)呢？

數(shù)據(jù)流架構是(shì)一(yī)種(zhǒng)計算(suàn)機體係結構(gòu)，直接(jiē)與傳(chuán)統的(dí)馮(féng)·諾(nuò)依曼架構或(huò)控(kòng)製(zhì)流(liú)體係(xì)結構進行(háng)對(duì)比，數據(jù)流架構(gòu)沒有概(gài)念上的(dí)指(zhǐ)令計數器(qì)。它使用粗(cū)粒(lì)度表示(shì)（Coarse-grained Representation）來提(tí)高數(shù)據的(dí)並(bìng)行度(dù)，並允許編譯器同(tóng)時(shí)調度(dù)多(duō)個順(shùn)序循環和(hé)功能，以(yǐ)實(shí)現(xiàn)更(gēng)高(gāo)的(dí)吞吐(tǔ)量和更(gēng)低(dī)的(dí)延遲。

下圖(tú)顯示了數(shù)據流流(liú)水綫(xiàn)的概(gài)念圖(tú)。在這個概(gài)念圖中(zhōng)，指令集架構首先執(zhí)行函數A，完(wán)成之後再(zài)執行(háng)函(hán)數(shù)B，依(yī)次類(lèi)推(tuī)直至執行完所有程(chéng)序。在定製(zhì)數據流架構的情形(xíng)下(xià)，編譯器可(kě)以安(ān)排每個函數在(zài)數據可用(yòng)時(shí)立即執(zhí)行。

在此(cǐ)示例中，指(zhǐ)令集架構（圖(tú)A）等(děng)待時(shí)間和間(jiān)隔為8個時鐘周期(qī)。使用數據(jù)流架(jià)構，該(gāi)間(jiān)隔可減(jiǎn)少(shǎo)到(dào)僅三個(gè)時鐘周期(qī)（圖(tú)B）。

目(mù)前，數據(jù)流(liú)架構已在專用硬件中成功(gōng)應(yīng)用，例(lì)如數字信(xìn)號處(chǔ)理，網絡路由，圖形(xíng)處理，遙感檢(jiǎn)測(cè)，以及數(shù)據(jù)庫處理等(děng)。同(tóng)時，在(zài)當今的許多軟(ruǎn)件(jiàn)體係(xì)結構(gòu)中(zhōng)（包括數(shù)據庫(kù)引(yǐn)擎設(shè)計和並(bìng)行計算框架），它也占據(jù)著非(fēi)常(cháng)重要的地位。1994年(nián)，帝國理(lǐ)工學院教(jiào)授，英國皇家(jiā)工(gōng)程院院士，鯤雲(yún)科(kē)技聯(lián)合(hé)創始人和首席科學(xué)家Wayne Luk陸永青(qīng)院士(shì)率先將數(shù)據流架構(gòu)定製化(huà)並運(yùn)用(yòng)到AI領域(yù)。

定(dìng)製數據流(liú)架構(gòu)與指(zhǐ)令(líng)集架構的(dí)區別

首(shǒu)先(xiān)，現(xiàn)在(zài)大部分的 GPU，CPU 都是(shì)基(jī)於(yú)指(zhǐ)令(líng)集的架構，應用(yòng)層(céng)可以(yǐ)通過軟件和編輯(jí)器(qì)去(qù)將(jiāng)語(yǔ)言(yán)最終轉化為機(jī)器的語言(yán)，即二(èr)進(jìn)製(zhì)的碼(mǎ)，從而執行(háng)指令(líng)和操作，並保證對不同應(yīng)用的兼(jiān)容性(xìng)。

相較於指令集(jí)，數據流(liú)的核(hé)心就(jiù)是使每個時鐘(zhōng)周期都(dū)能進(jìn)行有效計(jì)算。數(shù)據(jù)不(bù)停流入計算單元並(bìng)完成(chéng)計算(suàn)，得到(dào)輸出後，最終(zhōng)數據(jù)將會被(bèi)存儲(chǔ)到(dào)內存中或流(liú)入下一(yī)個(gè)流(liú)水綫操作(zuò)。

簡而(ér)言之(zhī)，數(shù)據流(liú)架(jià)構可以為(wéi)特定(dìng)應用場(cháng)景提供(gōng)更高的(dí)芯片利用(yòng)率(shuài)；而指令集架(jià)構雖然能提(tí)供更(gēng)高(gāo)的通用性，但其芯片利用(yòng)率相對(duì)較低(dī)。兩種架構產(chǎn)生(shēng)差異(yì)的原(yuán)因在(zài)於：

• 數據(jù)流架構完全(quán)依(yī)靠數據流轉的(dí)方(fāng)式(shì)來(lái)控(kòng)製(zhì)計算，從而(ér)消(xiāo)除了由於指(zhǐ)令(líng)控(kòng)製和(hé)數(shù)據搬(bān)運而(ér)產(chǎn)生(shēng)的數(shù)據開銷(xiāo)；

• 指(zhǐ)令(líng)集(jí)架構通(tōng)過指(zhǐ)令控(kòng)製(zhì)來處(chǔ)理不(bù)同場(cháng)景(jǐng)下的(dí)運算(suàn)，提高了(liǎo)對(duì)不同計算(suàn)需求的通(tōng)用性(xìng)支持。

數據流(liú)架構要(yào)實現性(xìng)能(néng)的極(jí)大提升，需(xū)要解決(jué)兩個(gè)問題(tí)，一是如(rú)何(hé)在復雜計算(suàn)架構下(xià)保持較高(gāo)的計(jì)算(suàn)效率，二(èr)是(shì)如何(hé)保證(zhèng)定製(zhì)架構(gòu)的(dí)通用性，即如何(hé)支持不同(tóng)的深度學習算法。

為此(cǐ)， 鯤雲研(yán)發(fā)了RainBuilder與CAISA架構配合(hé)，通過動態配(pèi)置使(shǐ)其能通(tōng)用(yòng)支持各種AI算法，提升了通用性(xìng)。該(gāi)編譯器(qì)能進行(háng)算法模型結構的解(jiě)析(xī)，並(bìng)把模型(xíng)導入數據(jù)流架(jià)構(gòu)，從而提(tí)高數(shù)據(jù)流架構(gòu)的計算效(xiào)率(shuài)來(lái)完(wán)成(chéng)深(shēn)度(dù)學(xué)習網絡的(dí)計算(suàn)。

RainBuilder的優勢包(bāo)括：

• 是一(yī)種端(duān)到端(duān)（End-to-End）的(dí)編譯工(gōng)具

• 最(zuì)大(dà)化(huà) AI 性能(néng)，充(chōng)分利(lì)用(yòng)數據(jù)流架(jià)構下的(dí)計算單(dān)元(yuán)

• 使用硬件流(liú)水(shuǐ)綫(xiàn)架構完(wán)成數據的計算(suàn)與控(kòng)製

RainBuilder由RbCompiler，RbRuntime和(hé)RbDriver三(sān)部(bù)分構成(chéng)。RainBuilder的(dí)原(yuán)理如下(xià)圖(tú)所(suǒ)示(shì)：

RainBuilder Compiler（下(xià)文稱(chēng)為RbCompiler或Compiler）可以將(jiāng)用戶(hù)在(zài)TensorFlow，Caffe，ONNX，PyTorch等(děng)深度學習框架(jià)下(xià)開(kāi)發的(dí)算法模型進(jìn)行全自動(dòng)的編譯優化(huà)，並提取數據流(liú)中間表達式(shì)（Streaming Graph IR，SG IR）。模型(xíng)編譯過程中自(zì)動(dòng)進行數(shù)據量(liáng)化，節點(diǎn)融(róng)合(hé)，軟硬件分(fēn)割等(děng)操(cāo)作。Compiler通過鯤雲研(yán)發(fā)的(dí)圖(tú)優化(huà)算法將已有開發框架(jià)中(zhōng)的(dí)指(zhǐ)令集計算(suàn)圖(tú)重構(gòu)為(wéi)數據流圖。轉化過程中涉(shè)及(jí)大量針對數據流架構(gòu)的模型(xíng)壓(yā)縮(suō)和量化(huà)技術，從(cóng)軟件(jiàn)層麵(miàn)進(jìn)一步提升計算效率。

RainBuilder Runtime為CAISA加速引(yǐn)擎(qíng)的軟(ruǎn)件運(yùn)行時(shí)，負責將SG IR進行加載(zǎi)並使(shǐ)用CAISA加速引擎對深度學習(xí)網絡(luò)進(jìn)行運(yùn)行(háng)加速，該(gāi)部分組件以C/C++ API接(jiē)口(kǒu)的形式(shì)開放給用(yòng)戶進行二次開發(fā)和部(bù)署使(shǐ)用。RbRuntime作(zuò)為(wéi)RainBuilder的後端，配合RbCompiler使用，用(yòng)於(yú)加載並運行RbCompiler編(biān)譯(yì)生成(chéng)的(dí)模型(xíng)文件(jiàn)，即上文提(tí)到的(dí)SG IR，SG IR包含了模(mó)型的所有節點，並能(néng)根據(jù)節(jié)點(diǎn)創(chuàng)建(jiàn)對(duì)應的(dí)SG OP，同時還(huán)能(néng)按(àn)照拓撲(pū)順序(xù)將SG OP部署在(zài)相應(yīng)的(dí)設備上執(zhí)行計(jì)算(suàn)，返回模型(xíng)的計(jì)算(suàn)結(jié)果。Runtime提供深度(dù)學(xué)習算(suàn)法(fǎ)的應(yīng)用接口，用戶(hù)可根據使用(yòng)習(xí)慣調用python或C/C++的(dí)API完(wán)成算法(fǎ)的部(bù)署。Runtime設計了(liǎo)工作(zuò)綫程和(hé)計算(suàn)綫(xiàn)程精(jīng)細(xì)化(huà)調(tiáo)度框架，同(tóng)時針對x86，ARM平(píng)台(tái)實(shí)現(xiàn)了算(suàn)子的深度(dù)適配(pèi)和優(yōu)化，從而(ér)保證目(mù)標(biāo)算(suàn)法可以充分發揮(huī)CAISA架構計算(suàn)效(xiào)率的優勢(shì)。

RainBuilder Driver是底層(céng)CAISA架構(gòu)的相(xiāng)關驅動(dòng)模塊(kuài)，對(duì)應用開發者透明，驅(qū)動CAISA硬(yìng)件架構，實現硬(yìng)件(jiàn)模(mó)塊(kuài)的計算調(tiáo)度和(hé)硬件模型(xíng)分析。

RainBuilder的推出簡化(huà)了(liǎo)算(suàn)法(fǎ)從開(kāi)發到芯片級部(bù)署(shǔ)的流程(chéng)。用(yòng)戶(hù)不(bù)需要了解底層計(jì)算架(jià)構，也(yě)不需要(yào)改變(biàn)開發習慣，就(jiù)可以實(shí)現算法在數(shù)據(jù)流(liú)架構上(shàng)的高(gāo)效(xiào)部署(shǔ)。

鯤(kūn)雲(yún)科技聚焦於(yú)基於數據(jù)流架構的定(dìng)製AI計算引(yǐn)擎，憑(píng)借自1991年近(jìn)三十(shí)年技術(shù)積(jī)累(léi)，2019年4月，鯤雲(yún)科技發(fā)布全(quán)球首(shǒu)個AI數(shù)據(jù)流架構CAISA 2.0架(jià)構，其芯(xīn)片(piàn)利(lì)用(yòng)率(shuài)（Chip Utilization Ratio，CUR ）最(zuì)高(gāo)可達98％，並且支(zhī)持(chí)大多數主流(liú)卷積神(shén)經(jīng)網絡(luò)（CNN），是世界上首個針對(duì)人(rén)工(gōng)智能(néng)的(dí)數據流(liú)架(jià)構(gòu)。基(jī)於(yú)自主(zhǔ)研發的(dí)CAISA數據流架構(gòu)，鯤雲的(dí)“星空(kōng)”，“雨人”加(jiā)速(sù)卡(qiǎ)已(yǐ)在航(háng)空，航天，電(diàn)力，安(ān)防，教育，智(zhì)能製造，智(zhì)慧城市(shì)等領域落(là)地。