AI算力平台的(dí)價(jià)值(zhí)是什麼?

鯤雲(yún)創始人兼CEO牛昕宇博士，在(zài)世博(bó)園的上交會(huì)演講(jiǎng)台上(shàng)，向與會(huì)嘉賓提(tí)出了這樣一個問題(tí)。

是(shì)跑(pǎo)AI算(suàn)法嗎?並不(bù)盡(jìn)然，幾乎(hū)所(suǒ)有(yǒu)的(dí)計(jì)算芯片(piàn)都能跑AI算法，隻是算(suàn)力大(dà)小(xiǎo)有區別。

牛昕宇用(yòng)一(yī)道數學題(tí)回答(dá)了這個問題(tí)。

假如(rú)世博(bó)園(yuán)要部署(shǔ)一(yī)個25000路的攝像(xiàng)頭(tóu)項(xiàng)目(mù)，實現員(yuán)工(gōng)門禁(jīn)，垃(lā)圾管理(lǐ)等各(gè)種各樣的智慧化功(gōng)能(néng)。而這些功能(néng)的背後(hòu)其實是(shì)對算力的需求，需(xū)要(yào)通過服務器，計(jì)算平台來(lái)實(shí)現。

假(jiǎ)設(shè)基於某國際大(dà)廠的算力平(píng)台，一(yī)台服務(wù)器(qì)可(kě)以支持250路(lù)視頻的(dí)分(fēn)析(xī)，部署(shǔ)整(zhěng)個(gè)世博(bó)園的智(zhì)慧項(xiàng)目，需要100台服(fú)務(wù)器。

如(rú)果現在(zài)有一(yī)款算力(lì)平(píng)台(tái)，與(yǔ)現(xiàn)有(yǒu)服(fú)務器產品相比(bǐ)，在成本(běn)不變的(dí)情(qíng)況(kuàng)下可提(tí)升4.47倍(bèi)的性(xìng)能。那麼，一(yī)台(tái)服務(wù)器(qì)就(jiù)從(cóng)250路的分析能(néng)力，變(biàn)成(chéng)超過1000路的分(fēn)析(xī)能力。這(zhè)也意味著，落地(dì)同樣(yàng)的應用(yòng)，實(shí)現同樣的功能，隻需要(yào)22台(tái)服(fú)務器(qì)，成本降低(dī)接(jiē)近(jìn)80%。

“這(zhè)就是AI芯片的(dí)價值——大(dà)幅(fú)降低(dī)AI應用(yòng)的落地成本”，牛昕(xīn)宇道出當(dāng)前AI的(dí)落地應(yīng)用中(zhōng)，算(suàn)力(lì)平(píng)台(tái)該有的價值。

之所以說(shuō)到(dào)提升4.47倍(bèi)的性能，正是因(yīn)為牛(niú)昕宇(yǔ)手中的這款星(xīng)空(kōng)加速卡X9，對(duì)標(biāo)英偉(wěi)達(dá)的(dí)旗艦產品T4，在不到其一半峰值(zhí)算力的情況下，實測算力(lì)最高可(kě)以達到(dào)4.47倍(bèi)的性(xìng)能提(tí)升。這是如何做到(dào)的?

就(jiù)像長跑一(yī)樣(yàng)，製(zhì)勝的關鍵不是瞬間(jiān)的(dí)爆(bào)發力(lì)，而(ér)是跑下(xià)整場比賽(sài)的平(píng)均速(sù)度。AI芯片也是如此，像(xiàng)上(shàng)文(wén)提到(dào)的(dí)智慧園(yuán)區(qū)項目，用(yòng)戶(hù)關注的(dí)不(bù)僅是(shì)峰值(zhí)算力，更是芯片(piàn)的(dí)實測(cè)性能(néng)，即(jí)能夠(gòu)在(zài)實(shí)際(jì)應用(yòng)中分(fēn)析(xī)多少路視(shì)頻(pín)。提供給用戶所需(xū)的(dí)算(suàn)力性價(jià)比(bǐ)——這是(shì)鯤(kūn)雲對(duì)標英偉(wěi)達(dá)的底(dǐ)氣。

與(yǔ)英(yīng)偉達(dá)T4相(xiāng)比，星空(kōng)X9加(jiā)速卡在運(yùn)行ResNet50, YOLO v3等(děng)算(suàn)法模型時(shí)的芯片(piàn)利(lì)用(yòng)率(shuài)提升了(liǎo)2.76-11.05倍，最(zuì)高(gāo)可以實現94.4%的(dí)芯(xīn)片利用(yòng)率。在性能方(fāng)麵，X9在運行(háng)ResNet50網絡(luò)時(shí)性(xìng)能(néng)可(kě)以達(dá)到6037.73FPS，相(xiāng)較T4性(xìng)能提升(shēng)1.12倍(bèi)，運行YOLO v3，U-Net Industrial檢測分割(gē)網絡(luò)性(xìng)能(néng)有(yǒu)1.99-4.47倍(bèi)提升。在(zài)達到最(zuì)優性(xìng)能(néng)時(shí)，X9處理延(yán)時(shí)最低可達到(dào)2.65ms，處(chǔ)理(lǐ)速(sù)度相比T4提升35.73倍(bèi)，適用(yòng)於(yú)智(zhì)算(suàn)中心，雲計(jì)算中心(xīn)，高性(xìng)能(néng)計(jì)算等對低延(yán)時有要(yào)求的高性能(néng)AI計算加(jiā)速(sù)場(cháng)景(注：測(cè)試(shì)基(jī)於(yú)INT8 量(liáng)化)。

AI芯(xīn)片的另一(yī)條路：數據(jù)流架構(gòu)

鯤(kūn)雲為(wéi)什麼能夠在(zài)更低(dī)的峰(fēng)值算力(lì)甚(shèn)至(zhì)更低的芯片(piàn)成(chéng)本下(xià)，實現更高的實測性(xìng)能?這要從(cóng)X9加速卡(qiǎ)背後(hòu)的(dí)CAISA芯片說(shuō)起(qǐ)。X9搭(dā)載(zǎi)了(liǎo)4顆(kē)CAISA 芯(xīn)片，據鯤雲官方介(jiè)紹(shào)，該芯(xīn)片“在支(zhī)持(chí)深度學(xué)習(xí)通用算(suàn)法的(dí)同(tóng)時(shí)可發揮(huī)最高95.4%的芯片(piàn)利用率，較(jiào)同類(lèi)產(chǎn)品提(tí)升最高11.6倍，在同(tóng)等(děng)峰值性能(néng)下(xià)，提(tí)供(gōng)遠超於指(zhǐ)令集芯(xīn)片(piàn)的實測算(suàn)力。”

據牛昕宇介(jiè)紹(shào)，CAISA芯片是全(quán)球(qiú)第一顆量產(chǎn)的數據(jù)流AI芯(xīn)片，基(jī)於鯤雲從(cóng)底(dǐ)層創(chuàng)新的數據流架構CAISA3.0。作為新(xīn)一代AI計(jì)算平台(tái)，CAISA3.0架(jià)構並(bìng)未(wèi)延(yán)續(xù)傳統的指令集(jí)架構。這(zhè)是因為對於大(dà)規(guī)模(mó)計算芯(xīn)片(piàn)來(lái)說，馮(féng)諾依曼(màn)體(tǐ)係架構(gòu)中數據的搬運(yùn)和計算(suàn)是串行進行的，因(yīn)此(cǐ)造(zào)成了一個(gè)典型的問題(tí)：馮(féng)諾(nuò)依曼(màn)瓶頸(jǐng)/內(nèi)存(cún)牆，在運算(suàn)過(guò)程中(zhōng)存在(zài)閒置(zhì)的計(jì)算單(dān)元(yuán)，這(zhè)些計算單元(yuán)在(zài)計算中(zhōng)要麼在(zài)等(děng)待(dài)指令(líng)，要麼(mó)在等(děng)待數據，造(zào)成(chéng)了芯片(piàn)利用率並(bìng)不高(gāo)。

而數據流(liú)架(jià)構(gòu)不同(tóng)於馮諾(nuò)依曼(màn)體(tǐ)係，它(tā)依靠(kào)的是數(shù)據(jù)的(dí)流(liú)動(dòng)次序來控製(zhì)計算次(cì)序(xù)，可(kě)以(yǐ)簡單(dān)理解(jiě)為數據的搬(bān)運和計算(suàn)是(shì)重疊的(dí)。在這樣一個重疊的(dí)計(jì)算方式(shì)下(xià)，可以最大化地(dì)發揮(huī)出(chū)每個(gè)時鐘(zhōng)周期的性(xìng)能，把接(jiē)近(jìn)芯片(piàn)極(jí)限的(dí)物理性(xìng)能“壓(yā)榨(zhà)”出來(lái)。

“做(zuò)AI芯片(piàn)有(yǒu)兩(liǎng)條路(lù)。第(dì)一(yī)條(tiáo)路就(jiù)是(shì)基於傳(chuán)統的指令(líng)集架構，這(zhè)條路相對(duì)容(róng)易，但是在芯片利用率上很難(nán)拉開差(chà)距。英(yīng)偉達T4可以做到130TOPS，12nm工(gōng)藝(yì)，在每一(yī)個(gè)指標(biāo)上已(yǐ)經(jīng)非(fēi)常(cháng)領先(xiān)了，在這(zhè)種(zhǒng)情(qíng)況下(xià)，我們在這(zhè)條路上比(bǐ)拼(pīn)峰值算力和工(gōng)藝，是(shì)非常(cháng)難的(dí)”，牛(niú)昕(xīn)宇(yǔ)表示。

在英國(guó)帝國理工(gōng)學院定(dìng)製計算實(shí)驗(yàn)室(shì)時(shí)，牛昕(xīn)宇就已(yǐ)經將數(shù)據流(liú)底層技術(shù)作(zuò)為(wéi)主要(yào)的(dí)研發(fā)方向，並致(zhì)力於推(tuī)進數(shù)據(jù)流架構(gòu)和(hé)各個特(tè)定應(yīng)用領域的融(róng)合，比(bǐ)如(rú)金(jīn)融，機(jī)器(qì)學習，物理仿(fǎng)真等。“在與這些特定領域融(róng)合時(shí)，需(xū)要支持成(chéng)百(bǎi)上(shàng)千種算(suàn)法(fǎ)，積累了高(gāo)性能情(qíng)況下的(dí)架構(gòu)通用性基(jī)礎，這(zhè)些都(dū)是(shì)數(shù)據(jù)流架構長(cháng)期研發(fā)的(dí)重點(diǎn)，”牛(niú)昕(xīn)宇(yǔ)表(biǎo)示(shì)。

AI創(chuàng)業公司在初期的(dí)技(jì)術路(lù)綫選(xuǎn)擇(zé)上至(zhì)關(guān)重要，往(wǎng)往決定(dìng)了(liǎo)未來的(dí)落(là)地方向和長期的核心(xīn)競爭(zhēng)力(lì)。

全(quán)球從(cóng)事(shì)數(shù)據流(liú)芯片(piàn)開發(fā)的(dí)企業屈(qū)指(zhǐ)可(kě)數，除(chú)鯤雲(yún)外，目前可追溯到的主(zhǔ)要(yào)有：脫(tuō)胎(tāi)於(yú)斯(sī)坦福大(dà)學的SambaNova，前(qián)穀歌(gē)TPU核(hé)心團隊創辦的Groq，以(yǐ)及Wave computing。這三家(jiā)中，隻有SambaNova據(jù)稱已經推出(chū)了(liǎo)產(chǎn)品(pǐn)，但其(qí)AI芯(xīn)片(piàn)和客(kè)戶很(hěn)大(dà)程(chéng)度(dù)仍處於保(bǎo)密(mì)狀(zhuàng)態(tài)，可(kě)考(kǎo)數據不(bù)多。

那麼(mó)，鯤雲為什(shí)麼(mó)能夠成(chéng)為(wéi)全球首家(jiā)量產(chǎn)數據流AI芯片(piàn)的企業(yè)?其核心優勢(shì)是(shì)什麼?

牛昕宇(yǔ)表示，鯤雲創(chuàng)始團隊來自數據流(liú)技術(shù)的源頭實驗(yàn)室，自90年(nián)代(dài)開始就(jiù)深耕(gēng)數(shù)據流(liú)架(jià)構與(yǔ)不同領(lǐng)域(yù)的(dí)領域(yù)專用(yòng)架(jià)構(gòu)研發(fā)，具備深厚的研發和迭代(dài)積(jī)累，掌握(wò)數(shù)據(jù)流技(jì)術(shù)從(cóng)0到1研發(fā)的(dí)經(jīng)驗和(hé)能(néng)力(lì)，具備(bèi)原(yuán)創(chuàng)基礎。第(dì)二(èr)，在(zài)此(cǐ)基礎(chǔ)上，針(zhēn)對(duì)人工智能(néng)領域開(kāi)發CAISA架(jià)構，鯤雲(yún)從底層研發開(kāi)始，實(shí)現(xiàn)了(liǎo)從0到1，一步步(bù)的突(tū)破和演化(huà)，對(duì)於(yú)架構的(dí)優勢(shì)和(hé)迭(dié)代(dài)的(dí)方(fāng)向都了然於(yú)心，目前CAISA架(jià)構(gòu)已經迭代了(liǎo)三代(dài)，並且仍處(chǔ)於迭代升(shēng)級(jí)中;第(dì)三，鯤雲始(shǐ)終貼近(jìn)落地(dì)需求，主(zhǔ)要針對人工(gōng)智(zhì)能應(yīng)用(yòng)場景(jǐng)推進(jìn)，如(rú)智慧園(yuán)區，智慧工(gōng)業等(děng)垂直領域(yù)，注(zhù)重(zhòng)發(fā)揮(huī)數(shù)據流架構的算力性價比優勢(shì)。“作為(wéi)第(dì)一家量產(chǎn)落(là)地的數據(jù)流AI產(chǎn)品，客戶使用(yòng)的(dí)越多，來自一綫的反(fǎn)饋(kuì)就越多，就越(yuè)有利於迭代(dài)升級，能夠(gòu)越來越(yuè)契(qì)合市(shì)場的(dí)真正需求”，他(tā)強調(tiáo)。

成(chéng)立以來(lái)，鯤雲一(yī)直(zhí)聚焦(jiāo)於(yú)數(shù)據流和深度學(xué)習(xí)領域(yù)的融合。為(wéi)什(shí)麼選定深度(dù)學(xué)習(xí)?核心原因有兩(liǎng)點(diǎn)，一是深度(dù)學(xué)習(xí)本身就是流式的(dí)處(chǔ)理方式，和數據(jù)流(liú)的(dí)特質相符，能夠較好地發揮性(xìng)能;二是深(shēn)度學習(xí)的(dí)應(yīng)用領域(yù)非常(cháng)廣(guǎng)泛(fàn)，出貨(huò)量也足(zú)夠大(dà)，針(zhēn)對(duì)這個(gè)領域(yù)做定製(zhì)化的架構(gòu)可以(yǐ)支持(chí)ASIC芯片(piàn)的量產(chǎn)，從而能(néng)夠(gòu)進一(yī)步(bù)發揮出數據流(liú)架構的(dí)性(xìng)能(néng)優(yōu)勢。

對(duì)於(yú)定製類(lèi)架構(gòu)，有人擔(dān)心(xīn)深(shēn)度(dù)定(dìng)製(zhì)會導致通用(yòng)性(xìng)不足(zú)，但這(zhè)卻恰恰(qià)是(shì)數(shù)據(jù)流架構所解決的(dí)問題(tí)，牛昕(xīn)宇(yǔ)表(biǎo)示(shì)。CAISA定製(zhì)數(shù)據流架構是(shì)一(yī)個(gè)針對(duì)深度(dù)學習領域(yù)的通(tōng)用架(jià)構(gòu)，保(bǎo)持(chí)高(gāo)性(xìng)能(néng)的同時，提供AI領域通用(yòng)性(xìng)是CAISA架(jià)構(gòu)的核(hé)心研發目標(biāo)，也(yě)是(shì)我們的核心優勢(shì)。人工(gōng)智能(néng)算(suàn)法是多樣化(huà)的(dí)，其變化(huà)主(zhǔ)要來(lái)自三(sān)方麵(miàn)：算(suàn)子的變化，算(suàn)子組合的變(biàn)化(huà)，以(yǐ)及(jí)開(kāi)發框架的變(biàn)化。CAISA架(jià)構(gòu)底層(céng)算(suàn)子(zǐ)可配(pèi)置(zhì)支(zhī)持(chí)不同(tóng)計(jì)算(suàn)方(fāng)式(shì)，支持(chí)不(bù)同(tóng)算子組(zǔ)合和(hé)拓(tuò)展(zhǎn);針對(duì)不(bù)同算子組合(hé)，CAISA 架(jià)構(gòu)內(nèi)通過本地互(hù)聯網絡和全局互聯網絡(luò)可以實現不同(tóng)計(jì)算(suàn)單元(yuán)的組合(hé)，從(cóng)而(ér)保(bǎo)證支持不同算法(fǎ)的同(tóng)時(shí)，又(yòu)可(kě)以(yǐ)實(shí)現對特定算法(fǎ)的高性(xìng)能支(zhī)持(chí);最(zuì)後，不同框(kuàng)架和(hé)開發方式可通(tōng)過(guò)端到端的編譯器(qì)RainBuilder來支(zhī)持(chí)實現(xiàn)。

目前(qián)，CAISA3.0 架(jià)構可(kě)支持(chí)多種(zhǒng)深(shēn)度學(xué)習(xí)算(suàn)法(fǎ)，包括目標檢(jiǎn)測(cè)，分割，分類等領域的主(zhǔ)流算(suàn)法(fǎ)，實現了在深(shēn)度(dù)學(xué)習領(lǐng)域(yù)的(dí)通用性。此(cǐ)外，鯤雲提供(gōng)RainBuilder開發工具鏈，能(néng)夠(gòu)實(shí)現(xiàn)自(zì)頂層深(shēn)度(dù)學習開源(yuán)框(kuàng)架算(suàn)法(fǎ)至底層(céng)架構(gòu)時鐘(zhōng)的(dí)精(jīng)確映射，兼(jiān)容(róng)現(xiàn)有(yǒu)AI開(kāi)發框架(jià)，生(shēng)態及軟(ruǎn)件，在軟件的易用性(xìng)方麵(miàn)進一步降低了(liǎo)應用門檻(jiàn)。

麵向(xiàng)高(gāo)性能AI推理市場，鯤雲牢牢(láo)扣住(zhù)數據流技術路綫(xiàn)所(suǒ)帶來的算力性價比(bǐ)的(dí)優勢(shì)。最(zuì)新(xīn)的星空加(jiā)速(sù)卡X9與上一代(dài)X3相比(bǐ)，向中心(xīn)端更(gēng)進一(yī)步(bù)，主要(yào)麵(miàn)向更(gēng)高性能(néng)AI服(fú)務(wù)器，助力(lì)更高峰值算力，更(gēng)高算力密(mì)度應用在(zài)中(zhōng)心(xīn)的聚(jù)集。據(jù)了解(jiě)，該產(chǎn)品(pǐn)已(yǐ)經(jīng)完(wán)成(chéng)了量產(chǎn)，將(jiāng)於近期(qī)完成(chéng)產品(pǐn)適配，推出(chū)搭載星空(kōng)X9加(jiā)速卡(qiǎ)的AI服務器(qì)。

不同於傳統數據中心(xīn)，智算中(zhōng)心更注重構(gòu)建先進(jìn)的(dí)AI算(suàn)力(lì)基礎設(shè)施來(lái)承(chéng)載AI創新(xīn)，下一個十年，堪稱(chēng)算力的黃(huáng)金(jīn)十(shí)年。高(gāo)性能AI計算(suàn)芯片(piàn)作為(wéi)核心生(shēng)產(chǎn)力(lì)，從(cóng)架(jià)構(gòu)升級到(dào)應用(yòng)場景的(dí)落地(dì)，都(dū)蘊(yùn)含了巨大(dà)的市場(cháng)空間和(hé)機遇。

“一方麵(miàn)，算力基(jī)礎設(shè)施的更新(xīn)換代(dài)，會(huì)降(jiàng)低(dī)數(shù)據的傳輸(shū)成(chéng)本(běn)，導(dǎo)致更(gēng)多的(dí)數據被收(shōu)集，產生更大的算力需求;另(lìng)一方麵，算(suàn)力的(dí)密度(dù)將會(huì)越來(lái)越高(gāo)，係(xì)統(tǒng)性能越來越強(qiáng)，部署成(chéng)本(běn)也將越來越可控(kòng)，這(zhè)是未(wèi)來算力設(shè)施(shī)升級的兩個(gè)方麵”，牛(niú)昕宇表(biǎo)示，“而邊緣(yuán)和(hé)雲將(jiāng)會(huì)是共存的關(guān)係(xì)，邊緣側主要(yào)進行實時處(chǔ)理(lǐ)，數(shù)據(jù)中心匯集(jí)後(hòu)進(jìn)行更深入的分(fēn)析，二(èr)者都在(zài)快(kuài)速增長中，且都(dū)有廣闊的市(shì)場前景。”

不(bù)過，雖(suī)然市(shì)場(cháng)升級是大趨勢(shì)，半導體產業也在(zài)持(chí)續成(chéng)長中(zhōng)。但(dàn)必須承(chéng)認(rèn)的是(shì)，商(shāng)業(yè)落(là)地絕非(fēi)易事，更何況雲端市(shì)場(cháng)麵(miàn)臨的(dí)都是英(yīng)偉(wěi)達，英特(tè)爾這(zhè)樣的國(guó)際巨(jù)頭。AI芯片的(dí)戰略價值在(zài)被業界所認同的同時，也(yě)成為(wéi)兵(bīng)家必(bì)爭(zhēng)之地。

牛昕(xīn)宇認為，不(bù)論是巨(jù)頭(tóu)還(huán)是創(chuàng)企(qǐ)，對(duì)於AI芯片各有各的布局和優(yōu)勢(shì)，初(chū)創(chuàng)企業(yè)不一(yī)定要和巨(jù)頭正麵(miàn)競爭，一(yī)是(shì)要關(guān)注中短期的落(là)地(dì)方式(shì)，二是要(yào)關注長(cháng)期的核心(xīn)競爭(zhēng)力。在(zài)垂(chuí)直(zhí)領域(yù)，把(bǎ)自(zì)己(jǐ)具(jù)有性價(jià)比的算(suàn)力(lì)產品做(zuò)好，把(bǎ)客(kè)戶支(zhī)持做好，單(dān)點(diǎn)打(dǎ)通(tōng)仍然能夠(gòu)產生很高的價(jià)值。

最(zuì)終，落(là)地的核心(xīn)點在於：算力性價比和應(yīng)用生態(tài)。回(huí)到(dào)本文(wén)開(kāi)頭(tóu)，計算平台的(dí)價(jià)值(zhí)究(jiū)竟是什麼(mó)?“因為所(suǒ)有(yǒu)的(dí)計算(suàn)領域(yù)都有一定的性能要求(qiú)，所(suǒ)有算法都需(xū)要附著(zhuó)在(zài)芯片上，完成(chéng)最後部署(shǔ)”，牛昕宇表(biǎo)示(shì)，“這就(jiù)是下(xià)一代(dài)AI計算平(píng)台的價(jià)值和所承(chéng)載的(dí)責任(rèn)，鯤雲(yún)將繼續(xù)在(zài)算(suàn)力性價比，架構通用性，軟(ruǎn)件易(yì)用性(xìng)這三方麵均衡(héng)演(yǎn)進(jìn)，降(jiàng)低(dī)AI的落(là)地門檻和成(chéng)本。”

本(běn)文轉(zhuǎn)載(zǎi)自：https://mp.weixin.qq.com/s/t7bynwBzY0LXotUR4yHKiQ