過(guò)去幾年，數(shù)字化、信息化推動(dòng)社會(huì)和產(chǎn)業(yè)發(fā)生了巨大的變革，在這個(gè)過(guò)程當(dāng)中，數(shù)據(jù)中心充當(dāng)了重要的角色。尤其是伴隨著人工智能迅速滲透到各領(lǐng)域的方方面面，龐大的應(yīng)用場(chǎng)景使得AI模型日驅(qū)復(fù)雜。在這種形勢(shì)之下，企業(yè)對(duì)數(shù)據(jù)中心的計(jì)算能力提出了更高的需求，而算力的核心就是芯片。
正是基于這個(gè)原因，近年來(lái)全球涌現(xiàn)出不少致力于AI芯片開(kāi)發(fā)的企業(yè)，燧原科技就是其中之一。在成立之初，公司就瞄準(zhǔn)了云端訓(xùn)練芯片市場(chǎng)缺口，并提出了“做大芯片，拼硬科技”的目標(biāo)。
在這種愿景的驅(qū)動(dòng)下，從2018年3月成立至今的短短2年半時(shí)間內(nèi)，燧原科技就陸續(xù)發(fā)布了云端AI訓(xùn)練芯片“邃思DTU”、搭載該芯片的AI加速卡“云燧T10”以及基于OCP加速模組OAM的“云燧T11”。2020年9月，燧原科技再次迎來(lái)了里程碑式的突破其第一代人工智能訓(xùn)練加速卡云燧T10和由其組成的多卡分布式訓(xùn)練集群已在云數(shù)據(jù)中心落地，正式進(jìn)入商用階段。
近日，燧原科技攜“云燧T10/T11” 首次亮相第三屆全球IC企業(yè)家大會(huì)暨第十八屆中國(guó)國(guó)際半導(dǎo)體博覽會(huì)（IC China 2020），在本次大會(huì)期間，燧原科技的負(fù)責(zé)人和相關(guān)專(zhuān)家為我們介紹了AI芯片實(shí)現(xiàn)商用的過(guò)程中存在著諸多挑戰(zhàn)，以及燧原科技作為一家初創(chuàng)企業(yè)又是怎樣完成了云端AI大芯片的迅速商用化落地。
AI大芯片落地的難點(diǎn)
眾所周知，新場(chǎng)景對(duì)算力的需求，使得AI芯片在設(shè)計(jì)、制造和封測(cè)等方面進(jìn)行了升級(jí)，由此也促生了很多新技術(shù)，這不僅為大量初創(chuàng)企業(yè)帶來(lái)了發(fā)展機(jī)會(huì)，也同樣為他們帶來(lái)了諸多的挑戰(zhàn)。以芯片設(shè)計(jì)為例，設(shè)計(jì)企業(yè)需要在架構(gòu)、IP、SoC等方面進(jìn)行創(chuàng)新。而芯片越大，則意味著整個(gè)芯片設(shè)計(jì)難度也會(huì)呈指數(shù)級(jí)上升，這為設(shè)計(jì)企業(yè)帶來(lái)了難題。除此之外，AI芯片要處理大量的數(shù)據(jù)，所以這類(lèi)芯片對(duì)性能的要求就導(dǎo)致了它對(duì)先進(jìn)工藝和先進(jìn)封裝方面也具有較高的要求。
而在解決了在這三個(gè)環(huán)節(jié)中的問(wèn)題后，也僅僅是企業(yè)成功推出了相關(guān)產(chǎn)品，離實(shí)現(xiàn)商業(yè)化落地還存在著一段距離。
“量產(chǎn)是AI大芯片實(shí)現(xiàn)商用要翻越的一座大山”，燧原科技創(chuàng)始人兼COO張亞林表示：“在推出產(chǎn)品到實(shí)現(xiàn)量產(chǎn)的過(guò)程中，需要解決產(chǎn)品質(zhì)量、性能功耗以及良率這三大核心問(wèn)題。”
為了保證產(chǎn)品質(zhì)量，燧原科技通過(guò)用驗(yàn)證方法學(xué)和驗(yàn)證覆蓋率來(lái)確保芯片設(shè)計(jì)質(zhì)量和制造質(zhì)量。在性能功耗優(yōu)化方面，則通過(guò)軟硬件聯(lián)合性能以實(shí)現(xiàn)端到端的性能調(diào)優(yōu)，這包括三個(gè)部分，即進(jìn)行芯片性能極限測(cè)試、硬件性能調(diào)優(yōu)以及軟件性能優(yōu)化。在良率方面，存在著晶圓測(cè)試（CP）良率挑戰(zhàn)、2.5D封裝良率挑戰(zhàn)以及分級(jí)良率挑戰(zhàn)。對(duì)此，燧原科技選擇了與產(chǎn)業(yè)鏈上下游伙伴共同合作來(lái)提高產(chǎn)品良率。
除了在技術(shù)層面上存在產(chǎn)業(yè)化應(yīng)用的挑戰(zhàn)外，與之相匹配的軟件生態(tài)系統(tǒng)也是AI大芯片難以落地的另一重要因素。
為此燧原科技推出了計(jì)算及編程平臺(tái)“馭算”。據(jù)介紹，該平臺(tái)支持主流深度學(xué)習(xí)框架，并針對(duì)邃思芯片進(jìn)行了特定優(yōu)化。整個(gè)平臺(tái)不僅包括傳統(tǒng)的算子加速庫(kù)，還為數(shù)據(jù)中心大規(guī)模訓(xùn)練集群提供高效靈活的調(diào)度機(jī)制。
（馭算軟件架構(gòu)）
大芯片背后的硬科技
實(shí)現(xiàn)量產(chǎn)是商業(yè)化過(guò)程中重要的一環(huán)，量產(chǎn)后走向市場(chǎng)并受到市場(chǎng)的青睞則是更重要的環(huán)節(jié)，而這就需要依靠產(chǎn)品的硬實(shí)力。
通過(guò)相關(guān)技術(shù)降低芯片成本，也是云端AI訓(xùn)練芯片硬實(shí)力的一種體現(xiàn)。其中，芯片架構(gòu)的創(chuàng)新是實(shí)現(xiàn)算力普惠的一個(gè)重要因素。
借本次全球IC企業(yè)家大會(huì)的機(jī)會(huì)，燧原科技創(chuàng)始人兼首席執(zhí)行官趙立東發(fā)布了燧原科技的芯片架構(gòu)“GCU-CARA”（通用計(jì)算單元和全域計(jì)算架構(gòu)）。據(jù)趙立東介紹，該架構(gòu)具有完全可編程、全模式計(jì)算、全精度計(jì)算和高并行度的特點(diǎn)。
據(jù)現(xiàn)場(chǎng)燧原科技專(zhuān)家介紹，GCU-CARA具有256個(gè)張量計(jì)算單元，每個(gè)計(jì)算單元支持1個(gè)32 bit MAC，支持所有精度輸入以及混合精度運(yùn)算。GCU-CARA擁有廣泛的標(biāo)量、向量、張量計(jì)算形式以及各種精度格式的支持，可以提供極其靈活的編程方式和張量切分/復(fù)用方式，從而支持最廣泛的編程需求。
據(jù)悉，燧原科技GCU架構(gòu)還包括GCU-CARE（計(jì)算引擎）、GCU-DARE（數(shù)據(jù)架構(gòu)）、GCU-LARE（智能互聯(lián)）、GCU-PARE（先進(jìn)封裝）四大核心技術(shù)，旨在為人工智能產(chǎn)業(yè)注入了新動(dòng)能。
目前，燧原GCU已應(yīng)用到云燧T10,T11產(chǎn)品以及數(shù)據(jù)中心AI訓(xùn)練系統(tǒng)和集群中。而今年云燧T10和由其組成的多卡分布式訓(xùn)練集群正式進(jìn)入商用階段，也從另一方面說(shuō)明了燧原科技的硬實(shí)力受到了市場(chǎng)的認(rèn)可。
燧原科技開(kāi)啟2.0時(shí)代
在云燧T10實(shí)現(xiàn)商用化落地的前四個(gè)月，燧原科技還獲得了新一輪的融資，借助這輪融資，燧原科技得以從1.0跨越到了2.0時(shí)代。
張亞林表示：“在1.0時(shí)代，燧原科技實(shí)現(xiàn)了從0到1的目標(biāo)，在這個(gè)階段公司的工作重心是放在建設(shè)中國(guó)頂尖的工程化團(tuán)隊(duì)，完成產(chǎn)品研發(fā)和量產(chǎn)、實(shí)現(xiàn)產(chǎn)品熱啟動(dòng)，并完成首個(gè)人工智能訓(xùn)練解決方案的商業(yè)化落地。”
已經(jīng)實(shí)現(xiàn)商用的云燧T10和由其組成的多卡分布式訓(xùn)練集群是燧原科技完成1.0階段任務(wù)的代表作之一。從上文AI大芯片的商用落地難處便可看出，僅靠一塊芯片或是一種產(chǎn)品難以支撐云端服務(wù)器的使用。從目前市場(chǎng)情況來(lái)看，由AI芯片所組成的分布式集群在云端服務(wù)器發(fā)展的過(guò)程中起到了重要作用，針對(duì)這種商業(yè)訴求，燧原科技所推出的多卡分布式訓(xùn)練集群，就能夠?yàn)槠栈菰贫擞?xùn)練的實(shí)現(xiàn)提供助力。
“多卡分布式集群的建成并不是一件簡(jiǎn)單的事”，張亞林表示：“在這個(gè)過(guò)程中，燧原科技需要解決多卡之間連接問(wèn)題，還需要考慮每個(gè)板卡的工作分配，使之在盡可能小的功耗下發(fā)揮出最高的性能。”
（云燧T10商用化案例展示）
人工智能訓(xùn)練平臺(tái)的商業(yè)化落地不僅為燧原1.0畫(huà)上了完美的通關(guān)句號(hào)，還為燧原科技打開(kāi)了通往2.0時(shí)代的大門(mén)。
“2.0時(shí)代，燧原科技將進(jìn)行從1到N的發(fā)展”，據(jù)張亞林介紹：“在2.0時(shí)代，燧原科技會(huì)專(zhuān)注于建立市場(chǎng)銷(xiāo)售和服務(wù)支持體系，迅速拓展業(yè)務(wù)。同時(shí)，公司還將加強(qiáng)國(guó)內(nèi)外學(xué)術(shù)端的合作，引進(jìn)高端人才，構(gòu)建產(chǎn)業(yè)生態(tài)。”
在產(chǎn)品規(guī)劃方面，作為一個(gè)務(wù)實(shí)的企業(yè)，實(shí)現(xiàn)商業(yè)化落地是燧原科技所追求的目標(biāo)之一。以此為基礎(chǔ)，燧原科技在進(jìn)行芯片設(shè)計(jì)之初就瞄準(zhǔn)了市場(chǎng)痛點(diǎn)，大大加速了產(chǎn)品的商業(yè)化進(jìn)程。
張亞林表示：“未來(lái)，燧原科技也將以應(yīng)用為導(dǎo)向，進(jìn)行產(chǎn)品的拓展。在2.0時(shí)代，燧原科技還會(huì)持續(xù)產(chǎn)品的研發(fā)和迭代，構(gòu)建云端訓(xùn)練和推理平臺(tái)完整解決方案。為了實(shí)現(xiàn)這一目標(biāo)，燧原科技將會(huì)在明年推出推理AI芯片。”
根據(jù)燧原科技的計(jì)劃來(lái)看，公司將用3年時(shí)間來(lái)構(gòu)建燧原科技2.0時(shí)代。
燧原科技之所以能夠在短時(shí)間內(nèi)得到如此迅速的發(fā)展，是因?yàn)樵贫薃I訓(xùn)練芯片還處于起步階段，算法和架構(gòu)方面還有很大的上升空間。從云端訓(xùn)練芯片巨頭英偉達(dá)的發(fā)展中看，2019年其數(shù)據(jù)中心業(yè)務(wù)營(yíng)收達(dá)到30億美元，AI訓(xùn)練卡則貢獻(xiàn)了其中的20億美元和最大利潤(rùn)。
而英偉達(dá)幾乎壟斷了云端AI訓(xùn)練芯片市場(chǎng)，一家獨(dú)大的市場(chǎng)情況就導(dǎo)致了AI云端訓(xùn)練的成本很高。而燧原科技瞄準(zhǔn)這塊市場(chǎng)，就是期望能夠提供可替代的解決方案來(lái)推動(dòng)普惠算力的實(shí)現(xiàn)。
據(jù)張亞林介紹，燧原科技瞄準(zhǔn)的是云端計(jì)算芯片的存量和增量?jī)纱笫谐４媪渴袌?chǎng)指的是目前已有的，并可進(jìn)行方案替代的市場(chǎng)，例如云服務(wù)商等領(lǐng)域。增量市場(chǎng)則是未來(lái)通過(guò)技術(shù)迭代并進(jìn)行方案替代的市常
他表示：“在國(guó)外廠商已經(jīng)構(gòu)建了強(qiáng)大的優(yōu)勢(shì)之下，其他廠商要想進(jìn)入這個(gè)市場(chǎng)首先就要適應(yīng)已有的生態(tài)系統(tǒng)，通過(guò)提供可替代的解決方案是打入這個(gè)市場(chǎng)方法之一。這也是為未來(lái)突破國(guó)外廠商壟斷所奠定的基矗”
從國(guó)內(nèi)云端AI芯片競(jìng)爭(zhēng)格局來(lái)看，由于現(xiàn)階段國(guó)內(nèi)致力于發(fā)展云端AI芯片的企業(yè)并不多，且在市場(chǎng)前景巨大的情況下，搶先爭(zhēng)取相關(guān)人才和發(fā)展生態(tài)合作伙伴就成為了驅(qū)動(dòng)企業(yè)未來(lái)發(fā)展的重要引擎之一。而這也是上文所提到的，燧原科技要在2.0時(shí)代大力發(fā)展的部分之一。
因此，燧原科技正在積極與全產(chǎn)業(yè)鏈的伙伴達(dá)成合作，聯(lián)合伙伴孵化行業(yè)解決方案，深度參與AI產(chǎn)業(yè)聯(lián)盟;積極建立生態(tài)，聯(lián)合建立高校聯(lián)合實(shí)驗(yàn)室;并開(kāi)放底層能力，賦能定制開(kāi)發(fā)，深度參與社區(qū)，貢獻(xiàn)測(cè)評(píng)標(biāo)準(zhǔn)。
結(jié)語(yǔ)
在算力即是生產(chǎn)力的今天，業(yè)界對(duì)普惠算力的需求日益高漲。在這種市場(chǎng)需求之下，在云端訓(xùn)練芯片這片藍(lán)海當(dāng)中，雖然存在著諸多門(mén)檻，但這更是機(jī)會(huì)。在這段探求之路上，燧原科技的成長(zhǎng)也為國(guó)內(nèi)云端AI芯片實(shí)現(xiàn)商業(yè)化提供了一條發(fā)展之道。
來(lái)源：半導(dǎo)體行業(yè)觀察
