生成式AI引領(lǐng)智能革命成為產(chǎn)業(yè)升級(jí)的核心動(dòng)力并點(diǎn)燃了“百模大戰(zhàn)”。多樣化的大模型應(yīng)用激增對(duì)高性能AI芯片的需求,促使行業(yè)在摩爾定律放緩的背景下,加速推進(jìn)2.5D、3D及3.5D異構(gòu)集成技術(shù)。與此同時(shí),AI的驅(qū)動(dòng)作用正在助力EDA和半導(dǎo)體產(chǎn)業(yè)實(shí)現(xiàn)顛覆性的變革。
在現(xiàn)今AI時(shí)代,AI芯片設(shè)計(jì)將面臨哪些挑戰(zhàn)?EDA與IP工具又將如何借助AI的力量來(lái)應(yīng)對(duì)這些挑戰(zhàn)?12月11-12日上海集成電路2024年度產(chǎn)業(yè)發(fā)展論壇暨第三十屆中國(guó)集成電路設(shè)計(jì)業(yè)展覽會(huì)(ICCAD - Expo 2024)上,楷登電子(Cadence)數(shù)字設(shè)計(jì)及簽核事業(yè)部產(chǎn)品驗(yàn)證群總監(jiān)李玉童,以及楷登電子技術(shù)支持總監(jiān)李志勇分別帶來(lái)了題為《3D-IC 打破AI芯片的設(shè)計(jì)桎梏》以及《基于標(biāo)準(zhǔn)的協(xié)議對(duì)未來(lái)人工智能工作負(fù)載至關(guān)重要》的精彩演講,深入探討了這些問題。
3D-IC 打破AI芯片的設(shè)計(jì)桎梏
生成式AI推動(dòng)了大模型應(yīng)用的蓬勃發(fā)展,這一浪潮已蔓延至EDA領(lǐng)域。在這一趨勢(shì)的引領(lǐng)下,Cadence推出了其全面的“芯片到系統(tǒng)”AI驅(qū)動(dòng)的EDA工具平臺(tái)Cadence JedAI Platform,這一平臺(tái)正是AI大模型浪潮下應(yīng)運(yùn)而生的創(chuàng)新工具。通過JedAI這個(gè)統(tǒng)一的數(shù)據(jù)平臺(tái),可以有效地進(jìn)行數(shù)據(jù)存儲(chǔ)、分類、壓縮和管理,推動(dòng) EDA 工具和設(shè)計(jì)流程的自我學(xué)習(xí)優(yōu)化,從而實(shí)現(xiàn)生產(chǎn)力的極大提升以及功耗、性能和面積(PPA)的進(jìn)一步優(yōu)化。
李玉童在演講中介紹,JedAI平臺(tái)采用分層的大型語(yǔ)言模型(LLM)訓(xùn)練架構(gòu),包含四個(gè)層級(jí)。最底層是開源基礎(chǔ)模型,由第三方利用公共數(shù)據(jù)進(jìn)行訓(xùn)練。在此基礎(chǔ)上,Cadence利用專有數(shù)據(jù)訓(xùn)練出專屬模型,以更好地滿足芯片設(shè)計(jì)客戶的需求?蛻艨梢栽贑adence模型的基礎(chǔ)上,使用自身的數(shù)據(jù)進(jìn)行進(jìn)一步訓(xùn)練,從而生成私有模型。最頂層是用戶界面,允許用戶通過自然語(yǔ)言輸入各種請(qǐng)求,與Cadence JedAI大型語(yǔ)言模型進(jìn)行交互,以獲得所需的專業(yè)解答。諸如此類的大模型應(yīng)用中,AI芯片成為支撐引擎,為大模型應(yīng)用提供強(qiáng)有力的支持。而大模型應(yīng)用的繁盛,讓AI芯片的發(fā)展來(lái)到了一個(gè)新高度。
不難看出,LLM的參數(shù)量指數(shù)級(jí)增長(zhǎng)對(duì)與處理器匹配的內(nèi)存系統(tǒng)提出了更高的要求,AI存儲(chǔ)要求更大容量、更大帶寬、更低功耗,從而使得AI芯片的設(shè)計(jì)面臨前所未有的挑戰(zhàn)。
HBM是此前克服“內(nèi)存墻”(Memory Walls)的主要解決方案,其強(qiáng)大的I/O并行化能力,使HBM成為Al系統(tǒng)中用于訓(xùn)練和推理的高規(guī)格存儲(chǔ)設(shè)備,且已經(jīng)成為大部分高端數(shù)據(jù)中心GPU和SoC的標(biāo)配。當(dāng)下業(yè)內(nèi)正在開發(fā)的DRAM-on-Logic堆疊方案,有望將AI芯片帶寬進(jìn)一步提升至32TB/s,使得AI大模型應(yīng)用響應(yīng)速度進(jìn)一步加快,更接近人類直接交流。然而, 3D堆疊技術(shù)雖然能解決AI芯片內(nèi)存墻的問題,卻也需要面對(duì)從2D到3D芯片設(shè)計(jì)方法轉(zhuǎn)變的挑戰(zhàn)。
李玉童詳細(xì)介紹了封裝級(jí)3D-IC和晶圓級(jí)3D-IC(3D-SoIC/X-Cube)、同構(gòu)與異構(gòu)3D-IC等3D-IC路線圖和挑戰(zhàn)。如果將多個(gè)2.5D、3D封裝的芯片堆疊到同一個(gè)系統(tǒng)級(jí)芯片封裝中,就得到了所謂的3.5D-IC。從2.5D到3D-IC乃至3.5D- IC,對(duì)于AI芯片而言,無(wú)論是帶寬,還是處理單位數(shù)據(jù)的能效比所帶來(lái)的優(yōu)勢(shì)都是無(wú)與倫比的。同時(shí),因?yàn)樾酒询B產(chǎn)生了與堆疊的不同組件和整個(gè)系統(tǒng)相關(guān)的新復(fù)雜性,該技術(shù)也在三維芯片架構(gòu)和系統(tǒng)規(guī)劃,不同層間的鍵合策略選擇,傳輸層和運(yùn)算層的Bump對(duì)齊、時(shí)鐘樹協(xié)同優(yōu)化,以及系統(tǒng)層次的STA、IR-Drop、Thermal、LVS等方面帶來(lái)新的挑戰(zhàn)。
李玉童強(qiáng)調(diào),隨著摩爾定律逐漸失效,晶圓級(jí)3D-IC已成為行業(yè)的焦點(diǎn),3D-IC的先進(jìn)性將極大地豐富系統(tǒng)公司從系統(tǒng)方面提升芯片性能的手段。Cadence自2018年起就專注于各種類型的同構(gòu)異構(gòu)集成技術(shù),成為業(yè)內(nèi)首個(gè)推出從芯片到系統(tǒng)完整解決方案的EDA公司,并推出了業(yè)界首個(gè)高性能高集成度的CadenceIntegrity 3D-IC Platform平臺(tái),整合了系統(tǒng)規(guī)劃、封裝和設(shè)計(jì)流程早中后期系統(tǒng)級(jí)分析功能,可提供芯片上(on-chip)以及芯片外(off-chip)的跨芯片的時(shí)序分析、供電網(wǎng)絡(luò)規(guī)劃、IR和熱分析以及不依賴第三方規(guī)則文件的系統(tǒng)級(jí)LVS/DRC物理驗(yàn)證,幫助系統(tǒng)設(shè)計(jì)師從3D-IC項(xiàng)目初期規(guī)劃、分析三維芯片系統(tǒng)的堆疊方案選擇(2.5D/3D, Face2Face/Face2Back/Back2Back),并利用多物理場(chǎng)系統(tǒng)分析技術(shù),基于不同階段項(xiàng)目參考庫(kù)文件和網(wǎng)表從零到100%的不同完成度,探索、分析、迭代及決策3D-IC最佳系統(tǒng)架構(gòu)。
正是基于上述前瞻性研發(fā)布局,使得3D-IC設(shè)計(jì)實(shí)現(xiàn)團(tuán)隊(duì)有充裕的三維物理時(shí)序功耗設(shè)計(jì)裕量進(jìn)行跨芯片并行數(shù)字后端實(shí)現(xiàn),并無(wú)縫調(diào)用Cadence的Virtuoso和Allegro模擬和封裝實(shí)現(xiàn)平臺(tái)進(jìn)行協(xié)同設(shè)計(jì)。
最后,李玉童分別通過客戶同構(gòu)設(shè)計(jì)、異構(gòu)設(shè)計(jì)芯片的流片項(xiàng)目為例,詳細(xì)闡述了在一個(gè)完整的設(shè)計(jì)流程內(nèi)如何通過該平臺(tái)來(lái)進(jìn)行熱分析、功耗分析、裸片間靜態(tài)時(shí)序分析和物理驗(yàn)證,優(yōu)化系統(tǒng)性能。他強(qiáng)調(diào),3D-IC技術(shù)的發(fā)展將為高帶寬AI芯片的性能提升帶來(lái)革命性的變化,Cadence將通過不斷創(chuàng)新和優(yōu)化其設(shè)計(jì)平臺(tái),致力于幫助客戶克服技術(shù)挑戰(zhàn),實(shí)現(xiàn)更高的產(chǎn)品性能和市場(chǎng)競(jìng)爭(zhēng)力。
基于標(biāo)準(zhǔn)的協(xié)議對(duì)未來(lái)人工智能工作負(fù)載至關(guān)重要
在分論壇上,李志勇首先分析了AI時(shí)代的市場(chǎng)趨勢(shì)和關(guān)鍵驅(qū)動(dòng)因素,以及生成式AI對(duì)半導(dǎo)體行業(yè)的重大影響。在不同的AI應(yīng)用中,對(duì)處理器和SoC的需求各不相同,不同的工作負(fù)載需要不同的系統(tǒng)構(gòu)成。李志勇指出,無(wú)論是推理、訓(xùn)練、數(shù)據(jù)挖掘或圖形分析,異構(gòu)應(yīng)用都需要非常獨(dú)特的解決方案才能優(yōu)化實(shí)施。這些技術(shù)使用不同的系統(tǒng)架構(gòu)和資源,在HPC/AI領(lǐng)域并不存在一種適合所有情況的最佳系統(tǒng)架構(gòu)。也正是因此,面對(duì)不同AI應(yīng)用需求的各類AI處理器和SoC架構(gòu)將面臨前所未有的設(shè)計(jì)挑戰(zhàn)。
首先,數(shù)據(jù)傳輸設(shè)計(jì)是關(guān)鍵,通用設(shè)計(jì)的復(fù)用將帶來(lái)增量性能和成本方面的優(yōu)勢(shì),包括計(jì)算、內(nèi)存和I/O等。其次,標(biāo)準(zhǔn)接口是設(shè)計(jì)的關(guān)鍵組成部分。當(dāng)前市場(chǎng)上的各類主流及創(chuàng)新架構(gòu)均大量使用了各種標(biāo)準(zhǔn)接口,HPC、AI/ML和云對(duì)各類IP的需求正在不斷增加。最后,隨著摩爾定律來(lái)到極限,以UCIe和其他形式實(shí)現(xiàn)的D2D接口封裝和標(biāo)準(zhǔn)化方面的進(jìn)步使分解和基于芯粒的設(shè)計(jì)正在成為現(xiàn)實(shí)。
Cadence通過不斷創(chuàng)新和優(yōu)化全棧IP解決方案,幫助客戶克服AI芯片設(shè)計(jì)挑戰(zhàn)。
在存儲(chǔ)接口方面,Cadence的協(xié)議選項(xiàng)涵蓋先進(jìn)技術(shù)節(jié)點(diǎn)中所有最新標(biāo)準(zhǔn)和數(shù)據(jù)速率的深度解決方案組合,包括DDR、LPDDR、GDDR、HBM等,可幫助客戶利用多功能內(nèi)核以更快的速度完成更多任務(wù),全面滿足客戶從存儲(chǔ)到AI,再到圖形和內(nèi)存擴(kuò)展器的各種應(yīng)用需求。
在高速串行接口方面,Cadence是唯一一家擁有8通道Gen6控制器和PHY測(cè)試芯片的IP提供商,同時(shí),Cadence在PCIe 7也將保持領(lǐng)先,Gen7已經(jīng)向客戶演示了demo,并有望在2027年滿足市場(chǎng)需求。
在高速以太網(wǎng)方面,Cadence的解決方案包括業(yè)界領(lǐng)先的224G/112G/56G物理層IP和控制器IP,可支持高達(dá)800G/1.6T的子系統(tǒng),還展現(xiàn)出卓越的硅性能,在Cadence測(cè)試芯片和客戶生產(chǎn)芯片中均已得到驗(yàn)證。
與此同時(shí),隨著Chiplet成為后摩爾時(shí)代的共識(shí),D2D接口IP需求迅速增加。Cadence已推出使用 UCle 標(biāo)準(zhǔn)接口實(shí)現(xiàn)處理器、系統(tǒng)IP 和內(nèi)存 IP 的高效集成解決方案,可滿足高性能計(jì)算、汽車和數(shù)據(jù)中心行業(yè)不斷變化的需求,并幫助客戶克服設(shè)計(jì)挑戰(zhàn)并加快產(chǎn)品上市時(shí)間。