8月27日消息，在近日召開(kāi)的Hot Chips 2024大會(huì)上，韓國(guó)AI芯片初創(chuàng)公司FuriosaAI 推出了一款面向高性能大型語(yǔ)言模型和多模態(tài)模型推理的高能效數(shù)據(jù)中心AI加速器 RNGD。
需要指出的是，這款芯片并不追求最高的AI性能，對(duì)標(biāo)的也不是英偉達(dá)的H100之類的高性能AI芯片，而是一款追求高能效、低功耗AI數(shù)據(jù)中心解決方案，性能與英偉達(dá)L40S接近，功耗還降低了40%。
具體來(lái)說(shuō)，F(xiàn)uriosaAI RNGD基于臺(tái)積電5nm工藝制造，其核心的面積為653mm，晶體管數(shù)量為400億顆，AI計(jì)算核心的頻率為1.0GHz，擁有256MB的片上SRAM，外圍還通過(guò)CoWoS-S封裝集成了48GB HBM3（2顆12層堆棧的24GB HBM），內(nèi)存帶寬為1.5TB/s。
在性能方面，基于 RNGD芯片的單張卡算力為64TFLOPS（FP8），可以運(yùn)行Llama 3.1 8B等大語(yǔ)言模型，TDP功耗僅150W，相比之下英偉達(dá)H100 TDP則高達(dá)400W。而基于8張RNGD加速卡的系統(tǒng)，則可提供最高512TFLOPS（FP8）和1024TOPS（INT4）的計(jì)算能力。
根據(jù)FuriosaAI介紹，RNGD在運(yùn)行擁有約100億個(gè)參數(shù)的模型時(shí)，能夠達(dá)到每秒處理多達(dá)3000個(gè)Token的吞吐量。在復(fù)雜的AI算法處理場(chǎng)景中，其能夠有效降低電費(fèi)和冷卻成本，為數(shù)據(jù)中心提供了一種可持續(xù)的發(fā)展解決方案。與當(dāng)前市場(chǎng)上的主流GPU相比，RNGD芯片能耗大幅降低的同時(shí)，計(jì)算性能卻未受影響，提升了整體的經(jīng)濟(jì)效益。
正如前面所提及的，F(xiàn)uriosaAI并沒(méi)有將RNGD的目標(biāo)對(duì)準(zhǔn)高性能的英偉達(dá)H100之類的產(chǎn)品，而是瞄準(zhǔn)了英偉達(dá)L40S，目標(biāo)不僅是提供相似的性能，而且是以更低的功耗提供該性能。根據(jù)FuriosaAI提供的數(shù)據(jù)顯示，RNGD在擁有與英偉達(dá)L40S相近的AI性能的情況下，其能耗大約只有L40S的60%（即相當(dāng)于功耗降低了40%），這也反應(yīng)了其出色的能效表現(xiàn)。
FuriosaAI RNGD的高能效主要得益于其獨(dú)特的TCP架構(gòu)。FuriosaAI表示，該架構(gòu)在能效、性能和可編程性之間達(dá)成了良好的平衡，能夠高效管理數(shù)據(jù)和內(nèi)存。這使得RNGD在處理例如Llama3這樣的龐大模型時(shí)，比傳統(tǒng)GPU方案具備明顯的優(yōu)勢(shì)，尤其是在能效比方面。
當(dāng)然，這也得益于FuriosaAI RNGD來(lái)自于硬件、軟件和算法方面的聯(lián)合優(yōu)化。
比如，F(xiàn)uriosaAI一直試圖解決在硬件和軟件之間的抽象層上工作的挑戰(zhàn)。
張量收縮是FuriosaAI的主要操作之一。在BERT方面，占據(jù)了FLOPS算力的99%。
通常，我們把矩陣乘法作為基元，而不是張量收縮。
相反，抽象是在張量收縮級(jí)別。
FuriosaAI為其原語(yǔ)添加了一個(gè)低級(jí)einsum。
這里，矩陣A和B相乘產(chǎn)生C。
然后，F(xiàn)uriosaAI利用這一點(diǎn)，在具有內(nèi)存和計(jì)算單元的實(shí)際架構(gòu)上對(duì)其進(jìn)行調(diào)度。
從這里開(kāi)始，一個(gè)完整的張量收縮可以是一個(gè)本原。
通過(guò)考慮空間和時(shí)間編排，他們可以提高效率和利用率。
Furiosa表示，它具有靈活的可重新配置性，這對(duì)于在批量變化時(shí)保持高性能非常重要。
下面是RNGD實(shí)現(xiàn)的情況：
以下是互連網(wǎng)絡(luò)，包括訪問(wèn)暫存存儲(chǔ)器。
FuriosaAI正在使用PCIe Gen5 xq6進(jìn)行芯片到芯片的通信。它還通過(guò)PCIe交換機(jī)使用P2P進(jìn)行GPU之間的直接通信。
FuriosaAI支持SR-IOV進(jìn)行虛擬化。
FuriosaAI已經(jīng)為可靠性做了信號(hào)和電源完整性方面的工作。
下面是Furiosa LLM如何以流程圖的形式工作：
編譯器編譯映射到多個(gè)設(shè)備的每個(gè)分區(qū)。
編譯器優(yōu)化了模型的性能增益和能效。
服務(wù)框架做類似連續(xù)批處理的事情來(lái)獲得更多的利用率。
FuriosaAI公司有一個(gè)基于圖表的自動(dòng)化工具來(lái)幫助量化。Furiosa可以支持許多不同的格式，包括FP8和INT4。
編輯：芯智訊-浪客劍 編譯自：servethehome
