展會信息港展會大全

燧原科技發(fā)布業(yè)內帶寬最大的云端AI推理卡“云燧i20”
來源:互聯(lián)網   發(fā)布日期:2021-12-09 07:59:43   瀏覽:7839次  

導讀:(全球TMT2021年12月7日訊)燧原科技發(fā)布第二代云端人工智能推理加速卡云燧i20。作為全新一代云端AI推理加速產品,云燧i20擁有迄今為止業(yè)內最大的AI加速卡存儲帶寬,高達819 GB/s,遠超行業(yè)同類產品水平;同時全面支持從FP32、TF32、FP16、BF16到INT8的計算...

(全球TMT2021年12月7日訊)燧原科技發(fā)布第二代云端人工智能推理加速卡“云燧i20”。作為全新一代云端AI推理加速產品,云燧i20擁有迄今為止業(yè)內最大的AI加速卡存儲帶寬,高達819 GB/s,遠超行業(yè)同類產品水平;同時全面支持從FP32、TF32、FP16、BF16到INT8的計算精度。單精度FP32峰值算力達到32 TFLOPS,單精度張量TF32峰值算力達到128 TFLOPS,整型INT8峰值算力達到256 TOPS。對比第一代推理產品,云燧i20將浮點算力提升到1.8倍,整型算力提升到3.6倍。

燧原科技發(fā)布第二代人工智能推理加速卡“云燧i20”

升級后的“馭算TopsRider”軟件棧,在性能、開發(fā)效率和模型覆蓋面上得到大幅提升。通過引入通用高層圖優(yōu)化和大規(guī)模算子融合技術,充分釋放了大容量片內存儲和高帶寬存儲的利用率,將模型平均性能提升3.5倍,硬件算力利用率平均提升2倍;通過升級的編程模型以及算子自動分片、自動生成技術,自定義算子開發(fā)效率翻倍,模型遷移成本大大降低;此外,馭算增強了對動態(tài)性的支持,使云燧i20在檢測、語音識別、語義理解等場景更具競爭力。

在經濟效益和部署靈活性層面,基于虛擬化和多實例加速技術,云燧i20能夠實現單卡多用戶,同時支持6個業(yè)務互不干擾、安全隔離運行。讓更多云端推理應用同時享受專有的算力加速,為客戶業(yè)務架構帶來輕耦合、靈活可靠的實現方式,顯著提升資源利用率與投入產出比。

超大帶寬推理加速卡,兼具高吞吐、低延時特性

目前以語音識別、圖片識別、視頻內容分析為主的感知類應用,內容推薦和欺詐交易攔截等決策類應用在云端大部分都是以實時在線的方式提供服務;同時神經網絡的參數越來越多,數據帶寬需求也越來越高,兼顧高帶寬和低延遲變得至關重要。云燧i20創(chuàng)新性地采用了高帶寬HBM2E存儲,實現了高達819GB/s的超大帶寬,為各類云端推理業(yè)務提供高吞吐、低延時的性能,保障其準確、平穩(wěn)、高效的運行。

自主創(chuàng)新芯片架構,以更高性價比提供極致化性能

新一代“邃思”AI推理芯片采用第二代高性能計算核心和數據引擎,由12nm工藝打造,通過架構升級,大大提高了單位面積的晶體管效率,從而實現了與目前業(yè)內7nm GPU相匹敵的計算能力。不僅如此,基于12nm成熟工藝帶來的成本優(yōu)勢,使得云燧i20在相同性能表現下更具性價比優(yōu)勢。并且供應鏈體系更加穩(wěn)定成熟,客戶的業(yè)務需求可以得到及時滿足。


贊助本站

相關內容
AiLab云推薦
推薦內容
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯(lián)系我們 | 廣告服務 | 公司動態(tài) | 免責聲明 | 隱私條款 | 工作機會 | 展會港