如果你問AI邊緣芯片公司最難的是什么，他們大概率會說落地的應(yīng)用場景太多、太復雜。
如果你問開發(fā)者使用AI芯片最難的是什么，他們可能會說沒有統(tǒng)一的開發(fā)平臺。
如果你問消費者使用AI的最大感受是什么，他們或許會表達一些對AI智能程度的不滿。
AI已經(jīng)在智能手機中普及，但AI的體驗還不夠完善，AI的功能也還不夠強大。想要實現(xiàn)體驗優(yōu)秀的AI功能和產(chǎn)品，一定需要從底層的硬件到上層的軟件和系統(tǒng)的深度融合。
所有AI芯片公司都在大談自家產(chǎn)品的優(yōu)勢，但即便對于有能力和經(jīng)驗的AI開發(fā)者，想要將一個開發(fā)應(yīng)用到不同的產(chǎn)品中，總是有許多遷移的工作，這也在很大程度上阻礙了AI的普及和進一步創(chuàng)新。
芯片公司們都想解決這個問題，高通今天給出的最新的解決方案高通AI軟件棧（Qualcomm AI Stack），包括硬件、軟件和工具，讓OEM廠商或者開發(fā)者的一次開發(fā)，就可以應(yīng)用到智能手機、物聯(lián)網(wǎng)、汽車、XR、云和移動PC等智能網(wǎng)聯(lián)邊緣產(chǎn)品。
這是足以讓開發(fā)者興奮的“一次開發(fā)，隨處運行。”
但想要實現(xiàn)這個目標，面臨著諸多挑戰(zhàn)。高通技術(shù)公司產(chǎn)品管理副總裁 Ziad Asghar指出，“AI在不同場景下，功耗需求、模型類型、模型部署方式等都有所不同，不同業(yè)務(wù)對于準確性、功耗以及時延等方面的平衡要求也各不相同。比如，XR應(yīng)用所需的手勢追蹤、眼球追蹤和3D重建AI模型，與在汽車領(lǐng)域所需的激光雷達AI模型大有不同，他們對于精準度的要求也有很大區(qū)別。”
高通技術(shù)公司技術(shù)副總裁Jeff Gehlhaar提到，“如何讓我們所有不同的IP都能獲得同樣的訪問權(quán)限，讓每個IP都能夠以統(tǒng)一的方式選擇相對應(yīng)的解決方案，這是一個主要挑戰(zhàn)。”
高通最終推出的是AI軟件棧產(chǎn)品組合，從底層的硬件聯(lián)合上層的軟件和工具優(yōu)化，實現(xiàn)僅通過統(tǒng)一AI軟件棧，可跨硬件平臺運行。
這是一項十分挑戰(zhàn)的工作，想要一次開發(fā)跨平臺運行，首先就需要支持不同的操作系統(tǒng)，包括Android、Windows、Linux以及面向網(wǎng)聯(lián)汽車的QNX等。到了系統(tǒng)軟件層面，要能完整支持系統(tǒng)接口、加速器驅(qū)動、仿真支持等。在開發(fā)者庫與服務(wù)層面，要能夠支持數(shù)學庫、編譯器和虛擬平臺等。還要支持分析器和調(diào)試器，幫助開發(fā)者知曉開發(fā)過程中AI模型的使用情況，以及在硬件端應(yīng)該采用怎樣的權(quán)重進行分析。此外，還要支持編程語言和核心庫。
“基于高通AI引擎Direct，上述這些高通AI軟件都可以實現(xiàn)。” Ziad Asghar說，“高通AI引擎Direct可視為一個較低層級的庫，可以在最靠近模型或硬件的位置進行軟件編輯，充分釋放硬件性能、確保最高峰值表現(xiàn)。高通AI引擎Direct之上運行著AI runtimes，可幫助OEM廠商和客戶更高效地完成更多AI用例。AI runtimes還支持被廣泛使用的高通神經(jīng)網(wǎng)絡(luò)處理SDK、ONNX runtimes以及TF Lite和TF Lite Micro、Direct ML。最上面一層是AI框架，包括TensorFlow、PyTorch和ONNX。”
高通AI軟件棧還支持一系列工具套件，包括高通AI模型增效工具包（AIMET）、AI開發(fā)圖形用戶界面（GUI）、用于增強量化與優(yōu)化的模型分析器以及神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）。
高通AI模型增效工具包（AIMET）提供模型量化和模型壓縮技術(shù)，能夠進行量化感知訓練（Quantization Aware Training）和無數(shù)據(jù)訓練，將浮點運算模型轉(zhuǎn)化為整數(shù)運算模型，比如，將32位浮點模型轉(zhuǎn)換為8位整數(shù)模型，模型能效提升可達4倍。
另外，高通AI軟件棧還支持包括Prometheus、Kubernetes和Docker在內(nèi)的基礎(chǔ)設(shè)施。
高通AI軟件�？梢灾С种T多的SDK，比如面向汽車ADAS解決方案的Snapdragon Ride SDK，面向物聯(lián)網(wǎng)的高通智能多媒體SDK，以及Snapdragon Spaces XR開發(fā)者平臺，這也為高通建立統(tǒng)一SDK奠定了基矗
Ziad Asghar對雷峰網(wǎng)表示，“要實現(xiàn)任何面向單一終端開發(fā)的AI特性都可在其他終端上輕松部署，編譯器確實很關(guān)鍵，但它只是眾多組成部分之一，此外還包括模型的準備和優(yōu)化、調(diào)度器、硬件調(diào)試、以及如何確保軟件能夠充分利用硬件資源等等，這些因素都非常重要，我們需要確保這些組成部分能夠共同協(xié)作實現(xiàn)高效運行。”
也正因為如此，剛發(fā)布的高通AI軟件棧，要真正實現(xiàn)其愿景還有很長的路需要走，高通不僅面對著軟件復雜性大幅提升的挑戰(zhàn)，還需要進行大量細致的優(yōu)化，與客戶緊密合作，才可能最終實現(xiàn)其愿景，這需要時間，更需要持續(xù)的投入。
但如果高通AI軟件棧能夠成功，不僅是其統(tǒng)一技術(shù)路線圖戰(zhàn)略的成功，更是其在AI市場獲得巨大成功的關(guān)鍵。
