圖片系AI生成
在AI技術體系中，深度學習框架處于“承上啟下”的位置，南向使能多樣化算力，北向孵化各類算法模型，是大模型產(chǎn)業(yè)必不可少的環(huán)節(jié)。在全球層面，TensorFlow 和 PyTorch占據(jù)先發(fā)優(yōu)勢，中國市場也不例外，但是華為推出的思MindSpore和百度推出的飛槳PaddlePaddle等國產(chǎn)力量正在加速追趕。
在12月14日舉辦的思人工智能框架峰會上，18家單位發(fā)布基于思的原生開發(fā)大模型成果，據(jù)預測，中國AI框架2024年新增市場思份額將達30%。
華為ICT戰(zhàn)略與業(yè)務發(fā)展部總裁彭紅華表示，人工智能框架是AI時代的操作系統(tǒng)與軟件底座，領先的AI框架需要同時具備“更高效、更敏捷、更開放”的技術與生態(tài)能力，未來華為將持續(xù)投入思MindSpore，堅持以開源的方式，促進中國人工智能框架生態(tài)健康、高速發(fā)展。
大模型如何改變深度學習框架
智譜AI CEO張鵬在會上表示，去年大家談得更多的是需要卡、需要算力、需要的是硬件，今年算力問題有所緩解，其中尤其是華為騰的努力�，F(xiàn)在有了硬件資源，如何把動輒價值千萬元人民幣的硬件資源用好，主要依靠AI大模型訓練的框架和infra（基礎設施）。
現(xiàn)階段最關鍵的是提升大模型的訓練性能，這是整個行業(yè)的優(yōu)先考慮事項，需要深度學習框架的不斷改進，讓軟件更好地適配硬件和上層算法。
“相比于國外發(fā)展了十年，甚至更長時間的框架，思做了很多工作，智譜也配合增強了分布式并行的能力，增強從訓練到推理的一致性和部署可用性。最重要的是我們把核心技術終于從0到1突破了，掌握在自己的手里，能夠實現(xiàn)全棧自主創(chuàng)新持續(xù)的演進和創(chuàng)新�！睆堸i說道。
他還在現(xiàn)場透露，智譜從2020年就開始和眾多國產(chǎn)生態(tài)進行合作，其中包括騰系列硬件，結合思MindSpore做完全自主創(chuàng)新的國產(chǎn)大模型訓練。
智譜AI的明星產(chǎn)品CodeGeeX誕生于在疫情期間，智譜和華為各自投入了幾十人團隊，分布式協(xié)作完成算法調優(yōu)、集群穩(wěn)定性的維護工作、inference的構建。發(fā)展到今天，CodeGeeX已經(jīng)更新迭代了四代模型。
思MindSpore開源社區(qū)理事長丁誠也提到，大模型技術還在跨越式演進，思MindSpore重點關注兩點。
第一，大模型的參數(shù)量、序列長度和模態(tài)結構繼續(xù)以指數(shù)級速度演進。對此深度學習框架要解決異構模型帶來的計算不均衡問題，超長序列帶來的內存爆炸問題和模型并行出現(xiàn)的流水線空炮問題。
第二，Open AI發(fā)布了o1，使得計算過程從單任務、單模型走向了多任務、多模型，深度學習和強化學習相融合的方式，對此深度學習框架需要解決多模型協(xié)同交互下的復雜編程問題，推理和強化學習任務的混合部署和調度問題，訓推權重的在線轉換，并行策略的動態(tài)調整問題。
開源4年份額達30%，思成為發(fā)展最快AI框架
開源是思快速追趕先進框架的主要策略，典型如大模型爆發(fā)帶來了新的需求，思從社區(qū)論壇收集到3700多個技術問題，再針對性做技術預研和規(guī)劃。中國工程院院士何友表示，思作為自主創(chuàng)新的AI框架，在大模型時代的開源實踐尤為重要，甚至有些指標可以和國際媲美。
彭紅華提到，未來思主要面向三個層面演進，在開發(fā)者編程體驗方面，思兼容業(yè)界主流生態(tài)，提供一致開發(fā)體驗，持續(xù)降低遷移學習成本；
在大模型訓練方面，提供更豐富的分布式并行策略，結合自動搜索仿真調優(yōu)，為大模型訓練節(jié)約端到端成本；
面向最新類o1模型帶來的技術挑戰(zhàn)，完善多模型多任務調度、訓推無縫轉換能力，強化學習親和架構，加速類o1模型演進升級；面向AI for Science場景，思持續(xù)升級底層函數(shù)式編程體驗，并打造高性能AI for Science使能套件，聯(lián)合行業(yè)用戶、科研機構、學術專家共同加速科研創(chuàng)新，推動科技進步。
現(xiàn)場公布的數(shù)據(jù)顯示，思MindSpore自2020年開源以來，目前已孵化、支持50多個國內外主流大模型；開源版本已累計獲得1100萬次下載，覆蓋全球130多個國家和地區(qū)的2400多個城市；3.7萬多名開發(fā)者參與社區(qū)貢獻。
此外，思與360多所高校科研院所展開教學及科研合作，聯(lián)合1700多位生態(tài)伙伴，打造超過2000+解決方案；PaperwithCode網(wǎng)站顯示，支持基于思原創(chuàng)論文發(fā)表累計超過1700篇，位列全球第二、中國第一。據(jù)預測，中國AI框架2024年新增市場思份額將達30%。
