今天凌晨，阿里巴巴官宣了史上最大規(guī)模的開源發(fā)布，推出了基礎(chǔ)模型Qwen2.5、專用于編碼Qwen2.5-Coder和數(shù)學(xué)的Qwen2.5-Math。
這三大類模型一共有10多個版本，包括0.5B、1.5B、3B、7B、14B、32B和72B，適用于個人、企業(yè)以及移動端、PC等不同人群不同業(yè)務(wù)場景的模型。
如果不想進(jìn)行繁瑣的部署，阿里還開放了旗艦?zāi)Ｐ蚎wen-Plus 和 Qwen-Turbo的API，幫助你快速開發(fā)或集成生成式AI功能。
下面「AIGC開放社區(qū)」詳細(xì)為大家介紹這些模型的性能特點(diǎn)以及測試結(jié)果。
Qwen2.5系列性能測試
本次阿里開源的最大版本指令微調(diào)模型Qwen2.5-72B在MMLU-Pro、MMLU-redux、GPQA、MATH、GSM8K、HumanEval、MBPP等全球知名基準(zhǔn)測試平臺的測試結(jié)果顯示，
雖然Qwen2.5只有720億參數(shù)，但在多個基準(zhǔn)測試中擊敗了Meta擁有4050億參數(shù)的最新開源Llama-3.1指令微調(diào)模型；全面超過了Mistral最新開源的Large-V2指令微調(diào)模型，成為目前最強(qiáng)大參數(shù)的開源模型之一。
即便是沒有進(jìn)行指令微調(diào)的基礎(chǔ)模型，其性能同樣超過Llama-3-405B。
阿里開放API的旗艦?zāi)Ｐ蚎wen-Plus，其性能可以媲美閉源模型GPT4-o 和Claude-3.5-Sonnet。
此外，Qwen2.5系列首次引入了140 億和320億兩種新參數(shù)模型，Qwen2.5-14B 和 Qwen2.5-32B。
指令微調(diào)模型的性能則超過了谷歌的Gemma2-27B、微軟的Phi-3.5-MoE-Instruct，與閉源模型GPT-4o mini相比，只有三項(xiàng)測試略低其他基準(zhǔn)測試全部超過。
自阿里發(fā)布CodeQwen1.5 以來，吸引了大量用戶通過該模型完成各種編程任務(wù)，包括調(diào)試、回答編程相關(guān)的問題以及提供代碼建議。
本次發(fā)布的Qwen2.5-Coder-7B指令微調(diào)版本，在眾多測試基準(zhǔn)中，擊敗了那些知名且有較大參數(shù)的模型。
前不久阿里首次發(fā)布了數(shù)學(xué)模型Qwen2-Math，本次發(fā)布的Qwen2.5-Math 在更大規(guī)模的高質(zhì)量數(shù)學(xué)數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練，包括由 Qwen2-Math 生成的合成數(shù)據(jù)。同時增加了對中文的支持，并通過CoT、PoT和 TIR的能力來加強(qiáng)其推理能力。
其中，Qwen2.5-Math-72B的整體性能超越了Qwen2-Math-72B指令微調(diào)和著名閉源模型GPT4-o。
其實(shí)從上面這些測試數(shù)據(jù)不難看出，即便是參數(shù)很小的模型，在質(zhì)量數(shù)據(jù)和架構(gòu)的幫助下，同樣可以擊敗高參數(shù)模型，這在能耗和環(huán)境部署方面擁有相當(dāng)大的優(yōu)勢。而阿里本次發(fā)布的Qwen2.5系列將小參數(shù)模型的性能發(fā)揮到了極致。
Qwen2.5系列簡單介紹
Qwen2.5系列支持中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文等超過29種主流語言。與 Qwen2類似，Qwen2.5語言模型支持高達(dá) 128K tokens，并能生成最多 8K tokens的內(nèi)容。
與Qwen-2相比，Qwen2.5系列的預(yù)訓(xùn)練數(shù)據(jù)大幅度增長達(dá)到了驚人的18萬億tokens，超過了Meta最新開源Llama-3.1的15萬億，成為目前訓(xùn)練數(shù)據(jù)最多的開源模型。
知識能力顯著增強(qiáng)，Qwen2.5在 MMLU 基準(zhǔn)測試中，與 Qwen2-7/72B 相比從70.3提高到74.2，從84.2提高到86.1 。Qwen2.5 在 GPQA/MMLU-Pro/MMLU-redux/ARC-c 基準(zhǔn)測試上也有顯著改進(jìn)。
Qwen2.5能夠生成更符合人類偏好的響應(yīng)，與Qwen2-72B-Instruct相比，Qwen2.5-72B-Instruct的Arena-Hard分?jǐn)?shù)從48.1顯著提高到81.2 ，MT-Bench分?jǐn)?shù)從9.12提高到9.35 。
數(shù)學(xué)能力獲得增強(qiáng)，在融合了Qwen2-math的技術(shù)后，Qwen2.5的數(shù)學(xué)能力也得到了快速提升。在MATH基準(zhǔn)上，Qwen2.5-7B/72B-Instruct的得分從Qwen2-7B/72B-Instruct的52.9/69.0提高到75.5/83.1。
此外，Qwen2.5在指令跟蹤、生成長文本（從1k增加到超過8K標(biāo)記）、理解結(jié)構(gòu)化數(shù)據(jù)（例如表格）以及生成結(jié)構(gòu)化輸出（尤其是JSON）方面實(shí)現(xiàn)了顯著改進(jìn)。同時對系統(tǒng)提示的多樣性更具彈性，增強(qiáng)了聊天機(jī)器人的角色扮演實(shí)施和條件設(shè)置。
本文素材來源Qwen，如有侵權(quán)請聯(lián)系刪除
