展會信息港展會大全

剛剛,我們感受了一波最「像人」的國產(chǎn)AI,模型還是開源的
來源:互聯(lián)網(wǎng)   發(fā)布日期:2024-10-25 20:53:57   瀏覽:2119次  

導(dǎo)讀:劃重點 01智譜清言宣布全量上線「情感語音通話」功能,免費開放,無需等待。 02該功能背后的情感語音模型GLM-4-Voice同步正式開源,相關(guān)能力將上線視頻通話。 03智譜清言情感語音通話功能在響應(yīng)和打斷速度、情緒感知情感共鳴、語音可控表達等方面實現(xiàn)了突破...

劃重點

01智譜清言宣布全量上線「情感語音通話」功能,免費開放,無需等待。

02該功能背后的情感語音模型GLM-4-Voice同步正式開源,相關(guān)能力將上線視頻通話。

03智譜清言情感語音通話功能在響應(yīng)和打斷速度、情緒感知情感共鳴、語音可控表達等方面實現(xiàn)了突破。

04除此之外,智譜還推出了AutoGLM,讓AI像人類一樣操作電腦和手機。

05智譜AI技術(shù)路線圖包括單一模態(tài)的端到端大模型、多模態(tài)混合訓(xùn)練的統(tǒng)一多模態(tài)模型等階段。

以上內(nèi)容由騰訊混元大模型生成,僅供參考

機器之心原創(chuàng)

作者:杜偉、蛋醬

今年 5 月,OpenAI 首次展示了 GPT-4o 的語音功能,無論是對話的響應(yīng)速度還是與真人聲音的相似度,都頗為驚艷。特別是它允許用戶隨時打斷,充分感知到用戶的情緒并給予回應(yīng)。

大家突然發(fā)現(xiàn),原來 AI 語音通話還能這么玩?

但由于種種原因,用戶們等了好久才等到 OpenAI 開放 ChatGPT 的高級語音功能,目前僅 Plus 和 Team 用戶可體驗,且這些用戶每天也有使用時長限制。

不過現(xiàn)在,國內(nèi)用戶也有了同樣絲滑的實時語音交互應(yīng)用,重點是:免費開放,無需等待。

10 月 25 日,智譜清言宣布全量上線「情感語音通話」功能,任何用戶都可以立即獲得端到端情感語音體驗。

對標 GPT-4o,智譜清言「情感語音通話」在響應(yīng)和打斷速度、情緒感知情感共鳴、語音可控表達、多語言多方言等方面實現(xiàn)了突破。簡單來說,「情感語音通話」提供了一個真人一般的對話伙伴,而不僅僅是一個文字的朗讀者。

以下視頻來源于 智譜清言

精通各種方言,比如這段北京烤鴨的介紹,那叫一個地道:

剛剛,我們感受了一波最「像人」的國產(chǎn)AI,模型還是開源的

試聽鏈接:https://mp.weixin.qq.com/s/Bi7cPZXCmsjSaJu6EglhJA

與此同時,智譜還重磅宣布,該功能背后的情感語音模型 GLM-4-Voice 同步正式開源。不久后,相關(guān)能力還將上線視頻通話,為所有用戶提供一個既能「看」又能「說」的 AI 語音助理。

開源地址:https://github.com/THUDM/GLM-4-Voice

自大模型浪潮興起的兩年來,AI 技術(shù)的發(fā)展日新月異,有時甚至超過我們的想象,讓大家直呼科幻時代提前到來。

當然,這背后所代表的技術(shù)趨勢也不斷變化。比如在人類的想象中,「Any-to-Any」才是真正屬于未來的人與 AI 交互方式。具體來說,AI 能做到接收文本、音頻和圖像的任意組合作為輸入,并實時生成文本、音頻和圖像的任意組合輸出。

如今,智譜清言的「情感語音通話」又一次推動了國產(chǎn) AI 對標國際先進水平。

情感語音模型 GLM-4-Voice

上線即開源

自從去年的 GPT-4 發(fā)布之后,領(lǐng)域內(nèi)就一直在傳 GPT-5 的各種消息。但我們后來都知道,OpenAI 并未通過簡單粗暴地增加模型參數(shù)來拓展智能上限,而是選擇了兩條路線分別開拓:一條是 GPT-4o 所代表的端到端多模態(tài)大模型的探索,一條是 o1 所代表的關(guān)于推理 Scaling Law 的探索。

具體到 GPT-4o 上,OpenAI 跨文本、視覺和音頻端到端地訓(xùn)練了一個新模型,所有輸入和輸出都由同一神經(jīng)網(wǎng)絡(luò)處理。行業(yè)內(nèi)認為,這是一種可以將音頻直接映射到音頻作為一級模態(tài)的技術(shù)方法,涉及 Token 化和架構(gòu)等方面的研究,總體來說是一個數(shù)據(jù)和系統(tǒng)優(yōu)化問題。

在這方面,智譜也已經(jīng)有了一定的技術(shù)積累。智譜清言情感語音通話功能背后的 GLM-4-Voice,同樣是一個端到端的語音模型。

與傳統(tǒng)的 ASR + LLM + TTS 的級聯(lián)方案相比,GLM-4-Voice 以離散 Token 的方式表示音頻,實現(xiàn)了音頻的輸入和輸出的端到端建模,在一個模型里面同時完成語音的理解和生成,避免了傳統(tǒng)的「語音轉(zhuǎn)文字再轉(zhuǎn)語音」級聯(lián)方案過程中帶來的信息損失和誤差積累,且擁有理論上更高的建模上限。

具體來說,智譜基于語音識別(ASR)模型以有監(jiān)督方式訓(xùn)練了音頻 Tokenizer,能夠在 12.5Hz(12.5 個音頻 token)單碼表的超低碼率下準確保留語義信息,并包含語速,情感等副語言信息。語音合成方面,智譜采用 Flow Matching 模型流式從音頻 Token 合成音頻,最低只需要 10 個 Token 合成語音,最大限度降低對話延遲。

預(yù)訓(xùn)練方面,為了攻克模型在語音模態(tài)下的智商和合成表現(xiàn)力兩個難關(guān),智譜將 Speech2Speech 任務(wù)解耦合為 Speech2Text(根據(jù)用戶音頻做出文本回復(fù)) 和 Text2Speech(根據(jù)文本回復(fù)和用戶語音合成回復(fù)語音)兩個任務(wù),并設(shè)計兩種預(yù)訓(xùn)練目標,分別基于文本預(yù)訓(xùn)練數(shù)據(jù)和無監(jiān)督音頻數(shù)據(jù)合成數(shù)據(jù)以適配這兩種任務(wù)形式:

Speech2Text:從文本數(shù)據(jù)中,隨機選取文本句子轉(zhuǎn)換為音頻 Token

Text2Speech:從音頻數(shù)據(jù)中,隨機選取音頻句子加入文本 Transcription

剛剛,我們感受了一波最「像人」的國產(chǎn)AI,模型還是開源的

GLM-4-Voice 預(yù)訓(xùn)練數(shù)據(jù)構(gòu)造。

與傳統(tǒng)的 TTS 技術(shù)相比 (Text-to-Speech),GLM-4-Voice 能夠理解情感,有情緒表達、情感共鳴,可自助調(diào)節(jié)語速,支持多語言和方言,并且延時更低、可隨時打斷。

能夠在情感的把握上做到如此精準,是因為 GLM-4-Voice 在 GLM-4-9B 的基座模型基礎(chǔ)之上,經(jīng)過了數(shù)百萬小時音頻和數(shù)千億 token 的音頻文本交錯數(shù)據(jù)預(yù)訓(xùn)練,擁有很強的音頻理解和建模能力。為了支持高質(zhì)量的語音對話,智譜設(shè)計了一套流式思考架構(gòu):輸入用戶語音,GLM-4-Voice 可以流式交替輸出文本和語音兩個模態(tài)的內(nèi)容,其中語音模態(tài)以文本作為參照保證回復(fù)內(nèi)容的高質(zhì)量,并根據(jù)用戶的語音指令變化做出相應(yīng)的聲音變化,在保證智商的情況下仍然具有端到端建模 Speech2Speech 的能力,同時保證低延遲性(最低只需要輸出 20 個 Token 便可以合成語音)。

剛剛,我們感受了一波最「像人」的國產(chǎn)AI,模型還是開源的

GLM-4-Voice 模型架構(gòu)圖。

伴隨著 GLM-4-Voice 的推出,智譜在通往 AGI 的道路上又邁出了最新一步。

一句指令自動操作電腦、手機

AutoGLM 同步上線

在情感語音通話全面開放的同時,智譜也宣布了另一項前沿成果:AutoGLM。

讓 AI 像人類一樣操作電腦和手機,是近期領(lǐng)域內(nèi)的熱點話題。以往這是一項頗具挑戰(zhàn)性的任務(wù),因為在此類場景下,AI 需要根據(jù)用戶的要求拆解指令背后蘊含的步驟,感知環(huán)境、規(guī)劃任務(wù)、執(zhí)行動作,逐步完成任務(wù)。某種程度上說,這突破了大模型的常規(guī)能力邊界,更加注重其「工具」屬性。

很多大模型公司都在探索這一方向,錨定其為「下一個 AI 前沿」;诖笳Z言模型(GLM 系列模型)、多模態(tài)模型和工具使用(CogAgent 模型)等方面的探索,智譜已經(jīng)在由自主智能體(Agent)驅(qū)動的人機交互新范式方面取得了一些階段性成果。

在智譜最新發(fā)布的 AutoGLM App 中,用戶可以憑借一句指令讓 AI 自動完成許多任務(wù),比如閱讀網(wǎng)頁信息、電商產(chǎn)品購買、點外賣、訂酒店、評論和點贊微信朋友圈等。目前,AutoGLM 已開啟內(nèi)測(暫時僅支持 Android 系統(tǒng))。

在 AutoGLM App 發(fā)布之前,AutoGLM-Web 已經(jīng)通過「智譜清言」插件對外開放使用。這是一個能模擬用戶訪問網(wǎng)頁、點擊網(wǎng)頁的瀏覽器助手,可以根據(jù)用戶指令在私域網(wǎng)站上完成高級檢索并總結(jié)信息、模擬用戶看網(wǎng)頁的過程進行批量、快速的瀏覽并總結(jié)多個網(wǎng)頁,結(jié)合歷史郵件信息回復(fù)郵件。

在 Phone Use 和 Web Browser Use 上,AutoGLM 都取得了大幅的性能提升。在 AndroidLab 評測基準上,AutoGLM 就顯著超越了 GPT-4o 和 Claude-3.5-Sonnet 的表現(xiàn)。在 WebArena-Lite 評測基準中,AutoGLM 更是相對 GPT-4o 取得了約 200% 的性能提升,大大縮小了人類和大模型智能體在 GUI 操控上的成功率差距。

剛剛,我們感受了一波最「像人」的國產(chǎn)AI,模型還是開源的

我們知道,當代人工作和生活中的大部分事項都需要通過計算機和手機完成,一旦讓 AI 學(xué)會像人類一樣直接與計算機和手機端的軟件交互,就能拓展出大量當前一代 AI 助手無法實現(xiàn)的應(yīng)用。

面向 AGI,智譜這樣規(guī)劃技術(shù)路線圖

剛剛,我們感受了一波最「像人」的國產(chǎn)AI,模型還是開源的

從文本的一種模態(tài),到包括圖像、視頻、情感語音模型在內(nèi)的多模態(tài),然后讓AI學(xué)會使用各種工具。基于GLM-4-Plus,智譜過去幾年在多模態(tài)領(lǐng)域探索取得了一些階段性成果:CogView 能讓文字化作一幅幅畫作,CogVideo / 清影(Ying)讓文圖生成一幀幀視頻,GLM-4V-Plus 帶來了通用的視頻理解能力。GLM-4-Voice的出現(xiàn)讓 GLM 多模態(tài)模型家族更加完整,為朝著原生多模態(tài)模型又邁出了一步。

雖然在產(chǎn)品矩陣上全面對標 OpenAI,但可以看出,在追求 AGI 終極目標的過程中,智譜 AI 慢慢展現(xiàn)出了一些不同于 OpenAI 的思考,比如對 AI 分級的思考,這也影響了這家科技公司所走的技術(shù)路線。

如果將 AI 的能力從低到高劃分為 Level 1-Level 5,則從當前各家 AI 大模型來看,Level 1 語言和多模態(tài)能力、Level 2 邏輯與思維能力和 Level 3 工具使用能力成為了主流認知。因此,包括智譜在內(nèi)的大模型廠商都在實現(xiàn)這些能力的路上一路狂奔。

智譜此次揭露了其面向 AGI 的路線圖。除了單一模態(tài)的端到端大模型之外,智譜未來希望打造各種模態(tài)混合訓(xùn)練的統(tǒng)一多模態(tài)模型,不僅認知能力要比肩人類,還要與人類價值觀保持一致,做到能力出眾的同時要安全可控。

剛剛,我們感受了一波最「像人」的國產(chǎn)AI,模型還是開源的

在 Level 3 階段,智譜拿出了最新武器 AutoGLM,具備了更強大的全棧式工具使用能力,并越來越像人一樣通過感知環(huán)境、規(guī)劃任務(wù)、執(zhí)行任務(wù)并最終完成特定任務(wù)。同時伴隨著人機交互范式的轉(zhuǎn)變,智譜也離其未來打造以大模型為中心的通用計算系統(tǒng) GLM-OS 的目標更近了一步。

可以說,截止目前, 前三階段的競爭大家都走得差不多,差別就在于更高階段的 Level 4 和 Level 5,OpenAI 探索的是 AI 自己能夠發(fā)明創(chuàng)新并最終融入組織或自成組織。在這兩個決定未來 AI 能力走向的關(guān)鍵階段,如今的智譜有了更全面的定義和解讀。

在智譜的愿景中,未來 AI 在 Level 4 不僅要具備發(fā)明創(chuàng)造能力,還要全方位地追求「內(nèi)使,具備自我學(xué)習、自我反思和自我改進能力;到了最終的 Level 5,也就是實現(xiàn) AGI,AI 的能力將首次全面超越人類,并開始向探究科學(xué)規(guī)律、世界起源等終極問題發(fā)起挑戰(zhàn)。

與此同時,如果將 AI 與人腦做一個類比,AI 在多大程度上能夠達到人腦水平呢?智譜認為,從目前大模型具備的文本、視覺、聲音以及邏輯和工具使用能力來看,在未來相當長一段時間內(nèi)將處于 42%這個階段。因此,想要達到最終的 AGI,持續(xù)深拓已有能力并解鎖未知能力是關(guān)鍵。

剛剛,我們感受了一波最「像人」的國產(chǎn)AI,模型還是開源的

AI 技術(shù)發(fā)展到今天,已經(jīng)為我們展開了一幅美好畫卷。在未來,由人類創(chuàng)造的強大 AI 將真正使大眾受益,而智譜也是推動這一里程碑的重要參與者。

體驗 GLM-4-Voice 和 AutoGLM 加持的最新版智譜清言:

https://chatglm.cn/main/alltoolsdetail?image=https://sfile.chatglm.cn/chatglm-operation/image/92/9289b3ba.png?image_process=format,webp&open_from=ads_news_audio_jqzx&from=ads_news_audio_jqzx&lang=zh

贊助本站

相關(guān)內(nèi)容
AiLab云推薦
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動態(tài) | 免責聲明 | 隱私條款 | 工作機會 | 展會港