“下一個(gè)發(fā)展趨勢應(yīng)該是NLP對(duì)話�！�2016年吳悅從騰訊離開時(shí)如是說，而這也成為了他離職后創(chuàng)業(yè)的首選方向。
2006年，從中科大碩士畢業(yè)后的吳悅便加入了騰訊。2006年到2011年，在騰訊主要做存儲(chǔ)系統(tǒng)研發(fā)方面，2011年到2016年專攻搜索技術(shù)。
對(duì)于為何一開始聚焦在NLP領(lǐng)域進(jìn)行創(chuàng)業(yè)。追一科技創(chuàng)始人兼CEO吳悅解釋道：“在騰訊既做過基礎(chǔ)架構(gòu)，又做過搜索推薦，當(dāng)時(shí)我們就覺得NLP技術(shù)的商業(yè)價(jià)值非常大。搜索方面，孵化出了Google、百度等大公司，其實(shí)這些公司都屬于 NLP 時(shí)代比較典型的搜索應(yīng)用。推薦方面，孵化出了頭條等，在這個(gè)基礎(chǔ)上，我們判定下一個(gè)方向應(yīng)該是NLP對(duì)話�！�
就這樣，創(chuàng)辦追一科技之后，吳悅便主攻NLP和深度學(xué)習(xí)方向，并相繼推出對(duì)話與分析AI應(yīng)用平臺(tái)及AIForce數(shù)字員工產(chǎn)品族。其中，AIForce數(shù)字員工產(chǎn)品族就是處理營銷、服務(wù)、運(yùn)營等場景任務(wù)的智能機(jī)器人，也是追一的主要產(chǎn)品矩陣，其包括智能在線機(jī)器人Bot、智能語音機(jī)器人Call、智能助理機(jī)器人Pal、多模態(tài)數(shù)字人Face等。
在當(dāng)時(shí)來看，這一系列產(chǎn)品的研發(fā)并非一件易事。所以自成立之初，追一就特別注重新技術(shù)的應(yīng)用，對(duì)此，吳悅也特別強(qiáng)調(diào)道，2017年 Transformer 架構(gòu)，以及2018年提出的Bert架構(gòu)，我們都做了相關(guān)研究。比如圍繞 Transformer 提出了 RoPE旋轉(zhuǎn)位置編碼技術(shù)。被Google、Meta、阿里、百川智能等國內(nèi)外大模型廠商廣泛采用。
當(dāng)談到2022年底爆火的生成式大模型時(shí)，吳悅深刻地感知到了原有的技術(shù)架構(gòu)已不能順應(yīng)市場的變化，以及客戶的需求，所以在今年年初，追一科技便嘗試在大模型技術(shù)的基礎(chǔ)上做研究，推出了博文領(lǐng)域大模型，并基于大模型的能力，對(duì)現(xiàn)有的軟件產(chǎn)品進(jìn)行重塑。
在大模型熱潮中，追一沒有選擇通用大模型賽道，而是選擇了領(lǐng)域大模型。究其原因，吳悅告訴AI科技評(píng)論，大模型的演進(jìn)方向主要有兩個(gè)分支：
一是沿著通用大模型的方向發(fā)展，需要不斷打開大模型能力的天花板。比如 OpenAI 或者國內(nèi)的一些大模型廠商是沿著這個(gè)方向發(fā)展的。
另一個(gè)分支是，圍繞企業(yè)具體的業(yè)務(wù)場景的需求，定制化一個(gè)企業(yè)大模型。追一科技在今年年初推出的博文領(lǐng)域大模型屬于第二個(gè)分支，就是面向企業(yè)的具體業(yè)務(wù)，比如營銷、客服等場景，為企業(yè)定制一個(gè)專有大模型。
但是從目前來看，無論是通用模型還是領(lǐng)域模型，其挑戰(zhàn)都非常大。通用大模型的難度主要是規(guī)�；碾y度，包括參數(shù)量上規(guī)模、數(shù)據(jù)上規(guī)模和算力上規(guī)模帶來的難度。而領(lǐng)域模型考驗(yàn)的則是直擊客戶業(yè)務(wù)痛點(diǎn)以及洞察客戶需求的能力，但是由于業(yè)務(wù)整個(gè)鏈條比較長，所以這是一個(gè)非常大的挑戰(zhàn)。
對(duì)此，吳悅表示認(rèn)同，同時(shí)他也表示，大模型競賽比拼的是綜合實(shí)力，從客戶的角度出發(fā)，他們?cè)陉P(guān)注技術(shù)變化的同時(shí)，也會(huì)關(guān)注安全合規(guī)、成本等因素。而企業(yè)想要在這場科技革命中殺出重圍，則需要具備核心技術(shù)能力，產(chǎn)品化的能力，專業(yè)服務(wù)的能力，各種業(yè)務(wù)咨詢的能力。
“從技術(shù)角度看，大模型確實(shí)是一個(gè)比較重要的變量，但它不是唯一的變量�！眳菒傃a(bǔ)充道。
以下是AI科技評(píng)論和吳悅的對(duì)話：
混沌之時(shí)，GPT掀起AI新范式
AI科技評(píng)論：為什么選擇從騰訊出來，自己創(chuàng)業(yè)？
吳悅：2006年，從中科大碩士畢業(yè)后就進(jìn)入了騰訊。2006年到2011年，在騰訊主要做存儲(chǔ)系統(tǒng)研發(fā)方面，2011年到2016年專攻搜索技術(shù)。
2016年選擇出來創(chuàng)業(yè)，主要因?yàn)榧茸鲞^基礎(chǔ)架構(gòu)，又做過搜索推薦等，當(dāng)時(shí)我們就覺得NLP技術(shù)的商業(yè)價(jià)值非常大。搜索的話孵化出了Google、百度這樣的大公司，其實(shí)這些公司都屬于 NLP 時(shí)代比較典型的搜索應(yīng)用。推薦的話，孵化出了頭條等，在這個(gè)基礎(chǔ)上，我們就判定下一個(gè)方向應(yīng)該是對(duì)話，所以2016年出來創(chuàng)業(yè)時(shí)就做了對(duì)話機(jī)器人，主攻NLP方向。
AI科技評(píng)論：從NLP到深度學(xué)習(xí)再到大模型，您怎么看待三者的關(guān)系？
吳悅：有些概念需要重新厘定一下，NLP 屬于自然語言處理，它是人工智能三大方向之一，也是最難的方向。深度學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)，屬于人工智能的一個(gè)方法論。人工智能最早解決的是視覺、語音和 NLP 的問題。
大模型是沿著神經(jīng)網(wǎng)絡(luò)這個(gè)方向不斷發(fā)展的，2012年2013年是深度學(xué)習(xí)的一個(gè)突破，2016 年 AlphaGo 出來，是強(qiáng)化學(xué)習(xí)的突破，2022 年底到2023 年，包括 ChatGPT 其實(shí)屬于生成式大模型的突破，這些其實(shí)都屬于神經(jīng)網(wǎng)絡(luò)的一個(gè)技術(shù)分支的不斷發(fā)展的過程。
AI科技評(píng)論：在不同的技術(shù)節(jié)點(diǎn)，追一都做了什么？
吳悅：從公司成立到今天，有三個(gè)比較重要的時(shí)間節(jié)點(diǎn)。
第一個(gè)時(shí)間節(jié)點(diǎn)：2016 年創(chuàng)業(yè)時(shí)，我們把深度學(xué)習(xí)技術(shù)應(yīng)用到對(duì)話機(jī)器人。因?yàn)橹暗膶?duì)話機(jī)器人大多是通過搜索或者一些規(guī)則的方式實(shí)現(xiàn)。當(dāng)時(shí)我們就是先于其他公司，率先把深度學(xué)習(xí)技術(shù)應(yīng)用到對(duì)話機(jī)器人中。這是第一個(gè)里程碑。
第二個(gè)時(shí)間節(jié)點(diǎn)：2017年提出的transformer架構(gòu)，2018年提出的Bert架構(gòu)，這些都屬于大模型技術(shù)爆發(fā)前夜的階段，當(dāng)時(shí)我們就圍繞transformer、Bert的架構(gòu)，做了相關(guān)研究。比如圍繞transformer 提出了 RoPE旋轉(zhuǎn)位置編碼技術(shù)。當(dāng)時(shí)被Google、Meta、阿里、百川智能等國內(nèi)外大模型廠商廣泛采用。這是我們?cè)瓌?chuàng)式的創(chuàng)新，也是作為一家AI創(chuàng)業(yè)公司為生成式大模型做得一個(gè)小貢獻(xiàn)。當(dāng)然在這個(gè)階段，圍繞Bert我們也研發(fā)出了ZOne大模型。
第三個(gè)時(shí)間節(jié)點(diǎn)：2022年年底GPT爆發(fā)后，我們推出了博文領(lǐng)域大模型，專注服務(wù)和營銷領(lǐng)域。我們圍繞四個(gè)理念打造博文領(lǐng)域大模型：貼合業(yè)務(wù)、合規(guī)可控、更具溫度、普惠實(shí)用。
AI科技評(píng)論：ZOne模型和現(xiàn)在的模型概念有什么不同？
吳悅：ZOne主要是基于Bert路徑，其屬于表征式大模型的分支。其實(shí)大模型本質(zhì)上是模型參數(shù)很大，基本上都是 10 億起步，沿著這個(gè)方向衍生出了兩個(gè)方向，一個(gè)是表征式大模型，典型的就是Bert。另一個(gè)就是生成式大模型，典型的就是Open AI的GPT路徑。
AI科技評(píng)論：從早期的技術(shù)，到現(xiàn)在的GPT，中間在技術(shù)的選擇上有什么挑戰(zhàn)嗎？
吳悅：2018年，這個(gè)時(shí)間節(jié)點(diǎn)其實(shí)是有點(diǎn)混沌的，當(dāng)時(shí)就面臨著到底是沿著表征式的方向走，還是生成式的方向走？其實(shí)都是不明確的，當(dāng)時(shí)大家也都在探索階段。直到2022年年底，2023年年初ChatGPT出來之后，大家感知到可能生成式更具有發(fā)展?jié)摿�，所以這個(gè)階段大家都選擇全面擁抱生成式大模型。當(dāng)然表征式大模型在真正商業(yè)化落地過程中還是非常有作用的，所以這個(gè)方向我們也在延續(xù)做。
開源&閉源之爭，開放式服務(wù)越來越多
AI科技評(píng)論：追一很早就開始做大模型研究了，當(dāng)時(shí)主要是怎么考慮的？
吳悅：我們?cè)诖_定做之前，背后是有一個(gè)邏輯支撐的。大模型出現(xiàn)后，它的應(yīng)用方向或者它的發(fā)展方向，是有兩個(gè)分支的。一是沿著通用大模型的方向發(fā)展，面向的是一些通用型的需求，比如終端用戶的需求，這個(gè)過程需要不斷打開大模型能力的天花板。典型的比如 OpenAI 或者國內(nèi)的一些大模型廠商是沿著這個(gè)方向發(fā)展的。
另一個(gè)分支是，我們認(rèn)為是圍繞企業(yè)的需求，或者圍繞著企業(yè)業(yè)務(wù)的具體場景的需求，定制化一個(gè)企業(yè)大模型。所以我們?cè)诮衲昴瓿跬瞥龅牟┪念I(lǐng)域大模型屬于第二個(gè)分支，也就是我們選擇面向企業(yè)的具體業(yè)務(wù)，比如客服、營銷等場景，為企業(yè)定制一個(gè)垂直領(lǐng)域大模型。
AI科技評(píng)論：所以可以理解為追一走的領(lǐng)域模型的路徑，自研還是基于開源做微調(diào)？
吳悅：博文領(lǐng)域大模型的研發(fā)也是階段性的。我們現(xiàn)在的方向是兩條路并行走，因?yàn)槲覀兊某霭l(fā)點(diǎn)是構(gòu)建一個(gè)一體化的可落地的大模型。
從落地的角度來看，有兩個(gè)選擇，一是圍繞著開源模型，在上面做知識(shí)注入，能力增強(qiáng)等。另外一個(gè)邏輯就是從底層向上構(gòu)建一個(gè)一體化的大模型。
從當(dāng)前階段來看，第一個(gè)階段落地會(huì)更快一些，第二個(gè)階段要慢一些，因?yàn)橥耆匝�，�?huì)涉及到投入，風(fēng)險(xiǎn)等問題，所以我們還是比較謹(jǐn)慎地看待這件事兒。（更多關(guān)于大模型行業(yè)的相關(guān)話題，歡迎添加微信 ericahss1224，互相交流，互通有無）
AI科技評(píng)論：在選擇開源模型時(shí)，是并行都在用還是選一家?
吳悅：我們是并行都在用，重點(diǎn)在于知識(shí)注入層面，能力強(qiáng)化層面，需要做比較多專業(yè)性的工作。這樣才能夠把大模型的能力充分挖掘出來。
AI科技評(píng)論：您認(rèn)為開源會(huì)不會(huì)成為主流模式？或者大部分企業(yè)其實(shí)更期待更多開源大模型的出現(xiàn)？
吳悅：我覺得沿著企業(yè)級(jí)方向，可能會(huì)越來越開放，沿著通用人工方向，可能還是會(huì)堅(jiān)持閉源。
現(xiàn)在大家都在說開源模型，我覺得下一步的方向不僅僅是開源模型越來越多，可能會(huì)有更多開放式的服務(wù)出現(xiàn)，比如數(shù)據(jù)開源、算法開源、甚至很多基層框架都是可以開源的。
AI科技評(píng)論：通過半年多的實(shí)踐，您認(rèn)為做大模型的難點(diǎn)是什么？
吳悅：從客戶的角度出發(fā)，以我們自身為例，我們服務(wù)的是中大型客戶，這類企業(yè)往往會(huì)有兩方面的考量：一是技術(shù)層面，二是業(yè)務(wù)層面。
從技術(shù)層面來看，中大型企業(yè)對(duì)大模型技術(shù)和產(chǎn)品的要求往往是非常嚴(yán)格的。比如安全方面，他們希望整體的數(shù)據(jù)是安全的，整體的對(duì)外提供的服務(wù)是合規(guī)的，另外還要保證大模型的輸入輸出是完全可控的。
從業(yè)務(wù)層面來看，真正要把大模型技術(shù)在客戶的業(yè)務(wù)場景中做落地的話，其實(shí)是需要構(gòu)建一個(gè)閉環(huán)的，他們要求的不僅是技術(shù)的能力，還包括如何把技術(shù)產(chǎn)品化，產(chǎn)品化完之后還需要做實(shí)施交付，這也會(huì)涉及到后續(xù)持續(xù)維護(hù)等專業(yè)服務(wù)，最重要的是，還要足夠了解業(yè)務(wù)的需求，以及需求的洞察能力，這些能力其實(shí)都是非常重要的。（更多關(guān)于大模型行業(yè)的相關(guān)話題，歡迎添加微信 ericahss1224，互相交流，互通有無）
大模型落地，場景、成本及效果，缺一不可
AI科技評(píng)論：基于大模型的能力，追一的產(chǎn)品已經(jīng)實(shí)現(xiàn)重塑了嗎？
吳悅：正在逐步完成重塑中，要想全面落地到客戶業(yè)務(wù)場景中去使用，明年年初能實(shí)現(xiàn)。我們現(xiàn)有的6款機(jī)器人產(chǎn)品已經(jīng)是非常成熟的商業(yè)化產(chǎn)品，從2016年到現(xiàn)在已經(jīng)服務(wù)了幾百家頭部客戶，現(xiàn)在我們?cè)趪L試把大模型的能力融入到這6款產(chǎn)品中，貼合客戶業(yè)務(wù)去做產(chǎn)品重塑，或者通過洞察客戶業(yè)務(wù)的方式，通過大模型解決過去的產(chǎn)品沒有解決的問題。
AI科技評(píng)論：從今年年初就開始做，為什么明年才能全面落地？
吳悅：要給客戶做逐步推進(jìn)，因?yàn)榘汛竽Ｐ偷哪芰舆M(jìn)來，大模型本身是有幻覺、黑盒或者一些其他不可控的表現(xiàn)，那就需要我們通過訓(xùn)練，自己做一個(gè)領(lǐng)域的強(qiáng)模型，幫客戶避免這樣的問題。
對(duì)于客戶來說，過去的產(chǎn)品已經(jīng)和他們的業(yè)務(wù)系統(tǒng)，做了比較深的綁定，一個(gè)大客戶，每天的訪問量能達(dá)到幾百萬甚至上千萬，在大模型這個(gè)大的技術(shù)變革面前，他們是非常謹(jǐn)慎的。對(duì)于他們來說，業(yè)務(wù)的穩(wěn)定是第一位的。所以還需要一個(gè)逐步灰度引入或者遷移的過程。
對(duì)于我們來說，首先我們要把頂層設(shè)計(jì)考慮清楚。就是到底應(yīng)該怎么植入大模型，短、中、長期的規(guī)劃是什么樣的？時(shí)間計(jì)劃是什么樣的？規(guī)劃性的工作其實(shí)我們已經(jīng)做了大半年，基本做完了，接下來就是落地到客戶業(yè)務(wù)場景中開展使用的工作。
AI科技評(píng)論：雖然落地難，但說服客戶的成本是不是比以前低了？畢竟大家都知道大模型是能解決一些問題的。
吳悅：在這個(gè)過程中，我們說服客戶是要分幾個(gè)階段的。第一個(gè)階段，是讓感興趣的人愿意跟你聊這個(gè)話題。ChatGPT爆火，經(jīng)過一些科普，我覺得只要是有大模型想法的客戶，他就愿意跟你聊。所以第一階段算是破冰了。
但是跟客戶進(jìn)一步聊的時(shí)候，他會(huì)問你的這套產(chǎn)品到底能給我?guī)硎裁�？結(jié)合我的業(yè)務(wù)，到底能夠幫我解決什么問題？和我現(xiàn)有的 AI 系統(tǒng)相比，到底能夠帶來多大收益？需要增加多少成本？這個(gè)問題我覺得是比較核心和關(guān)鍵的，所以這也是我們剛剛講的點(diǎn)，就我們要去做調(diào)研，要做技術(shù)邊界的定義，要做合理的計(jì)劃，現(xiàn)在大多是在這個(gè)階段。
AI科技評(píng)論：您怎么理解重塑？重塑是不是意味著要替換掉原來的底層架構(gòu)？
吳悅：大模型是一項(xiàng)新技術(shù)，確實(shí)能夠解決一些之前的技術(shù)所不能解決的問題。比如一句話多意圖的問題，但是我們要進(jìn)行大模型落地的話，其實(shí)也會(huì)引入一些新的問題，比如幻覺問題，可控生成問題，成本問題等，這些都是我們需要重點(diǎn)考慮的。好比電動(dòng)車的技術(shù)雖然好，但大家都還會(huì)有里程的焦慮。
對(duì)于生成式大模型來說，我們覺得有兩個(gè)焦慮，一是幻覺的焦慮，二是算力（成本）的焦慮。在這個(gè)技術(shù)體系里面，其實(shí)我們需要根據(jù)對(duì)客戶需求的理解，以及對(duì)整個(gè)技術(shù)的設(shè)計(jì)選擇合適的路徑，看哪些問題適合用傳統(tǒng)系統(tǒng)解決。哪一些適合用生成式大模型解決。
我們針對(duì)客戶普遍關(guān)注的大模型的成本問題，提出了“增程”技術(shù)理念，具體來說，就是通過大小模型協(xié)同，共同支持客戶需求，通過一個(gè)“增程器”組件，根據(jù)用戶或者實(shí)際處理任務(wù)的不同，來做動(dòng)態(tài)配置和組合，讓大模型出現(xiàn)在最應(yīng)該出現(xiàn)的地方，提升模型效果的同時(shí)，實(shí)現(xiàn)了性價(jià)比最大化。
AI科技評(píng)論：那對(duì)于客戶關(guān)心的問題，怎么解決？畢竟還是逃不掉快速落地的問題？
吳悅：第一，比較重要的是要解決本地化部署的問題，所以博文領(lǐng)域大模型是要做本地化部署的，類似公有云和私有云的區(qū)別。
第二，解決成本的問題，因?yàn)槲覀冮_發(fā)的產(chǎn)品，在一些中大型企業(yè)中已經(jīng)有了比較廣泛和深入的應(yīng)用。就像前面所說，如果全面換成大模型的訪問，規(guī)模可能會(huì)從之前的上百萬到上千萬，成本是非常高的。
第三，到底能給客戶帶來多大的收益？這就需要對(duì)企業(yè)的業(yè)務(wù)有比較深入的洞察，能挖掘到業(yè)務(wù)的痛點(diǎn)，然后再提出一個(gè)既可以本地化部署，又成本可控的解決方案。這是我們發(fā)現(xiàn)或者所看到的一些點(diǎn)。
AI科技評(píng)論：在落地過程中，有沒有自己的一套方法論？
吳悅：首先，之前的產(chǎn)品其實(shí)是廣泛解決客戶的問題，但在落地過程中，我們也發(fā)現(xiàn)這些產(chǎn)品和技術(shù)是存在一些短板。這些問題是不是就可以通過大模型解決？這是我們做大模型落地的一個(gè)重要抓手，因?yàn)槲覀冎来竽Ｐ偷哪芰吔纭?/p>
然后，我們已經(jīng)有了這樣的產(chǎn)品落地，所以跟客戶，特別是頭部客戶形成了一個(gè)很好的聯(lián)動(dòng)。在這個(gè)過程中，結(jié)合追一對(duì)大模型的理解和認(rèn)知，加上和頭部客戶共同挖掘，哪些是之前我們沒做到過的，沒有提供過的服務(wù)，這時(shí)，我們會(huì)重點(diǎn)看能不能通過大模型能不能延展到一些新的場景，這是目前我們做大模型落地的方法。
跨越大模型發(fā)展平緩期，靠的是深入業(yè)務(wù)
AI科技評(píng)論：現(xiàn)在大模型進(jìn)入到平緩期，您怎么看？
吳悅：大模型現(xiàn)在有兩個(gè)發(fā)展方向，一是通用大模型，沿著通用的需求，沿著通用 AI 的方向發(fā)展；二是圍繞著具體的應(yīng)用場景出發(fā)，比如圍繞企業(yè)某個(gè)場景做AI應(yīng)用落地。目前，大模型技術(shù)確實(shí)已經(jīng)到了應(yīng)用階段。所以大家都在關(guān)注怎么把這個(gè)技術(shù)去做落地了。
AI科技評(píng)論：現(xiàn)在國內(nèi)做大模型的企業(yè)有三類：通用模型，領(lǐng)域模型，AI創(chuàng)新應(yīng)用，您認(rèn)為三者的難度分別體現(xiàn)在哪些方面？
吳悅：首先，三者難度是不一樣的。通用大模型是規(guī)�；系碾y度，包括參數(shù)量上規(guī)模、數(shù)據(jù)上規(guī)模和算力上規(guī)模帶來的難度。
應(yīng)用層，如果是簡單的AI創(chuàng)新應(yīng)用，那么應(yīng)用層相對(duì)獨(dú)立，基于通用大模型，也足以滿足。如果是復(fù)雜的AI創(chuàng)新應(yīng)用，例如追一在做的服務(wù)和營銷領(lǐng)域的軟件產(chǎn)品，那么領(lǐng)域模型和應(yīng)用層是很難分割的，他們之間是捆綁的迭代節(jié)奏，難度在于深入到客戶的具體業(yè)務(wù)，深入了解具體場景和需求點(diǎn)，反推出大模型的能力需求，大模型的能力項(xiàng)和應(yīng)用層產(chǎn)品功能一一對(duì)應(yīng)。大模型的迭代帶來產(chǎn)品的功能的不斷豐富。
AI科技評(píng)論：如何提高競爭力，保持優(yōu)勢？
吳悅：競爭是一個(gè)綜合方面的考量。從客戶的角度看，其實(shí)客戶關(guān)注的是技術(shù)如何落地，以及他們考慮的安全、合規(guī)、可控等等，當(dāng)然也包括成本因素，有些客戶可能也會(huì)關(guān)注，你能不能做好產(chǎn)品化的落地，提供相應(yīng)的專業(yè)服務(wù)，然后和他們做業(yè)務(wù)的共創(chuàng)，所以客戶是全面的考量。
從企業(yè)的角度看，我們認(rèn)為做好一個(gè)企業(yè)，需要具備核心技術(shù)能力，產(chǎn)品化的能力，專業(yè)服務(wù)的能力，各種業(yè)務(wù)咨詢的能力。目前，從技術(shù)角度看，大模型確實(shí)是一個(gè)比較重要的變量，但它不是唯一的變量。
（本站(公眾號(hào)：本站)本站本站）
本站原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
