《科創(chuàng)板日?qǐng)?bào)》11月17日訊（記者 黃心怡） 在月之暗面Kimi Chat上線一周年之際，Kimi發(fā)布了新一代數(shù)學(xué)推理模型k0-math模型，以及包含了k0-math強(qiáng)化模型的Kimi探索版，未來幾周將會(huì)分批陸續(xù)上線Kimi網(wǎng)頁版和Kimi智能助手APP。
“如果說長(zhǎng)文本是月之暗面登月的第一步，那么提升模型深度推理能力則是第二步�！痹轮得鎰�(chuàng)始人楊植麟在接受包括《科創(chuàng)板日?qǐng)?bào)》在內(nèi)的媒體采訪時(shí)表示。
除數(shù)學(xué)推理模型外，楊植麟透露，幾個(gè)多模態(tài)能力也在內(nèi)測(cè)中。
作為炙手可熱的AI獨(dú)角獸公司，近日楊植麟陷入一場(chǎng)仲裁糾紛，并面臨人才流失的質(zhì)疑。
對(duì)此楊植麟回應(yīng)稱，并沒有人才流失，而是主動(dòng)選擇做了業(yè)務(wù)的減法。
“先聚焦，然后全球化，需要更耐心一點(diǎn)。我們不希望把團(tuán)隊(duì)擴(kuò)那么大，這對(duì)創(chuàng)新的影響是有致命性的傷害。如果想把團(tuán)隊(duì)保持在一定的規(guī)模，那么最好的方式是業(yè)務(wù)上做一些減法�！�
據(jù)悉，kimi每月的活躍用戶規(guī)模已經(jīng)達(dá)到3600萬。談及用戶投流策略，楊植麟表示最關(guān)鍵的提升用戶留存，這是目前最核心的任務(wù)，對(duì)此沒有上限的限制。
“百模大戰(zhàn)”已經(jīng)經(jīng)歷了一年多時(shí)間，業(yè)界的焦點(diǎn)從卷模型轉(zhuǎn)向了卷應(yīng)用。此前有消息稱，一些大模型企業(yè)放棄了預(yù)訓(xùn)練模型,業(yè)務(wù)重心轉(zhuǎn)向AI應(yīng)用。
對(duì)于預(yù)訓(xùn)練大模型未來發(fā)展，楊植麟認(rèn)為，預(yù)訓(xùn)練大模型還有迭代空間�！邦A(yù)計(jì)還有半代到一代的模型的空間會(huì)在明年釋放出來，我覺得在明年，業(yè)內(nèi)領(lǐng)先的模型會(huì)把預(yù)訓(xùn)練做到一個(gè)比較極致的階段�！�
Scaling laws依然有效 但需要更好的方法
大模型的Scaling laws，即規(guī)模法則，是當(dāng)前AI圈不少人所信奉的定律。所謂Scaling laws是相信“大力出奇跡”，隨著模型規(guī)模、訓(xùn)練數(shù)據(jù)和計(jì)算資源的增加,模型性能會(huì)得到顯著提升,
楊植麟認(rèn)為，“Scaling”對(duì)AI而言是不變的關(guān)鍵詞�！爸蜛I技術(shù)在過去幾年發(fā)生的進(jìn)展，基本上可以歸功于一個(gè)詞是Scaling�！�
不過，楊植麟表示，Scaling并不意味把模型做得更大就好，而是要找到有效的方法來Scale，比如更好的數(shù)據(jù)和方法。
“我們接下來會(huì)越來越關(guān)注基于強(qiáng)化學(xué)習(xí)的方法來Scale。我們認(rèn)為，接下來AI發(fā)展的方向，還是持續(xù)地Scale，只是Scale的過程不一樣，是更多的強(qiáng)化學(xué)習(xí)，在強(qiáng)化學(xué)習(xí)的過程中生成更多的數(shù)據(jù)來做�！�
楊植麟把AI的發(fā)展比作蕩秋千，會(huì)在兩種狀態(tài)之間來回切換。“一種狀態(tài)是算法數(shù)據(jù)已經(jīng)完備了，但是算力不夠，這就要求做更多的工程，把基礎(chǔ)設(shè)施做得更好，就能夠持續(xù)的提升。從transformer誕生到GPT4，更多的矛盾就是怎么能夠Scale，但在算法和數(shù)據(jù)上可能沒有本質(zhì)的問題。”
但是隨著算力擴(kuò)展到一定的規(guī)模，這時(shí)算力的增加很難再直接提升模型的質(zhì)量。
“這時(shí)的狀態(tài)是，你會(huì)發(fā)現(xiàn)再加更多的算力，并不一定能看到直接的提升。因?yàn)楹诵氖菦]有高質(zhì)量的數(shù)據(jù)，小幾十G的token是人類互聯(lián)網(wǎng)積累了20多年的上限。于是，要通過算法的改變，來釋放Scaling的潛力，所有的好算法是跟Scaling做朋友，它就會(huì)持續(xù)變得更好�！�
大模型需要提升思考能力
大模型的出現(xiàn)、AIGC的應(yīng)用改變了人機(jī)交互方式，在不少業(yè)內(nèi)展望中，在以大模型為代表的AIGC技術(shù)加持下，人機(jī)交互體驗(yàn)將徹底被重構(gòu)。而楊植麟認(rèn)為，在強(qiáng)調(diào)交互能力的同時(shí)，更應(yīng)該注重大模型的思考能力。
“AI最重要的是思考和交互這兩個(gè)能力。思考的重要性遠(yuǎn)大于交互，不是說交互不重要，交互是一個(gè)必要條件，但思考會(huì)決定上限。因此，接下來很重要的一件事是讓AI具備思考的能力�！�
最適合讓AI鍛煉思考的能力，無疑是數(shù)學(xué)場(chǎng)景。
“伽利略曾說過，宇宙是由數(shù)學(xué)這門語言書寫而成的。它是整個(gè)宇宙的基石，很多規(guī)律只是通過數(shù)學(xué)來刻劃的。而且好處是并不需要跟外界進(jìn)行交互，相對(duì)來說比較嚴(yán)密的自成一體，它自己可以成為一個(gè)體系，這讓數(shù)學(xué)成為AI學(xué)習(xí)這種思考能力的一種非常好的場(chǎng)景�！睏钪谗敕Q。
相比文字應(yīng)用能力，大模型的數(shù)學(xué)能力一直存在較大的差距。
今年6月，上海人工智能實(shí)驗(yàn)室通過旗下司南評(píng)測(cè)體系OpenCompass對(duì)7個(gè)大模型進(jìn)行高考“語數(shù)外”全卷能力測(cè)試。測(cè)試結(jié)果顯示，三科總分420分，大模型最高分僅303分，其中語文、英語表現(xiàn)相對(duì)良好，數(shù)學(xué)全不及格。
楊植麟表示，目前的模型還是有一些局限性�！氨热缒酶呖紨�(shù)學(xué)全國范圍內(nèi)最難的題去考大模型，現(xiàn)在有一定的概率會(huì)做錯(cuò)。但本身模型的能力提升是很快的，比如去年對(duì)高考題大概能做百分之二三十的準(zhǔn)確率，但如今我們能做到90%的準(zhǔn)確率�！�
在現(xiàn)場(chǎng)的演示中，Kimi對(duì)2024AIME數(shù)學(xué)競(jìng)賽、高等數(shù)學(xué)題目進(jìn)行了解答，通過用強(qiáng)化學(xué)習(xí)的方式來逼近更強(qiáng)的鏈路思考，來確保每一步的正確性，并且在得出答案，會(huì)像人類一樣進(jìn)行二次驗(yàn)算。
“當(dāng)然，還有非常大的提升空間，但如果持續(xù)的做強(qiáng)化學(xué)習(xí)的Scaling，應(yīng)該是可以能夠在更多的場(chǎng)景完成長(zhǎng)鏈路的思考、復(fù)雜的推理。還有很重要的一點(diǎn)，就是更多的泛化，把這種推理泛化到更多的任務(wù)里�！睏钪谗敕Q。
據(jù)悉，月之暗面計(jì)劃在教育領(lǐng)域進(jìn)行探索，并與Kimi搜索場(chǎng)景結(jié)合�！盁o論是K12、大學(xué)甚至競(jìng)賽，這里會(huì)有很多的場(chǎng)景可使用。我們還是希望把它更多的泛化，比如把強(qiáng)化學(xué)習(xí)的技術(shù)用在搜索場(chǎng)景里，跟Kimi探索版相結(jié)合，提升模型在搜索過程中的推理能力，做更復(fù)雜的搜索�！�
聚焦核心業(yè)務(wù) 不要把自己變成大廠
近日來，關(guān)于月之暗面縮減出海項(xiàng)目、聚焦Kimi的消息在市場(chǎng)上流傳。楊植麟透露，大概今年三、四月份，做出了聚焦Kimi，對(duì)業(yè)務(wù)做減法的決定。
“這一是基于美國市場(chǎng)的判斷，二是基于自身的觀察。我們主動(dòng)選擇做了業(yè)務(wù)的減法，應(yīng)該聚焦在上限最高的事情，然后做好。”
楊植麟認(rèn)為，創(chuàng)業(yè)團(tuán)隊(duì)的人數(shù)不能太多，而是要真正聚焦于把核心的創(chuàng)新能力做好。如果把自己變成大廠，就沒有任何優(yōu)勢(shì)了。
“在國內(nèi)大模型創(chuàng)業(yè)公司里，我們始終保持人數(shù)最少，始終保持卡和人的比例是最高的，這是非常關(guān)鍵的。我們不希望把團(tuán)隊(duì)擴(kuò)那么大，因?yàn)槿藬?shù)擴(kuò)張對(duì)創(chuàng)新的影響有致命性的傷害。如果你想把團(tuán)隊(duì)保持在一定的規(guī)模，那么最好的方式是業(yè)務(wù)上做一些減法�！�
楊植麟透露，“一開始也嘗試過比如說幾個(gè)產(chǎn)品一塊做，這在一定的時(shí)期內(nèi)可能是有效的，到后來發(fā)現(xiàn)還是要聚焦，把一個(gè)產(chǎn)品做到極致是最重要的。比如三個(gè)業(yè)務(wù)一起做，就活生生把自己變成大廠，那會(huì)沒有任何的優(yōu)勢(shì)�！�
對(duì)于在大模型研發(fā)上，楊植麟表示，預(yù)訓(xùn)練大模型還有半代到一代的空間，預(yù)計(jì)明年預(yù)訓(xùn)練大模型就會(huì)達(dá)到比較極致的階段，但重點(diǎn)會(huì)在強(qiáng)化學(xué)習(xí)上。此外，幾個(gè)多模態(tài)的能力也在內(nèi)測(cè)中。
談及用戶投流和商業(yè)化變現(xiàn)的平衡，楊植麟稱，目前最核心的任務(wù)就是提升留存�！傲舸媸且粋�(gè)重要的衡量指標(biāo)，這對(duì)我們來說是最重要的。留存到多少會(huì)滿意？我的回答是永無止境。”
（財(cái)聯(lián)社記者 黃心怡）
