白交 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
Mistral-Medium竟然意外泄露？此前僅能通過(guò)API獲得，性能直逼GPT-4。
CEO最新發(fā)聲：確有其事，系早期客戶員工泄露。但仍表示敬請(qǐng)期待。
換句話說(shuō)，這個(gè)版本尚且還是舊的，實(shí)際版本性能還會(huì)更好。
這兩天，這個(gè)名叫“Miqu”的神秘模型在大模型社區(qū)里炸了鍋，不少人還懷疑這是LIama的微調(diào)版本。
對(duì)此Mistral CEO也做出了解釋， Mistral Medium是在Llama 2基礎(chǔ)上重新訓(xùn)練的，因?yàn)樾璞M快向早期客戶提供更接近GPT-4性能的API， 預(yù)訓(xùn)練在Mistral 7B發(fā)布當(dāng)天完成。
如今真相大白，CEO還賣關(guān)子，不少網(wǎng)友在底下戳戳手期待。
Mistral-Medium意外泄露
我們還是重新來(lái)回顧一下整個(gè)事件。1月28日，一個(gè)名叫Miqu Dev的神秘用戶在HuggingFace上發(fā)布一組文件“miqu-1-70b”。
文件指出新LLM的“提示格式”以及用戶交互方式同Mistral相同。
同一天，4chan上一個(gè)匿名用戶發(fā)布了關(guān)于miqu-1-70b文件的鏈接。
于是乎一些網(wǎng)友注意到了這個(gè)神秘的模型，并且開(kāi)始進(jìn)行一些基準(zhǔn)測(cè)試。
結(jié)果驚人發(fā)現(xiàn)，它在EQ-Bench 上獲得83.5 分（本地評(píng)估），超過(guò)世界上除GPT-4之外的所有其他大模型。
一時(shí)間，網(wǎng)友們強(qiáng)烈呼吁將這個(gè)大模型添加到排行榜中，并且找出背后的真實(shí)模型。
大致懷疑方向主要有三個(gè)：
與Mistral-Medium是同一個(gè)模型。
有網(wǎng)友曬出了對(duì)比效果：它知道標(biāo)準(zhǔn)答案還說(shuō)得過(guò)去，但不可能連俄語(yǔ)措辭也跟Mistral-Medium完全相同吧。
Miqu應(yīng)該是LIama 2的微調(diào)版本。
但另外的網(wǎng)友發(fā)現(xiàn)，它并不是MoE模型，并且同LIama 2架構(gòu)相同、參數(shù)相同、層數(shù)相同，。
不過(guò)馬上就受到其他網(wǎng)友的質(zhì)疑，Mistral 7b也具有與 llama 7B 相同的參數(shù)和層數(shù)。
相反，這更像是Mistral早期非MoE版本模型。
不過(guò)討論來(lái)討論去，不可否認(rèn)的是在不少人心中，這已經(jīng)是最接近GPT-4的模型了。
如今，Mistral 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Arthur Mensch承認(rèn)泄露，是他們一位早期客戶員工過(guò)于熱情，泄露了他們訓(xùn)練并公開(kāi)發(fā)布的一個(gè)舊模型量化版本。
至于Perplexity這邊CEO也澄清說(shuō)，他們從未獲得過(guò)Mistral Medium的權(quán)重。
網(wǎng)友擔(dān)心是否會(huì)撤下這個(gè)版本。
有趣的是，Mensch并沒(méi)有要求刪除HuggingFace上的帖子。
而是留下評(píng)論說(shuō)：可能會(huì)考慮歸屬問(wèn)題。
參考鏈接：
[1]https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/
[2]https://twitter.com/teortaxesTex/status/1752427812466593975
[3]https://twitter.com/N8Programs/status/1752441060133892503
[4]https://twitter.com/AravSrinivas/status/1752803571035504858
