今天基礎(chǔ)大模型領(lǐng)域呈現(xiàn)出「一超多強(qiáng)」的行業(yè)格局，OpenAI 依然占據(jù)著王座，但 Meta 的 Llama、谷歌的 Gemini、Anthropic 的 Claude，以及 Luma、Suno 等垂類模型「列強(qiáng)」，也在過去一年里快速發(fā)展迭代，甚至在細(xì)分領(lǐng)域?qū)崿F(xiàn)了對 OpenAI 的彎道超車。
最近，一個(gè)新玩家加入到這一陣營。剛剛結(jié)束的 re:Invent 2024 大會期間，亞馬遜正式發(fā)布新一代 Nova 系列大模型，其中既有高性價(jià)比的實(shí)用模型，也有可用于定制模型蒸餾的「高性能模型」。同時(shí)還提出了 Any to Any 的新理念，要在明年實(shí)現(xiàn)從多種模態(tài)輸入到多種模態(tài)輸出的自由 AI 生成。
該模型的訓(xùn)練是由亞馬遜云科技團(tuán)隊(duì)主導(dǎo)，作為全球最大的云計(jì)算平臺和基礎(chǔ)設(shè)施服務(wù)供應(yīng)商，亞馬遜云科技在 re:Invent 2024 期間發(fā)布了一系列涉及 AI 基礎(chǔ)設(shè)施、AI 應(yīng)用開發(fā)、再到實(shí)用 AI 應(yīng)用的技術(shù)更新。
Sherry Marcus 博士是亞馬遜云科技生成式 AI 科學(xué)總監(jiān)，她領(lǐng)導(dǎo)的團(tuán)隊(duì)主要負(fù)責(zé) RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）Agent 和模型蒸餾等工作，同時(shí)她也非常熟悉新發(fā)布的 Nova 系列模型，以及 Amazon Q 等 AI 應(yīng)用。
在 re:Invent 2024 期間，極客公園等國內(nèi)媒體采訪了 Marcus 博士，她向我們分享了關(guān)于 Nova 的技術(shù)特點(diǎn)、未來方向，以及她對模型蒸餾、消除幻覺、Scaling Law 等行業(yè)熱點(diǎn)話題的思考。
Sherry Marcus 丨來自：亞馬遜云科技
以下是采訪內(nèi)容，由極客公園整理。
Sherry Marcus：我的團(tuán)隊(duì)主要負(fù)責(zé)一些具體的技術(shù)工作，比如 RAG Agent 和模型蒸餾等。感謝大家今天的到來。
問：你們在推出 Q for Business 這個(gè)產(chǎn)品線時(shí)，是否達(dá)到了預(yù)期目標(biāo)？
Sherry Marcus：你可以把它看作一系列基于 Amazon Bedrock 的應(yīng)用程序，這些程序包括預(yù)定義的 RAG 模型等一系列能力�？蛻艨梢岳眠@些技術(shù)來開發(fā)他們自己的應(yīng)用程序。實(shí)際上，我們已經(jīng)在客戶滲透方面取得了不錯(cuò)的成績，并且還提供了一些基于 Amazon Bedrock 的衍生產(chǎn)品。我們通過多種方式為客戶提供解決方案，具體方式取決于他們的數(shù)據(jù)需求。
問：關(guān)于 AI 幻覺問題，你們有哪些解決方案？
Sherry Marcus：我們有解決方案應(yīng)對 AI 幻覺問題。今天你可能在 Matt 的主旨演講中聽到了，我們推出了「自動推理」能力（Automated Reasoning），以確保大語言模型的正確性。目前，已有一些用戶的實(shí)際應(yīng)用案例，尤其是在安全和基礎(chǔ)設(shè)施建設(shè)等領(lǐng)域，我們提供了相關(guān)解決方案。
此外，我們還有一個(gè)名為「上下文語境打磨」（Contextual Grinding）的解決方案，它確保大語言模型在基礎(chǔ)原理和真實(shí)信息的基礎(chǔ)上判斷輸出內(nèi)容的準(zhǔn)確性，以減少 AI 幻覺。雖然無法保證 100% 的消除幻覺，但目前我們的方案已經(jīng)在行業(yè)中處于領(lǐng)先水平。
問：能否談?wù)劽嫦蚝献骰锇榈?Bedrock Marketplace for Partner？
Sherry Marcus：這個(gè)目前還不能對外發(fā)布，明天的主題演講后才會有相關(guān)信息。不過，我可以簡單介紹一下。Bedrock Marketplace for Partner 允許模型供應(yīng)商向平臺提供他們的模型。客戶可以在 Amazon Bedrock 上使用這些模型，以實(shí)現(xiàn)多種功能應(yīng)用。它是 Bedrock 平臺的一個(gè)戰(zhàn)略支柱，旨在為客戶提供盡可能多的模型選擇。
問：你們已經(jīng)有一些重大的模型供應(yīng)商加入了對嗎？那么合作伙伴如果使用這個(gè) Marketplace，是進(jìn)行銷售嗎？具體是怎么操作的？
Sherry Marcus：是的，合作伙伴是模型的開發(fā)者，若其他客戶在 Bedrock 上使用了他們的模型，合作伙伴就能獲得收益。這個(gè) Marketplace 主要面向大語言模型供應(yīng)商，他們通過向 Bedrock 提供 API 來獲利。我們有多個(gè) Marketplace，而你提到的這個(gè) Marketplace 只針對大語言模型的開發(fā)者。明天 Swami 的演講會有更多具體信息。
問：如果在使用合作伙伴模型時(shí)，出現(xiàn)安全或其他問題，責(zé)任如何劃分？
Sherry Marcus：我們會共同分擔(dān)責(zé)任。大多數(shù)模型供應(yīng)商在發(fā)布之前會進(jìn)行微調(diào)，針對偏見和常見攻擊行為進(jìn)行防護(hù)，這是他們的「零層防御」。在模型進(jìn)入 Amazon Bedrock 之前，我們會對其進(jìn)行忠實(shí)性、無偏性、穩(wěn)定性和安全性測試。第二，針對使用這些模型的客戶，我們提供了一個(gè)名為「Guardrail」的服務(wù)，客戶可以根據(jù)需求制定更高的安全標(biāo)準(zhǔn)，甚至規(guī)定一些無法討論的敏感話題。
問：現(xiàn)在很多用戶都會將 Nova 與 ChatGPT 等工具進(jìn)行對比。你覺得 Nova 與其他工具相比，有哪些獨(dú)到之處？
Sherry Marcus：Nova 的設(shè)計(jì)考慮了客戶需求的三個(gè)核心點(diǎn)：低成本、低時(shí)延和高準(zhǔn)確性。在構(gòu)建 Nova 時(shí)，我們成功地降低了成本，同時(shí)確保其準(zhǔn)確性與其他模型相當(dāng)，成本比其他模型低 75%。這對于市場來說非常有吸引力，因?yàn)楹芏噙M(jìn)入市場的壁壘實(shí)際上就是成本。如果能降低成本，客戶的購買意愿會更強(qiáng)。此外，Nova 是一個(gè)全新的系列，它與 Titan 不同，采用了新的專業(yè)知識和學(xué)術(shù)積累，因此與競爭對手相比，Nova 具有很強(qiáng)的競爭力。
問：關(guān)于 Nova 的升級計(jì)劃，你們有什么打算？與競爭對手相比，如何保持升級速度？
Sherry Marcus：是的，我也注意到大模型的更新速度非�？欤热鐝� LLAMA 2 到 LLAMA 3 僅用了三個(gè)月。Nova 的升級計(jì)劃是盡量與競爭對手保持相似的速度，但亞馬遜的方式有所不同。我們非常注重與客戶的合作，在推新功能和提升性能時(shí)，更多地依據(jù)客戶在使用 Nova 后的反饋來做調(diào)整，這也是我們的不同之處。
問：Scaling Law 是否依然有效？為什么？
Sherry Marcus：是的，Scaling Law 依然有效。我認(rèn)為這是一個(gè)數(shù)據(jù)問題。神經(jīng)網(wǎng)絡(luò)越大，準(zhǔn)確度就越高。這實(shí)際上和我們所訓(xùn)練的數(shù)據(jù)集有關(guān)，語義數(shù)據(jù)的積累能讓 Scaling Law 更有效。數(shù)據(jù)來源不斷豐富，也使得訓(xùn)練和微調(diào)大語言模型變得更加高效。盡管生成的數(shù)據(jù)可以用于訓(xùn)練，但如果用來訓(xùn)練一個(gè)大模型，其效率會降低。
問：企業(yè)用戶在使用大模型時(shí)，可能會遇到數(shù)據(jù)質(zhì)量不高的問題。如何更好地利用行業(yè)已有的模型支持客戶開發(fā)小型模型？
Sherry Marcus：我們建議使用「教師模型」（supervised teacher model）并采用蒸餾技術(shù)。通過這種方法，學(xué)生模型可以像教師模型一樣準(zhǔn)確，盡管它通�；谛袠I(yè)特定的應(yīng)用場景。蒸餾能夠幫助提高小模型的準(zhǔn)確性，同時(shí)避免使用過于龐大的數(shù)據(jù)集。
問：大模型會不會取代小模型，尤其是在 AI 產(chǎn)品質(zhì)檢領(lǐng)域？
Sherry Marcus：不會，我相信兩者會并存。在一些特定任務(wù)中，仍然會使用小模型，而大模型會通過 API 調(diào)用小模型來執(zhí)行一些圖形檢索等任務(wù)。小模型對于特定的應(yīng)用場景非常有幫助，可以降低成本、減少時(shí)延并提高性能。
問：Nova 的典型客戶有哪些？
Sherry Marcus：目前，Nova 的用戶覆蓋廣泛，從財(cái)富 100 強(qiáng)的大企業(yè)到初創(chuàng)公司都有。他們都在使用 Amazon Bedrock。Nova 特別適用于需要推理能力的場景，例如金融行業(yè)的對話和信息匯總，涉及從自然語言到 SQL 的轉(zhuǎn)換，以及背后的計(jì)算需求。
