劃重點(diǎn)
01OpenAI舉行年度開發(fā)者大會(huì)DevDay，推出四大創(chuàng)新工具：提示詞緩存、視覺微調(diào)、實(shí)時(shí)API和模型蒸餾。
02提示詞緩存可減少輸入token成本多達(dá)50%，降低開發(fā)者成本并提高模型視覺理解水平。
03視覺微調(diào)功能讓開發(fā)者能用圖像和文本自定義模型的視覺理解功能，對(duì)自動(dòng)駕駛汽車等領(lǐng)域產(chǎn)生深遠(yuǎn)影響。
04實(shí)時(shí)API簡(jiǎn)化了構(gòu)建語音助手和其他對(duì)話式AI工具的過程，為各行業(yè)語音App開辟了廣泛的可能性。
05模型蒸餾讓小模型也可擁有尖端模型功能，有助于化解AI行業(yè)尖端系統(tǒng)與易于訪問系統(tǒng)之間的鴻溝。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
本文作者：李丹
來源：硬AI
美東時(shí)間10月1日周二，OpenAI舉行了年度開發(fā)者大會(huì)DevDay，今年的大會(huì)并沒有任何重大的產(chǎn)品發(fā)布，相比去年大會(huì)顯得更低調(diào)，但OpenAI也為開發(fā)者派發(fā)了幾個(gè)大“禮包”，對(duì)現(xiàn)有的人工智能（AI）工具和API套件做了改進(jìn)。
本次OpenAI DevDay推出一系列新工具，主要包括四大創(chuàng)新：提示詞緩存（Prompt Caching）、視覺微調(diào)（Vision Fine-Tuning）、實(shí)時(shí)API（Realtime API）、模型蒸餾（Model Distillation），在降低模型成本、提高模型視覺理解水平、提升語音AI功能和小模型性能方面，給開發(fā)者帶來福音。
有評(píng)論稱，今年DevDay的重點(diǎn)是提高開發(fā)者的能力和展示開發(fā)者圈子的故事，這表明隨著AI領(lǐng)域的競(jìng)爭(zhēng)日益激烈，OpenAI的戰(zhàn)略發(fā)生了轉(zhuǎn)變。上述新工具突出表明，OpenAI的戰(zhàn)略重點(diǎn)是：增強(qiáng)其開發(fā)者的生態(tài)系統(tǒng)，而不是直接在終端用戶應(yīng)用領(lǐng)域競(jìng)爭(zhēng)。
有媒體提到，在DevDay活動(dòng)前的記者會(huì)上，OpenAI的首席產(chǎn)品官Kevin Weil談及最近OpenAI首席技術(shù)官M(fèi)ira Murati和首席研究官Bob McGrew離職，稱他們離開不會(huì)影響公司發(fā)展，“我們不會(huì)放慢腳步”。
提示詞緩存（Prompt Caching）可減少輸入token成本多達(dá)50%
提示詞緩存被視為本次DevDay發(fā)布的最重要更新。該功能旨在降低開發(fā)者的成本、減少延遲。
OpenAI引入的提示詞緩存系統(tǒng)自動(dòng)對(duì)模型最近處理的輸入token提供50%的折扣，這可能會(huì)讓經(jīng)常重復(fù)使用上下文的應(yīng)用程序App得到大量節(jié)剩如此大幅降低成本給企業(yè)和初創(chuàng)公司提供了探索新應(yīng)用的重大機(jī)遇，因?yàn)檫@些應(yīng)用以前由于費(fèi)用高昂無法實(shí)現(xiàn)。
OpenAI 平臺(tái)產(chǎn)品負(fù)責(zé)人 Olivier Godement稱，兩年前GPT-3大獲成功，現(xiàn)在OpenAI已經(jīng)將相關(guān)成本降低了將近1000倍。他舉不出來其他任何一個(gè)兩年內(nèi)能將成本降低同樣幅度的例子。
以下OpenAI的圖表展示了，提示詞緩存可以大幅降低應(yīng)用AI模型的成本，相比各種GDP模型的非緩存token，緩存輸入token的成本可以減少多達(dá)50%。
視覺微調(diào)（Vision Fine-Tuning）：視覺AI新前沿
OpenAI DevDay公布，OpenAI最新的大語言模型（LLM） GPT-4o 引入了視覺微調(diào)。此功能讓開發(fā)者能用圖像和文本自定義模型的視覺理解功能。
這是被稱為視覺AI新前沿的重大更新。它可能會(huì)對(duì)自動(dòng)駕駛汽車、醫(yī)學(xué)成像和視覺搜索功能等領(lǐng)域產(chǎn)生深遠(yuǎn)影響。
OpenAI 稱，東南亞版“美團(tuán)+滴滴” Grab 已經(jīng)利用這項(xiàng)技術(shù)改進(jìn)其地圖服務(wù)。僅使用 100 個(gè)示例，Grab 就讓車道計(jì)數(shù)的準(zhǔn)確率提高了20%，限速標(biāo)志定位率提高13%。
這種現(xiàn)實(shí)世界的App展示了視覺微調(diào)的可能性，即使用小批量的視覺訓(xùn)練數(shù)據(jù)，顯著增強(qiáng)各行各業(yè)的AI服務(wù)。
實(shí)時(shí) API（Realtime API）彌補(bǔ)對(duì)話式 AI 的差距
OpenAI DevDay發(fā)布了實(shí)時(shí) API，目前處于公開測(cè)試beta階段。實(shí)時(shí)API 本質(zhì)上簡(jiǎn)化了構(gòu)建語音助手和其他對(duì)話式 AI 工具的過程，無需將多個(gè)模型拼接在一起進(jìn)行轉(zhuǎn)錄、推理和文本到語音的轉(zhuǎn)換。
這項(xiàng)新產(chǎn)品讓開發(fā)人員能創(chuàng)建低延遲的多模態(tài)體驗(yàn)，尤其是在語音轉(zhuǎn)語音App中。這意味著開發(fā)人員可以開始將 ChatGPT 的語音控件添加到App中。
為了說明該 API 的潛力，OpenAI 展示了 Wanderlust 的更新版本，它是一款在去年大會(huì)上展示過的旅行規(guī)劃App。
借助實(shí)時(shí) API，用戶可以直接與新版App對(duì)話，進(jìn)行自然對(duì)話來規(guī)劃行程。該系統(tǒng)甚至允許用戶在語句中間打斷，模仿人類之間的對(duì)話。
旅行規(guī)劃只是一個(gè)例子，實(shí)時(shí) API 為各個(gè)行業(yè)的語音App開辟了廣泛的可能性。無論是專攻客服、教育領(lǐng)域還是殘障人士使用的無障礙工具，開發(fā)者現(xiàn)在都可以利用新的資源創(chuàng)造更直觀、響應(yīng)更快的AI驅(qū)動(dòng)體驗(yàn)。
包括營(yíng)養(yǎng)和健身指導(dǎo)App Healthify 和語言學(xué)習(xí)平臺(tái) Speak在內(nèi)，一些App已經(jīng)將先行一步，將實(shí)時(shí)API融合到自身產(chǎn)品中。
有評(píng)論稱，實(shí)時(shí)API 的定價(jià)并不便宜，每分鐘音頻輸入收費(fèi)0.06 美元，每分鐘音頻輸出收費(fèi)0.24 美元，但對(duì)于希望創(chuàng)建基于語音App的開發(fā)人員來說，它仍然可以代表一個(gè)重要的價(jià)值主張。
模型蒸餾（Model Distillation）讓小模型也可擁有尖端模型功能
模型蒸餾被視為OpenAI此次最具變革性的新工具。這種集成的工作流程讓開發(fā)人員能通過使用諸如GPT o1-preview 和 GPT-4o這類尖端模型的輸出，對(duì)相對(duì)較小且經(jīng)濟(jì)實(shí)用的高校模型進(jìn)行微調(diào)，從而提高更高效模型、如 GPT-4o mini的性能。
這種方法讓小公司也可能利用與尖端模型類似的功能，并且無需承擔(dān)使用這類模型的計(jì)算成本。它有助于化解 AI 行業(yè)長(zhǎng)期以來在尖端、資源密集型系統(tǒng)與更易于訪問但功能較弱的系統(tǒng)之間的鴻溝。
比如一家從事醫(yī)療技術(shù)的小型初創(chuàng)公司要為農(nóng)村的診所開發(fā)一種AI 驅(qū)動(dòng)的診斷工具。使用模型蒸餾，該公司可以訓(xùn)練一個(gè)緊湊的模型，該模型可以捕捉大模型的大部分診斷能力，同時(shí)只需要在標(biāo)準(zhǔn)的筆記本電腦或平板電腦上運(yùn)行。
因此，模型蒸餾可以讓資源受限的環(huán)境也能享有復(fù)雜的 AI 功能，有可能提高醫(yī)療服務(wù)欠發(fā)達(dá)地區(qū)的醫(yī)療保健水平。
