IT之家 9 月 29 日消息，一項(xiàng)新研究發(fā)現(xiàn)，隨著大型語(yǔ)言模型（LLM）變得越來越強(qiáng)大，它們似乎也越來越容易編造事實(shí)，而不是避免或拒絕回答它們無法回答的問題。這表明，這些更聰明的 AI 聊天機(jī)器人實(shí)際上變得不太可靠。
圖源 PexelsIT之家注意到，該研究發(fā)表在《自然》雜志上，研究人員研究了一些業(yè)界領(lǐng)先的商業(yè) LLM：OpenAI 的 GPT 和 Meta 的 LLaMA，以及由研究小組 BigScience 創(chuàng)建的開源模型 BLOOM。
研究發(fā)現(xiàn)，雖然這些 LLM 的回答在許多情況下變得更加準(zhǔn)確，但總體上可靠性更差，給出錯(cuò)誤答案的比例比舊模型更高。
瓦倫西亞人工智能研究所在西班牙的研究員 José Hernández-Orallo 對(duì)《自然》雜志表示：“如今，它們幾乎可以回答一切。這意味著更多正確的答案，但也意味著更多錯(cuò)誤的答案。”
格拉斯哥大學(xué)的科學(xué)和技術(shù)哲學(xué)家 Mike Hicks 對(duì)此進(jìn)行了更嚴(yán)厲的評(píng)價(jià)，Hicks（未參與該研究）告訴《自然》雜志：“在我看來，這就像我們所說的胡說八道，它越來越擅長(zhǎng)假裝知識(shí)淵博。”
測(cè)試中，這些模型被問及了從數(shù)學(xué)到地理等各種主題，并被要求執(zhí)行諸如按指定順序列出信息等任務(wù)。總體而言，更大、更強(qiáng)大的模型給出了最準(zhǔn)確的答案，但在更難的問題上表現(xiàn)不佳，其準(zhǔn)確率較低。
研究人員稱，一些最大的“撒謊者”是 OpenAI 的 GPT-4 和 o1，但所有被研究的 LLM 似乎都呈這種趨勢(shì)，對(duì)于 LLaMA 系列模型，沒有一個(gè)能夠達(dá)到 60% 的準(zhǔn)確率，即使是最簡(jiǎn)單的問題。
而當(dāng)被要求判斷聊天機(jī)器人的回答是準(zhǔn)確還是不準(zhǔn)確時(shí)，一小部分參與者有 10% 到 40% 的概率判斷錯(cuò)誤。
總之研究表明，AI 模型越大（就參數(shù)、訓(xùn)練數(shù)據(jù)和其他因素而言），它們給出錯(cuò)誤答案的比例就越高。
研究人員稱，解決這些問題最簡(jiǎn)單的方法是讓 LLM 不那么急于回答一切。Hernández-Orallo 稱：“可以設(shè)置一個(gè)閾值，當(dāng)問題具有挑戰(zhàn)性時(shí)，讓聊天機(jī)器人說‘不，我不知道’。”但如果聊天機(jī)器人被限制為只回答它們知道的東西，可能會(huì)暴露技術(shù)的局限性。
