展會(huì)信息港展會(huì)大全

OpenAI語音轉(zhuǎn)錄工具Whisper被曝重大缺陷:憑空生成大段虛假內(nèi)容
來源:互聯(lián)網(wǎng)   發(fā)布日期:2024-10-28 09:38:37   瀏覽:910次  

導(dǎo)讀:IT之家 10 月 28 日消息,當(dāng)?shù)貢r(shí)間 27 日,據(jù)美聯(lián)社報(bào)道,超過十位軟件工程師、開發(fā)人員和學(xué)術(shù)研究人員稱,OpenAI 的語音轉(zhuǎn)寫工具 Whisper 存在一個(gè)重大缺陷:有時(shí)會(huì)憑空生成 大段甚至整句虛假內(nèi)容 。 這些專家指出,這些生成的文本(IT之家注:業(yè)內(nèi)通常稱為...

IT之家 10 月 28 日消息,當(dāng)?shù)貢r(shí)間 27 日,據(jù)美聯(lián)社報(bào)道,超過十位軟件工程師、開發(fā)人員和學(xué)術(shù)研究人員稱,OpenAI 的語音轉(zhuǎn)寫工具 Whisper 存在一個(gè)重大缺陷:有時(shí)會(huì)憑空生成大段甚至整句虛假內(nèi)容。

這些專家指出,這些生成的文本(IT之家注:業(yè)內(nèi)通常稱為“AI 幻覺”)可能涉及種族言論、暴力措辭,甚至杜撰的醫(yī)療建議。

OpenAI語音轉(zhuǎn)錄工具Whisper被曝重大缺陷:憑空生成大段虛假內(nèi)容

專家們認(rèn)為,這一問題尤其令人擔(dān)憂,因?yàn)?Whisper 已被廣泛應(yīng)用于全球多個(gè)行業(yè),包括用于翻譯和轉(zhuǎn)錄訪談內(nèi)容、生成常見消費(fèi)科技文本及制作視頻字幕。

更具風(fēng)險(xiǎn)的是,盡管 OpenAI已提醒不應(yīng)在“高風(fēng)險(xiǎn)領(lǐng)域”使用該工具,但一些醫(yī)療機(jī)構(gòu)仍在匆忙采用基于 Whisper 的工具來記錄醫(yī)生與患者的咨詢記錄。

報(bào)道稱,研究人員和工程師在工作中經(jīng)常遇到 Whisper 的“幻覺”現(xiàn)象,問題的整體規(guī)模尚不清楚。例如,密歇根大學(xué)一位研究員在研究公共會(huì)議時(shí)發(fā)現(xiàn),在嘗試改進(jìn)模型前,他所檢查的十份音頻轉(zhuǎn)錄中,八份含有虛構(gòu)內(nèi)容。

一位機(jī)器學(xué)習(xí)工程師透露,在最初分析的超過 100 小時(shí) Whisper 轉(zhuǎn)錄中,他發(fā)現(xiàn)大約一半的內(nèi)容存在“幻覺”現(xiàn)象。一位開發(fā)人員進(jìn)一步指出,在他用 Whisper 生成的 26000 份轉(zhuǎn)錄中,幾乎每一份都帶有虛構(gòu)內(nèi)容。

即便是音質(zhì)良好的簡短音頻樣本,也未能幸免于這些問題。計(jì)算機(jī)科學(xué)家們的最新研究表明,他們審查的 13000 多段清晰音頻片段中,有 187 段出現(xiàn)了“幻覺”現(xiàn)象。

研究人員認(rèn)為,這一趨勢(shì)意味著,在數(shù)百萬條錄音中將可能出現(xiàn)數(shù)以萬計(jì)的錯(cuò)誤轉(zhuǎn)錄。

OpenAI 的發(fā)言人表示,該公司持續(xù)研究如何減少幻覺,并且感謝研究者的發(fā)現(xiàn),將會(huì)在模型更新中采納反潰

贊助本站

相關(guān)內(nèi)容
AiLab云推薦
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實(shí)驗(yàn)室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動(dòng)態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會(huì) | 展會(huì)港