展會信息港展會大全

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰
來源:互聯(lián)網(wǎng)   發(fā)布日期:2024-12-03 10:37:33   瀏覽:0次  

導(dǎo)讀:新智元報道編輯:靜音澤正【新智元導(dǎo)讀】MIT的76頁深度報告!AI輔助創(chuàng)新顯著增長這毋庸置疑。但,值得注意的是,AI加劇了不同水平科學(xué)家產(chǎn)出的差異,這與科學(xué)家的判斷力強(qiáng)相關(guān),意味著缺乏判斷力的科學(xué)家在未來可能會被慢慢淘汰……此外,作者還發(fā)現(xiàn),AI雖然提升了效率,但因為霸占了研究中創(chuàng)意生成的部分,剝奪了科學(xué)家們在研究工作中的樂趣。AI的最新進(jìn)展顯示出幫助科學(xué)突破 ......

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

新智元報道

編輯:靜音澤正【新智元導(dǎo)讀】MIT的76頁深度報告!AI輔助創(chuàng)新顯著增長這毋庸置疑。但,值得注意的是,AI加劇了不同水平科學(xué)家產(chǎn)出的差異,這與科學(xué)家的判斷力強(qiáng)相關(guān),意味著缺乏判斷力的科學(xué)家在未來可能會被慢慢淘汰……此外,作者還發(fā)現(xiàn),AI雖然提升了效率,但因為霸占了研究中創(chuàng)意生成的部分,剝奪了科學(xué)家們在研究工作中的樂趣。AI的最新進(jìn)展顯示出幫助科學(xué)突破的潛力,尤其是在藥物發(fā)現(xiàn)和材料科學(xué)等領(lǐng)域。來自MIT的Aidan最近發(fā)布了一篇長達(dá)76頁的深度研究報告,內(nèi)容關(guān)于AI對科學(xué)發(fā)現(xiàn)和產(chǎn)品創(chuàng)新的影響。通過分析一家美國大型企業(yè)研發(fā)部門引入AI技術(shù)前后的情況,研究發(fā)現(xiàn),在AI輔助下,科學(xué)家們發(fā)現(xiàn)新材料的數(shù)量增加了44%,這些新材料具有更獨特的化學(xué)結(jié)構(gòu),導(dǎo)致專利申請數(shù)量增加39%,下游產(chǎn)品的創(chuàng)新率上升17%!MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

論文地址:https://conference.nber.org/conf_papers/f210475.pdf雖然AI的應(yīng)用顯著提高了研發(fā)效率,但其效果在不同能力水平的科學(xué)家之間存在巨大差異,頂尖研究人員的產(chǎn)出近乎翻倍,而底部三分之一的科學(xué)家受益較少。深入分析這些結(jié)果的機(jī)制表明,AI自動化了57%的「創(chuàng)意生成」任務(wù),使研究人員能夠?qū)⒕χ匦路峙涞皆u估AI生成的候選材料上。頂尖科學(xué)家利用他們的領(lǐng)域知識來優(yōu)先考慮有前景的AI建議,而其他人則浪費了大量資源在測試錯誤的結(jié)果上。此外,調(diào)查還顯示,雖然AI技術(shù)提高了科學(xué)家的工作效率,但也帶來了工作滿意度下降的問題,有82%的科學(xué)家表示工作滿意度降低,主要原因是技能未得到充分利用和創(chuàng)造力的減少。盡管如此,參與實驗的科學(xué)家普遍增加了對AI技術(shù)能增強(qiáng)生產(chǎn)力的信心,并有較大比例計劃提升相關(guān)技能以適應(yīng)未來工作的需求。研究背景

目前AI4Science已經(jīng)如火如荼。最新的諾貝爾物理與化學(xué)獎也頒發(fā)給了AI,這說明AI有望帶來科學(xué)突破,尤其是在藥物發(fā)現(xiàn)和材料科學(xué)等領(lǐng)域,因為這些領(lǐng)域的模型可以在現(xiàn)有實例的大型數(shù)據(jù)集上進(jìn)行訓(xùn)練。

然而,人們對這些工具在現(xiàn)實世界中如何有效地深度參與到研發(fā)流程卻知之甚少,研發(fā)瓶頸、組織內(nèi)部沖突或缺乏可靠性都會限制它們的有效性。因此,AI對創(chuàng)新速度和方向的影響仍不確定。為了研究這些問題,論文作者Aidan在美國一家大型公司的研發(fā)實驗室向1018名科學(xué)家隨機(jī)引入了一種用于材料發(fā)現(xiàn)的AI工具。該實驗室專注于材料科學(xué)在醫(yī)療保健、光學(xué)和工業(yè)制造領(lǐng)域的應(yīng)用,擁有化學(xué)、物理學(xué)和工程學(xué)高級學(xué)位的研究人員。傳統(tǒng)上,科學(xué)家們通過昂貴而耗時的試錯系統(tǒng)來發(fā)現(xiàn)材料,構(gòu)思出許多潛在的結(jié)構(gòu)并測試其特性,就像愛迪生研發(fā)燈泡一樣。而AI模型通過對現(xiàn)有材料的成分和特性相關(guān)的數(shù)據(jù)進(jìn)行訓(xùn)練,就可以生成預(yù)測具有特定特性的新型化合物的「配方」。下圖概述了研發(fā)流程。MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

首先,科學(xué)家要定義一組目標(biāo)特性,并為預(yù)測能滿足這些要求的新化合物提出想法。在引入AI之前,研究人員采用領(lǐng)域知識與迭代計算相結(jié)合的方法來進(jìn)行初步設(shè)計。鑒于預(yù)測材料特性的難度,這一過程耗費大量時間,而且會出現(xiàn)許多錯誤。然后,科學(xué)家們會對這些候選化合物進(jìn)行評估,并合成最有前景的方案。一旦研究人員發(fā)現(xiàn)可行的材料后,通常會申請專利,并將其應(yīng)用到產(chǎn)品原型中。這些可能是全新的產(chǎn)品,也可能是對現(xiàn)有產(chǎn)品線的改進(jìn)。最后,原型被開發(fā)、量產(chǎn)并投放市場。將AI用于科學(xué)一直都有一個問題,它可能會放大「路燈效應(yīng)」。也就是說由于模型是在現(xiàn)有知識的基礎(chǔ)上訓(xùn)練出來的,它們很可能會將搜索方向引向人們熟知但價值較低的領(lǐng)域。但是事實與這一假設(shè)恰恰相反,研究發(fā)現(xiàn)AI在研發(fā)的全鏈路都提高了創(chuàng)新性。首先是與現(xiàn)有化合物相比,模型生成的材料具有更獨特的物理結(jié)構(gòu),這表明AI釋放了新的設(shè)計空間。其次,利用AI工具的科學(xué)家申請的專利更有可能引入新的技術(shù)術(shù)語(這是變革性技術(shù)的主要指標(biāo)),產(chǎn)生更有創(chuàng)造性的發(fā)明。第三,它提高了代表新產(chǎn)品線所占的比例,而非只是去改進(jìn)現(xiàn)有產(chǎn)品線,這些都促進(jìn)了研發(fā)向更加創(chuàng)新的方向不斷前進(jìn)。測量策略及研究設(shè)計

作者將材料發(fā)現(xiàn)過程分為三類任務(wù):創(chuàng)意生成、判斷和實驗。

創(chuàng)意的產(chǎn)生包括與開發(fā)潛在化合物相關(guān)的活動,如查閱現(xiàn)有材料的文獻(xiàn)或進(jìn)行初步設(shè)計。判斷任務(wù)的重點是選擇要推進(jìn)的化合物,通常涉及模擬分析或根據(jù)領(lǐng)域知識預(yù)測材料特性。最后,實驗任務(wù)致力于合成新材料并進(jìn)行測試以評估其特性。發(fā)現(xiàn)一種材料后,科學(xué)家通常會申請專利。這可能涉及單一化合物、化合物組合或使用這些化合物的新技術(shù)。專利需要滿足三個標(biāo)準(zhǔn):新穎性、實用性和非顯而易見性。因此,專利標(biāo)志著科學(xué)發(fā)現(xiàn)轉(zhuǎn)化為有用發(fā)明的研究階段。專利申請通常需要兩年時間才能獲得批準(zhǔn),因此該論文研究的分析重點是專利申請。材料發(fā)現(xiàn)因其復(fù)雜性而極具挑戰(zhàn)性。合理的化學(xué)構(gòu)型空間巨大,需要科學(xué)家探索許多潛在的化合物。此外,雖然原子鍵的特性眾所周知,但很難預(yù)測它們聚合成大規(guī)模特征的模式。擅長從復(fù)雜數(shù)據(jù)中提取特征的深度學(xué)習(xí)模型有可能克服這些挑戰(zhàn)。近年來,匯集已知化合物結(jié)構(gòu)和特征的大型標(biāo)準(zhǔn)化數(shù)據(jù)庫激增。加上算法的進(jìn)步和計算能力的提高,這大大提高了深度學(xué)習(xí)在材料科學(xué)領(lǐng)域的性能。因此,該領(lǐng)域?qū)@些技術(shù)的興趣迅速增長。MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加。∪狈ε袛嗔⒈惶蕴

該實驗室的AI技術(shù)是一套根據(jù)現(xiàn)有材料的結(jié)構(gòu)和特性訓(xùn)練而成的圖神經(jīng)網(wǎng)絡(luò)(GNN)。MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加。∪狈ε袛嗔⒈惶蕴

這張圖展示了實驗室AI工具的結(jié)構(gòu)。圖A逆向材料設(shè)計表示了圖神經(jīng)網(wǎng)絡(luò)輸入一組目標(biāo)特征并輸出一個預(yù)測的結(jié)構(gòu)。圖B展示了三步驟的模型訓(xùn)練:首先基于已知材料的結(jié)構(gòu)進(jìn)行預(yù)訓(xùn)練,再基于材料屬性針對特定應(yīng)用進(jìn)行微調(diào),最后結(jié)合科學(xué)家對AI生成的化合物的實驗進(jìn)行強(qiáng)化學(xué)習(xí)。圖C是圖擴(kuò)散模型的結(jié)構(gòu),該模型采用了一種基于擴(kuò)散的方法來生成新的材料。它從一個已知的結(jié)構(gòu)開始,增加噪音,然后逆轉(zhuǎn)這個過程來創(chuàng)建一個新的化合物。在短期試點計劃之后,實驗室于2022年5月開始大規(guī)模推廣將該AI工具與研究結(jié)合的模式。他們將研究人員團(tuán)隊隨機(jī)分配到三個批次中,分別由404、419和195名科學(xué)家組成。時間間隔約為六個月。在每一輪開始時,研究人員都會參加一個培訓(xùn)項目,學(xué)習(xí)如何使用該技術(shù)。研究將多個數(shù)據(jù)源結(jié)合起來,以詳細(xì)描述研發(fā)過程。作者收集了候選化合物、合成物質(zhì)和最終材料的數(shù)據(jù)。這些數(shù)據(jù)包括化合物的物理結(jié)構(gòu)信息,即其原子和化學(xué)鍵的組成和幾何方向。此外,他還會觀察材料特性測試的結(jié)果,提供大量原子和宏觀尺度的特性。一旦新材料被添加到實驗室內(nèi)部的化合物數(shù)據(jù)庫中,并被認(rèn)為可以用于產(chǎn)品,作者就會將其歸類為「發(fā)現(xiàn)」的材料。這標(biāo)志著從科學(xué)到工程的過渡,之后材料將被大規(guī)模開發(fā)和生產(chǎn)。作者還將新材料與專利申請相匹配。這既包括化合物本身的專利,也包括使用這些化合物的技術(shù)。專利數(shù)據(jù)之所以有用,有兩個原因。首先,專利可以鑒定發(fā)明是重大的、適用的突破。其次,通過專利的申請文本,就可以使用相似度量來評估發(fā)明的新穎性,即利用術(shù)語頻率向量之間的余弦相似性來量化文本相似性。專利新穎性的第二個衡量標(biāo)準(zhǔn)是新技術(shù)術(shù)語的引入。剔除非技術(shù)術(shù)語后,它將專利的新穎性定義為在以前的專利中沒有出現(xiàn)過的詞組所占的比例。正如Kalyani所指出的,這是衡量變革性技術(shù)的領(lǐng)先指標(biāo)。研究發(fā)現(xiàn)在經(jīng)過AI工具輔助后新申請的專利平均包含544個技術(shù)詞組。其中,6.28%被歸類為新術(shù)語。為了評估下游創(chuàng)新,作者收集了包含新發(fā)現(xiàn)材料的產(chǎn)品數(shù)據(jù)。其中主要是材料的使用方式,以及產(chǎn)品是代表新產(chǎn)品線還是對現(xiàn)有產(chǎn)品線的改進(jìn)。材料發(fā)現(xiàn)、專利申請及產(chǎn)品創(chuàng)新

數(shù)量顯著增長作者首先通過描述性證據(jù)展示了AI在材料發(fā)現(xiàn)、專利申請和產(chǎn)品創(chuàng)新方面的影響。下圖顯示了采用AI和未采用AI進(jìn)行研究的科學(xué)家在新材料、專利申請、新產(chǎn)品原型三個方面的時間序列趨勢,揭示了采用AI后新化合物和專利申請數(shù)量的顯著增長。十到十二個月后,采用AI所發(fā)現(xiàn)化合物的產(chǎn)品原型也隨之增加。MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

接下來,作者轉(zhuǎn)向回歸估計。下圖展示了樣本最后五個月的終線處理效應(yīng)。平均來看,采用AI輔助研究的科學(xué)家發(fā)現(xiàn)的材料多出44%,帶來專利申請增加39%,產(chǎn)品原型增加17%。MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

為了研究動態(tài)效果,下圖展示了事件研究的估計結(jié)果。結(jié)果顯示出與原始時間序列相似的模式:材料發(fā)現(xiàn)和專利申請的影響在5到6個月后出現(xiàn),而產(chǎn)品創(chuàng)新的影響則滯后一年多。MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

這些影響是巨大的。從材料發(fā)現(xiàn)增加的角度來看,實驗室每位科學(xué)家的研究成果在過去五年中下降了4%。盡管引入了一些旨在幫助科學(xué)家的計算工具,但情況還是如此。因此,AI似乎是一種與眾不同的技術(shù),其影響要比以前的輔助研究方法大得多。材料質(zhì)量有所提高AI增加了新化合物的數(shù)量。然而,這可能會同時降低材料質(zhì)量。為了驗證這一觀點,作者使用材料特性測試質(zhì)量。如下表所示,他基于科學(xué)家目標(biāo)特性與化合物實際特性之間的距離構(gòu)建了三個質(zhì)量指數(shù)。MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

上表顯示了AI對這些指標(biāo)的影響。對于原子特性,該工具將平均質(zhì)量提高了13%,并將前10%材料的比例提高了1.7個百分點(第1-2列);大規(guī)模特性的影響相似但略小(第3-4列)。第5和6列將這兩組特性組合為總體指數(shù),顯示平均質(zhì)量顯著提高(9%),高質(zhì)量材料的比例增加了1.5個百分點。這些指數(shù)組合了對公司可能具有不同重要性的多個特性,因此難以準(zhǔn)確解釋這些估計值的規(guī)模。然而,結(jié)果表明,AI輔助的材料發(fā)現(xiàn)并未以犧牲質(zhì)量為代價。AI工具對于創(chuàng)新的具體影響AI工具增加了研發(fā)中三個階段的新穎性。MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

首先,按照化學(xué)相似性方法來衡量新材料本身的新穎性時,如上表第1列所示,AI使平均相似度降低了0.4個標(biāo)準(zhǔn)差。此外,AI還使高度獨特材料的比例增加了4個百分點(見第2列)。通過對科學(xué)家的調(diào)查證實了這些測量結(jié)果。73%的研究人員表示,AI工具比其他方法產(chǎn)生了更多新穎的設(shè)計。雖然化學(xué)相似性捕捉到了科學(xué)新穎性的一個關(guān)鍵方面,但重要的是要確定更多的原創(chuàng)材料是否會帶來更多的創(chuàng)新技術(shù)。然后作者利用兩個相似度指標(biāo)分析了專利申請的文本相似性。第一個指標(biāo)基于申請全文,第二個指標(biāo)基于新技術(shù)術(shù)語的比例。如上表第3列所示,該工具將第一個指標(biāo)的新穎性提高了11%,使平均申請量從相似性分布的第48百分位數(shù)上升到第42百分位數(shù)。在第二項指標(biāo)上(見第4列),AI將新技術(shù)術(shù)語的比例提高了兩個百分點(22%)。最后,作者研究了該工具對產(chǎn)品創(chuàng)新性質(zhì)的影響。在沒有AI的情況下,科學(xué)家們主要關(guān)注現(xiàn)有產(chǎn)品的改進(jìn),只有13%的原型代表新產(chǎn)品線。如上表第5列所示,這一比例上升了3個百分點(22%)?傊,AI工具提高了發(fā)現(xiàn)的新穎性,帶來了更多創(chuàng)造性專利和更多創(chuàng)新產(chǎn)品。而AI增加新穎性這一事實可以有兩種解釋。一種可能是,模型只是善于歸納,探索材料設(shè)計空間的新部分。或者,這一發(fā)現(xiàn)可能主要反映了在沒有AI的情況下人類的局限性,也就是說科學(xué)家們會更加嚴(yán)格地遵循熟悉的模板與既定流程。AI加劇了科學(xué)家產(chǎn)出的差異

研究表明,AI主要惠及原本生產(chǎn)力就高的科學(xué)家,從而加劇了不平等。下圖展示了引入AI前后材料發(fā)現(xiàn)率的分布。分布向右移動且更偏右,表明高能力的科學(xué)家從該工具中獲得了更多收益。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加。∪狈ε袛嗔⒈惶蕴

下圖展示了回歸估計結(jié)果,將研究人員是否被分配使用AI工具的狀態(tài)與初始生產(chǎn)力的分位數(shù)相結(jié)合。

結(jié)果表明,處于底部三分之一的研究人員幾乎沒有從該工具中受益,而最高分位的科學(xué)家產(chǎn)出增加了81%。因此,90:10研究表現(xiàn)的比率增加了一倍以上。足以說明,這一工具加劇了不平等的現(xiàn)象。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加。∪狈ε袛嗔⒈惶蕴

核心要素:科學(xué)家的判斷能力材料發(fā)現(xiàn)涉及三個任務(wù)階段:創(chuàng)意生成、判斷(即識別出有前景的候選化合物的能力)和實驗。生產(chǎn)力的差異反映了科學(xué)家在各階段中的不同能力。

首先,作者設(shè)計了一個方法,用于估算每位科學(xué)家在預(yù)處理期內(nèi)的任務(wù)特定研究能力。由于實驗階段僅包含例行測試,他將重點放在創(chuàng)意生成和判斷上。

作者進(jìn)行了多項測試來驗證這些能力測量。最后得到如下圖表:

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

上圖顯示了科學(xué)家在創(chuàng)意生成和判斷兩方面技能的相關(guān)性。這兩個指標(biāo)之間呈正相關(guān)(r=0.42, p

但關(guān)聯(lián)度遠(yuǎn)低于1。這表明,雖然一些科學(xué)家在這兩項任務(wù)上都表現(xiàn)較好,但他們不一定在兩者上都同樣出色。這種較低的相關(guān)性揭示了每個科學(xué)家在不同任務(wù)上可能具有「比較優(yōu)勢」,即一些科學(xué)家在「創(chuàng)意生成」方面更擅長,而另一些人在「判斷」方面表現(xiàn)更佳。因此,科學(xué)家可以通過發(fā)揮自己在特定任務(wù)上的優(yōu)勢來實現(xiàn)專業(yè)化。

所以,不能簡單地將「技能偏向」看作一維的。要更細(xì)致地理解AI在科學(xué)研究中所補充的技能,必須關(guān)注科學(xué)家在不同任務(wù)中的具體能力。

這意味著,AI并不是對所有科學(xué)技能都有幫助,而是特別能加強(qiáng)那些能與AI合作或被AI支持的特定技能,比如判斷能力。在研究中探索這些不同的技能有助于更好地理解人類和AI如何協(xié)同工作。

在獲得任務(wù)特定的研究能力估計后,作者研究了哪些技能導(dǎo)致了AI的異質(zhì)性影響。為此,作者在科學(xué)家層面估計了一個回歸模型:

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

其中,yst是科學(xué)家s在月t內(nèi)發(fā)現(xiàn)的材料數(shù)量,Dst是一個表示是否受到AI影響的處理指示變量,MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

分別表示科學(xué)家在創(chuàng)意生成和判斷任務(wù)上的估計研究能力。這些能力測量標(biāo)準(zhǔn)化為均值為零、標(biāo)準(zhǔn)差為一。主要關(guān)注的系數(shù)是β4和β5,它們捕捉了AI對任務(wù)特定技能的差異性影響。

得到的結(jié)果如下表。當(dāng)MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加。∪狈ε袛嗔⒈惶蕴

增加一個標(biāo)準(zhǔn)差時,AI處理效應(yīng)提升了14.8個百分點;而MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

增加相同幅度僅導(dǎo)致3.5個百分點的提升。兩個交互項的系數(shù)均為正且顯著,但判斷任務(wù)的影響明顯更大。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

判斷能力差異解釋了AI對初始生產(chǎn)力異質(zhì)性影響的80%以上。這些發(fā)現(xiàn)表明,在解釋AI對不同科學(xué)家影響的差異時,判斷能力起到了核心作用。

科學(xué)家與AI的協(xié)作

經(jīng)過上面的研究,作者總結(jié)出了以下三點發(fā)現(xiàn):首先,AI顯著提高了材料發(fā)現(xiàn)的平均速度;其次,它對初始生產(chǎn)力水平不同的科學(xué)家產(chǎn)生了不成比例的好處;第三,這種異質(zhì)性幾乎完全由科學(xué)家的判斷能力的差異所驅(qū)動。為了解這些結(jié)果背后的機(jī)制,作者研究了科研中科學(xué)家與AI的協(xié)作機(jī)制。

創(chuàng)意生成時間被大大壓縮首先,他記錄了AI加入前后科學(xué)家工作精力分配的比例變化。

下圖展示了科學(xué)家在研究過程中分配到創(chuàng)意生成、判斷和實驗任務(wù)上的時間份額變化。這些數(shù)據(jù)來源于科學(xué)家的活動日志。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

由此可見,在引入AI之前,科學(xué)家將39%的時間用于創(chuàng)意生成,但在模型引入后,這一比例降至16%以下。同時,判斷任務(wù)所占時間從最初的23%增加到了樣本結(jié)束時的40%。實驗任務(wù)的時間份額也從37%增加到44%。另外,研究總時長保持不變。

下圖展示了在判斷任務(wù)上具有較大比較優(yōu)勢的科學(xué)家(即高MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

/MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

值)和較小比較優(yōu)勢的科學(xué)家在任務(wù)構(gòu)成上的變化。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

雖然所有科學(xué)家的時間分配都發(fā)生了顯著調(diào)整,但相比其他科學(xué)家,那些在判斷技能方面具有比較優(yōu)勢的科學(xué)家將更多的工作時間從創(chuàng)意生成任務(wù)轉(zhuǎn)移到了判斷任務(wù)上。具體而言,這些科學(xué)家在時間分配上的轉(zhuǎn)變比判斷技能較弱的科學(xué)家多了46%。

判斷力來自領(lǐng)域知識接下來,作者建立了一個簡單的優(yōu)先搜索框架來分析這種轉(zhuǎn)變背后的原因。

他發(fā)現(xiàn)判斷力強(qiáng)的科學(xué)家測試的候選材料數(shù)量較少,但發(fā)現(xiàn)的可行化合物更多。具有較強(qiáng)判斷力的科學(xué)家學(xué)會了優(yōu)先選擇有前景的AI建議,而其他人則在測試錯誤建議上浪費了大量資源。這導(dǎo)致的發(fā)現(xiàn)率差距解釋了工具的異質(zhì)性影響。

此外,作者還發(fā)現(xiàn),在引入AI后,科學(xué)家在評估AI生成的化合物方面的能力差異逐漸顯現(xiàn)并擴(kuò)大。

對比后發(fā)現(xiàn),判斷力較強(qiáng)的科學(xué)家在處理期內(nèi)迅速提高了他們對AI建議的排序和優(yōu)先級設(shè)置,而判斷力較弱的科學(xué)家在評估上未見明顯改善。

這個能力差距導(dǎo)致頂尖評估者能夠有效地篩選出更多高質(zhì)量的化合物,而評估能力較弱者則在篩選上表現(xiàn)接近隨機(jī)。

為了探索為何部分科學(xué)家的判斷力更優(yōu),作者設(shè)計了一份問卷調(diào)查實驗室的科學(xué)家們,以了解他們在評估過程中的想法和經(jīng)驗。

調(diào)查數(shù)據(jù)顯示,這些判斷力上的差異主要來自科學(xué)家的領(lǐng)域知識。

進(jìn)一步分析中,作者考察了四種可能的專家能力來源。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

結(jié)果如上圖所示,高判斷能力的研究人員在評估模型生成的候選物時更重視科學(xué)訓(xùn)練和類似材料的經(jīng)驗。

此外,他們的「直覺或第六感」也與判斷能力呈正相關(guān)(直覺被視為隱性知識的代表)。

然而,AI技術(shù)的使用經(jīng)驗對這種差異沒有解釋力,因為所有科學(xué)家報告的此前接觸AI的經(jīng)驗都較少。

與此一致的是,判斷能力的差異隨著時間逐漸顯現(xiàn)。支持領(lǐng)域知識重要性的證據(jù)表明,處于判斷能力上四分位數(shù)的科學(xué)家發(fā)表與其研究材料相關(guān)學(xué)術(shù)論文的概率是其三倍多。

這些結(jié)果強(qiáng)調(diào)了領(lǐng)域知識在評估AI建議時的重要性。機(jī)器學(xué)習(xí)的視角表明,頂尖科學(xué)家在材料設(shè)計問題上能夠識別出模型未捕捉的特征。

因此,將人類反饋納入算法預(yù)測中可能是科學(xué)發(fā)現(xiàn)的一個潛在途徑。從經(jīng)濟(jì)學(xué)的角度來看,這些發(fā)現(xiàn)展示了算法與專業(yè)知識在創(chuàng)新過程中的互補關(guān)系,尤其強(qiáng)調(diào)了「判斷模型建議」這一新研究技能的重要性,這種技能能夠增強(qiáng)AI技術(shù)的效力。

有人曾推測大數(shù)據(jù)和機(jī)器學(xué)習(xí)會使領(lǐng)域知識過時,但在材料科學(xué)領(lǐng)域情況并非如此。事實上,只有具備足夠?qū)I(yè)知識的研究人員才能充分發(fā)揮AI技術(shù)的作用。

缺乏判斷力易被淘汰在作者研究的過程中,實驗室通過調(diào)整雇傭和管理來應(yīng)對研究過程的變化。該公司對其研究團(tuán)隊進(jìn)行了重組,解雇了約3%的研究人員,并在此基礎(chǔ)上通過增加招聘進(jìn)一步擴(kuò)大了團(tuán)隊規(guī)模。

在實驗結(jié)束后,實驗室重新設(shè)計了其招聘和解聘標(biāo)準(zhǔn),優(yōu)先考慮具備較強(qiáng)判斷力的科學(xué)家。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加。∪狈ε袛嗔⒈惶蕴

按判斷力四分位數(shù)劃分的解雇或重新分配的概率

實驗室的這種調(diào)整體現(xiàn)了勒沙特利原理(LeChatelier Principle),即隨著時間推移,實驗室能夠?qū)ぞ弋a(chǎn)生更強(qiáng)烈的反應(yīng),因為它可以重新優(yōu)化更多的投入。

作者也指出,由于實驗室的這種組織調(diào)整,AI的長期影響可能會被當(dāng)前的估計低估。這意味著,如果實驗室在招聘和人員配置上逐步適應(yīng)AI輔助的工作模式,AI的影響可能在未來會更加顯著,從而進(jìn)一步提升研究效率和發(fā)現(xiàn)率。

AI提升了效率,卻剝奪了研究樂趣

通過問卷調(diào)查,作者探討了這些變化對科學(xué)家工作滿意度和對人工智能看法的影響。除了直接的福利影響,這些結(jié)果還揭示了AI如何可能影響誰會選擇成為科學(xué)家、他們進(jìn)入哪些研究領(lǐng)域,以及他們傾向于培養(yǎng)的技能。AI對科學(xué)家工作滿意度的影響可能有不同的表現(xiàn)。一方面,它可能通過提升能力和增加科學(xué)發(fā)現(xiàn)的速度來提高士氣;另一方面,它也可能使工作變得不那么令人愉快,因為重點轉(zhuǎn)移到了不那么有趣的任務(wù)上。

為調(diào)查這些因素的相對重要性,作者收集了工作滿意度在三個方面的變化:生產(chǎn)力變化帶來的影響、任務(wù)重新分配帶來的影響,以及總體影響。

在下圖中,結(jié)果以-10到10的尺度顯示,并按最初生產(chǎn)力的四分位數(shù)進(jìn)行分組。結(jié)果顯示出兩種相反的趨勢:任務(wù)變化帶來的負(fù)面影響,以及生產(chǎn)力提升帶來的大多是正面影響。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加。∪狈ε袛嗔⒈惶蕴

任務(wù)重新分配的影響在各個四分位數(shù)中始終為負(fù),從-4.1到-4.8不等。盡管生產(chǎn)力提升帶來的樂趣部分抵消了這一負(fù)面影響,特別是在高能力科學(xué)家中。但總體而言,82%的研究人員的滿意度有所下降。

在下圖中,作者列出了科學(xué)家不喜歡任務(wù)變化的主要原因。最常見的抱怨是技能未被充分利用(73%),其次是任務(wù)變得缺乏創(chuàng)造性且更為重復(fù)(53%)。此外,有21%的科學(xué)家擔(dān)心成果歸屬問題,19%則對AI工具的復(fù)雜性感到不滿。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加。∪狈ε袛嗔⒈惶蕴

這些數(shù)據(jù)反映了快速技術(shù)進(jìn)步帶來的適應(yīng)難度。正如一位科學(xué)家所言:「雖然我對AI工具的表現(xiàn)印象深刻……但我不禁覺得自己多年的教育變得毫無用處。這不是我所受的訓(xùn)練!

這些結(jié)果對AI主要會自動化枯燥任務(wù)、讓人類專注于更有價值活動的觀點提出了質(zhì)疑。相反,該工具自動化的正是科學(xué)家們最感興趣的任務(wù)為新材料創(chuàng)造想法。

這反映了AI與以往技術(shù)的根本差異。過去的技術(shù)創(chuàng)新主要在處理例行、可編程的任務(wù)方面表現(xiàn)出色,而深度學(xué)習(xí)模型則通過識別訓(xùn)練數(shù)據(jù)中的模式來生成新穎的輸出。

科學(xué)家們的反饋還表明,組織實踐會影響AI帶來的福利效應(yīng)?茖W(xué)家不僅關(guān)心自身的生產(chǎn)力,還在意相對于同事的表現(xiàn)。因此,盡管研究產(chǎn)出有所增加,但處于生產(chǎn)力底部四分位的科學(xué)家對自己的工作滿意度卻有所下降,這與公司的晉升實踐相一致,因為晉升決策基于相對績效。

下圖展示了科學(xué)家們對五個AI相關(guān)陳述的認(rèn)同水平在AI引入前后的變化。

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加劇!缺乏判斷力將被淘汰

可見,他們越來越相信AI會提高所在領(lǐng)域的生產(chǎn)力。對于AI取代崗位的擔(dān)憂則基本保持穩(wěn)定,這可能反映了人類判斷力的持續(xù)需求。

此外,科學(xué)家們更加認(rèn)為AI將改變他們工作中取得成功所需的技能,因此,計劃重新學(xué)習(xí)新技能的研究人員數(shù)量顯著增加。

最后,科學(xué)家們對自己所選領(lǐng)域的滿意度有所下降,這與前面發(fā)現(xiàn)的工作滿意度下降一致。

作者簡介

MIT 76頁深度報告:AI加速創(chuàng)新馬太效應(yīng),科學(xué)家產(chǎn)出分化加!缺乏判斷力將被淘汰

Aidan Toner-Rodgers是麻省理工學(xué)院經(jīng)濟(jì)學(xué)二年級博士生。之前,他從麥卡利斯特學(xué)院畢業(yè)后曾在紐約聯(lián)儲工作過。

他的研究主要集中在科學(xué)與創(chuàng)新的經(jīng)濟(jì)學(xué),運用產(chǎn)業(yè)組織、博弈論和勞動經(jīng)濟(jì)學(xué)的工具。

參考資料:https://conference.nber.org/conf_papers/f210475.pdf

贊助本站

相關(guān)內(nèi)容
AiLab云推薦
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會 | 展會港