以前的人工智能神經(jīng)網(wǎng)絡(luò)，往往“分工明確”、“用情專(zhuān)一”，訓(xùn)練一類(lèi)數(shù)據(jù)集只能推理完成一類(lèi)任務(wù)，對(duì)其他類(lèi)別的任務(wù)愛(ài)莫能助。原來(lái)的AI預(yù)訓(xùn)練模型也是如此，自然語(yǔ)言處理只搞自然語(yǔ)言處理，計(jì)算機(jī)視覺(jué)只搞計(jì)算機(jī)視覺(jué)，機(jī)智客覺(jué)得，雖然隨著技術(shù)發(fā)展，后來(lái)的大模型“打破世俗的偏見(jiàn)”，開(kāi)始跨界，多模態(tài)成為新的技術(shù)風(fēng)向，比如可以用于NLP的還可以用于CV。不過(guò)多數(shù)情況下，還是一個(gè)蘿卜一個(gè)坑，特定的AI有特定的應(yīng)用，難有通用AI。
而現(xiàn)在，人工智能界的扛把子DeepMind似乎將通用人工智能向前推進(jìn)了一步。他們推出了一款新的具備通才的AI智能體Gato，說(shuō)它具備通才，是因?yàn)樗艽笠?guī)模語(yǔ)言建模的啟發(fā)而構(gòu)建，具有多模態(tài)、多任務(wù)、多具身（embodiment）特點(diǎn)。
具體一點(diǎn)就是，這個(gè)被成為Gato的AI智能體，不僅能作用于游戲比如玩雅達(dá)利游戲，而且還能作用于圖像比如給圖像添加字幕；不僅能作用于NLP比如用來(lái)聊天，而且還能作用于操作比如用機(jī)械臂堆疊積木�？芍^一次訓(xùn)練，到處使用。
而且在細(xì)化一點(diǎn)，具體到玩游戲，Gato也不僅僅只能玩一種游戲，它雖然采用相同的訓(xùn)練模型，然而卻跟有腦子一樣的人一樣，能玩轉(zhuǎn)多種游戲。切換到這個(gè)游戲，能玩，再切換到另外不同的游戲，依然能玩。這個(gè)是不是有點(diǎn)酷呢？
那么這么酷的AI是怎么訓(xùn)練出來(lái)的？據(jù)了解天生具備多種模式的它，訓(xùn)練當(dāng)然也需要包括不同模態(tài)的數(shù)據(jù)，如圖像、文本、本體感覺(jué)（proprioception）、關(guān)節(jié)力矩、按鈕按壓以及其他離散和連續(xù)的觀察和行動(dòng)。
而多模態(tài)數(shù)據(jù)集，畢竟千差萬(wàn)別，不是同類(lèi)，所以并不能直接使用，而是從數(shù)據(jù)序列轉(zhuǎn)化為一個(gè)扁平的token序列。而在這個(gè)扁平的序列中，Gato則是從類(lèi)似于標(biāo)準(zhǔn)的大規(guī)模語(yǔ)言模型進(jìn)行訓(xùn)練和采樣。而在部署過(guò)程中，它可以根據(jù)上下文組合成對(duì)話響應(yīng)、字幕、按鈕按下或其他動(dòng)作。這也是它為什么會(huì)操作機(jī)械臂執(zhí)行各種連續(xù)的動(dòng)作的一個(gè)原因。
總而言之，DeepMind這款A(yù)I智能體，不再像以前那樣由單一的同類(lèi)訓(xùn)練集訓(xùn)練執(zhí)行單類(lèi)的任務(wù)，而是博采眾長(zhǎng)，糅合多種AI領(lǐng)域，比如強(qiáng)化學(xué)習(xí)啦計(jì)算機(jī)視覺(jué)啦自然語(yǔ)言處理啦，有機(jī)結(jié)合到一塊，映射到同一的空間用于同一套參數(shù)來(lái)表達(dá)，不可謂不厲害。
雖然這款A(yù)I智能體的參數(shù)量并不多，算是試水之作，不過(guò)很顯然它提供了一個(gè)思路，證明了可以將CV、NLP乃至RL結(jié)合起來(lái)，機(jī)智客覺(jué)得這也許是為以后的人工智能技術(shù)發(fā)展提供了一個(gè)新的探索方向吧，或許以后新的技術(shù)分支和更“聰明”的AI正在孕育。讓我等升斗小民一起等待新的技術(shù)突破吧。
