金磊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
別再怕圖片搜索結(jié)果牛頭不對馬嘴了，你可以試試這個精準(zhǔn)圖片搜索，來自O(shè)penAI最新的技術(shù)CLIP。
只需一句“大白話”描述，便能給出想要的圖片。
例如輸入：
The word love written on the wall
就會得到這樣的結(jié)果：
可以說是相當(dāng)?shù)木珳?zhǔn)了！這就是今天在Reddit上爆火的一個項(xiàng)目。
這個項(xiàng)目利用到的，便是OpenAI前不久頻頻刷屏的DALLE中的核心模塊CLIP，一個負(fù)責(zé)重排序（rerank）的模型。
這個項(xiàng)目使用谷歌Colab Notebook，而且在線、免費(fèi)，包含200萬圖片數(shù)據(jù)集，最重要的是效果還非常的精準(zhǔn)。
不禁引得網(wǎng)友直呼“Amazing”。
簡單幾步，“大白話”在線精準(zhǔn)搜圖
這個項(xiàng)目之所以如此火爆，操作簡單是很重要的一個原因之一。
首先要做的，就是點(diǎn)開該項(xiàng)目在Colab Notebook中的地址（見文末鏈接），登陸自己的賬號。
至于環(huán)境配置、包或庫的調(diào)用，這個項(xiàng)目非常貼心的已經(jīng)做好了，只需要依次點(diǎn)擊cell左側(cè)的小三角，等待運(yùn)行完成即可。
最后，來到包含如下代碼的cell：
search_query = “Two dogs playing in the snow”
點(diǎn)擊運(yùn)行這個cell，便可得到搜索圖片的結(jié)果，例如：
當(dāng)然，這個程序似乎很懂人，若是輸入“當(dāng)你的代碼跑通時的情緒”：
The feeling when your program finally works
得到的結(jié)果，和正常人想象中的應(yīng)該是一致的：
為什么CLIP搜圖能如此精準(zhǔn)？
OpenAI前不久推出的DALLE，主要能實(shí)現(xiàn)的功能就是 可以按照文字描述、生成對應(yīng)圖片。
而其呈現(xiàn)給我們的最終作品，其實(shí)是它生成大量圖片中的一部分。
在中間過程中，其實(shí)也有排名、打分的帥選過程。
這部分的任務(wù)，便是由CLIP來完成：
越是它看得懂、匹配度最高的作品，分?jǐn)?shù)就會越高，排名也會越靠前。
這種結(jié)構(gòu)，有點(diǎn)像是利用生成對抗文本，以合成圖像的GAN。
不過，相比于利用GAN擴(kuò)大圖像分辨率、匹配圖像-文本特征等方法，CLIP則選擇了直接對輸出進(jìn)行排名。
據(jù)研究人員表示，CLIP網(wǎng)絡(luò)的最大意義在于，它緩解了深度學(xué)習(xí)在視覺任務(wù)中，最大的兩個問題。
首先，它降低了深度學(xué)習(xí)需要的數(shù)據(jù)標(biāo)注量。
相比于手動在ImageNet上，用文字描述1400萬張圖像，CLIP直接從網(wǎng)上已有的“文字描述圖像”數(shù)據(jù)中進(jìn)行學(xué)習(xí)。
此外，CLIP還能“身兼多職”，在各種數(shù)據(jù)集上的表現(xiàn)都很好（包括沒見過的數(shù)據(jù)集）。
但此前的大部分視覺神經(jīng)網(wǎng)絡(luò)，只能在訓(xùn)練的數(shù)據(jù)集上有不錯的表現(xiàn)。
例如，CLIP與ResNet101相比，在各項(xiàng)數(shù)據(jù)集上都有不錯的檢測精度，然而ResNet101在除了ImageNet以外的檢測精度上，表現(xiàn)都不太好。
具體來說，CLIP用到了零樣本學(xué)習(xí)（zero-shot learning）、自然語言理解和多模態(tài)學(xué)習(xí)等技術(shù)，來完成圖像的理解。
例如，描述一只斑馬，可以用“馬的輪廓+虎的皮毛+熊貓的黑白”。這樣，網(wǎng)絡(luò)就能從沒見過的數(shù)據(jù)中，找出“斑馬”的圖像。
最后，CLIP將文本和圖像理解結(jié)合起來，預(yù)測哪些圖像，與數(shù)據(jù)集中的哪些文本能完成最好的配對。
網(wǎng)友：機(jī)器人（bot）可能不太高興
在驚嘆CLIP用“大白話”搜索圖片效果之余，一位Reddit網(wǎng)友還發(fā)現(xiàn)了一個比較有意思的搜索結(jié)果。
他在文本描述的代碼部分輸入：
What image best represents how you feel right now？
這句話在我們?nèi)祟愌壑�，�?yīng)當(dāng)是詢問AI的語氣了，然后出來的圖片結(jié)果是這樣的：
還有這樣的：
嗯，看來是被“玩多了”，AI寶寶有點(diǎn)小脾氣了。
