World Labs正進一步改善所生成3D場景的大小和真實度。
來源|多知
作者|王上
12月3日，李飛飛創(chuàng)立的“World Labs”剛剛發(fā)布了一個最新的AI系統(tǒng)僅憑一張圖片，AI就能生成一個真實、可互動的3D場景。World Labs表示，這是邁向空間智能的第一步。
與生成靜態(tài)內(nèi)容的 AI 圖像/視頻生成器不同，World Labs 的系統(tǒng)可創(chuàng)建持久的 3D 環(huán)境，即使用戶從不同角度探索，也能保持一致。“大多數(shù)生成式人工智能工具都是制作圖片或視頻等 2D 內(nèi)容”，World Labs 寫道�！叭S生成則提高了控制力和一致性”�？梢哉f，這是一個突破性技術(shù)。
不論是Midjourney、FLUX，還是Runway、DreamMachine以及谷歌推出“世界模型”Genie，大多數(shù)GenAI工具僅能制作圖像/視頻2D內(nèi)容。
World Labs的AI系統(tǒng)則超越了傳統(tǒng)生成模型的單純像素預測，轉(zhuǎn)而直接渲染出完整的3D場景，且場景具有高度的交互性和自由度，用戶可以通過鍵盤或鼠標自由控制視角，甚至可以像玩游戲一樣探索這個虛擬世界。
當前，3D生成式AI的應(yīng)用范圍已擴展到視頻游戲、電影、建筑甚至教育等領(lǐng)域，World Labs推出的AI系統(tǒng)將有望改變這些領(lǐng)域。
3D AI系統(tǒng)對教育領(lǐng)域來說有很多的應(yīng)用場景，未來有更大的想象空間：
第一，如果裸眼即可實現(xiàn)3D效果，那么意味著可以直接進行沉浸式學習，使學生在模擬的三維環(huán)境中進行學習和探索。這比較適合學習立體幾何、物理、生物、醫(yī)學等科目，還可以用于偏實操性的職業(yè)教育的教學中。
第二，3D場景也可以與智能硬件結(jié)合，加強交互體驗。此外，學生可以通過虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)技術(shù)，與3D模型互動，進行模擬實驗或歷史場景重現(xiàn)。
第三，與其他AI產(chǎn)品結(jié)合，如在虛擬環(huán)境中學習口語等。
李飛飛被譽為“AI教母”，現(xiàn)為斯坦福大學計算機科學教授，美國工程院院士，美國國家醫(yī)學院院士。她的專業(yè)領(lǐng)域是計算機視覺和認知神經(jīng)科學。2023年，她入選了《時代》周刊100個最具影響力AI人物。
2009年，李飛飛發(fā)布了當時人工智能史上最大的人工編輯的圖像數(shù)據(jù)集 ImageNet，并于2010年創(chuàng)辦了 ImageNet 挑戰(zhàn)賽（ILSVRC），極大地推動了計算機視覺識別能力的進步。除了短暫在谷歌工作之外，李飛飛一直在學術(shù)界任職。
李飛飛也在積極推進人工智能的教育與研究，她于2019年在斯坦福大學成立了以人為本人工智能研究院（HAI），確保人類能在人工智能中受益。在此之前，李飛飛還和同事們成立了AI4All項目，給女性和有色人種、困難學生等人群提供人種智能課程。
今年4月，李飛飛首次下場開始自創(chuàng)業(yè)，專注于空間智能，9月，這家名為World Lab正式亮相，該團隊集合了李飛飛的學生和相關(guān)領(lǐng)域的知名技術(shù)人員。
其中，Justin Johnson 是李飛飛的學生，也是技術(shù)大牛；Ben Mildenhall在 Nerf 方面具有開創(chuàng)性的貢獻；Christopher Lassner，他在計算機圖形學領(lǐng)域很有名。
（World Labs創(chuàng)始人團隊，左起依次為Ben Mildenhall、Justin Johnson、Christoph Lassner和李飛飛）
公開信息顯示，World Labs已經(jīng)獲得2.3億美元的投資，投資者包括 Andreessen Horowitz (a16z)、Ashton Kutcher、英特爾資本、AMD Ventures 和谷歌前CEO埃里克-施密特(Eric Schmidt)。該公司的估值超過 10 億美元，顯示了資本看好“空間智能”技術(shù)的未來。
此前，李飛飛在接受a16z的專訪時提到，視覺空間智能非常根本，與語言一樣根本。可以說，圖像和視頻生成的下一步將依賴于“空間智能”技術(shù)的進步，而World Labs正在朝著這個方向努力。
“我認為我們實際上現(xiàn)在正處于寒武紀大爆發(fā)過程中，因為現(xiàn)在不只是文本，像素、視頻、音頻方面都在出現(xiàn)可能的 AI 應(yīng)用和模型。所以這是一個非常激動人心的時刻�！崩铒w飛在專訪中說到。
所謂空間智能，Justin Johnson曾在接受a16z的專訪時解釋，空間智能是機器在三維空間和時間中以三維方式感知、推理和行動的能力，這能幫助它理解事物在三維空間和時間（4D）中的位置，事物的交互方式。這是將 AI 從大型數(shù)據(jù)中心帶出來，放入 3D/4D 世界中，使其理解這個世界的豐富性。
目前，World Labs邁出了空間智能技術(shù)的重要一步。根據(jù)World Labs 官網(wǎng)介紹，3D場景AI系統(tǒng)的優(yōu)勢在于：
持久現(xiàn)實：一旦一個3D場景被生成，它就會一直存在。如果你看向別處再回來，場景不會發(fā)生變化。
實時控制：在生成一個場景后，你可以實時地在其中移動。你可以停留在一朵花的細節(jié)上，或者繞過一個角落去看看有什么新發(fā)現(xiàn)。
正確的幾何學：生成的世界遵循基本的3D幾何物理規(guī)則。它們具有實體感和深度感，這與一些AI生成視頻的夢幻性質(zhì)形成對比。
用戶還可以應(yīng)用實時相機效果，如景深調(diào)整和推拉變焦，類似于傳統(tǒng)的電影制作技術(shù)。該技術(shù)還支持更多交互式 3D 效果，如動態(tài)照明變化和場景修改等功能，甚至還可以修改動畫效果，還可以基于瀏覽器進行實時渲染。
（推拉聚焦效果）
（調(diào)整視野效果）
李飛飛本人也在社交平臺分享了這一成果，表示：“雖然很難用語言完全描述這種通過一張圖片或一句話就能生成的3D場景互動體驗，但我相信它會給大家?guī)砣碌母惺�。�?/strong>
World Labs 聯(lián)合創(chuàng)始人賈斯汀約翰遜 (Justin Johnson) 所指出的那樣，如今創(chuàng)造互動式沉浸式場景需要多年的開發(fā)時間和巨額預算。借助 AI 生成的世界模型，他們希望讓這個過程更快、更方便，從而讓人人擁有創(chuàng)造力。
這種技術(shù)不僅是藝術(shù)創(chuàng)作的巨大工具，也為虛擬現(xiàn)實(VR)提供了無限可能，網(wǎng)友們紛紛表示，這項技術(shù)可能是VR應(yīng)用的一次重大飛躍。
不少知名人士也為此點贊，Shopify創(chuàng)始人Tobi Lutke稱其為“AI領(lǐng)域的一次革命”，他認為這項技術(shù)將會徹底改變創(chuàng)作與互動體驗。
許多網(wǎng)友認為，World Labs的技術(shù)讓人“大開眼界”，AI能夠從單張圖片生成這樣的世界，不僅讓游戲和電影的制作方式發(fā)生變革，還將極大提升設(shè)計、教育、藝術(shù)等領(lǐng)域的創(chuàng)作效率。
還有網(wǎng)友指出，今天，World Labs開啟了人工智能內(nèi)容創(chuàng)作的新時代。在3D AI的引領(lǐng)下，在講故事和創(chuàng)造力將有無限可能。
目前，World Labs的系統(tǒng)已經(jīng)進入內(nèi)測階段，創(chuàng)作者和開發(fā)者們均搶先體驗，并開始在實際項目中運用這項技術(shù)。
接下來，World Labs正進一步改善所生成3D場景的大小和真實度。
