劃重點
01李飛飛教授創(chuàng)立的World Labs公司專注于研究空間智能，認為視覺空間智能與語言一樣根本。
02該公司團隊包括計算和數(shù)據(jù)領域的專家，如Justin Johnson和Christopher Lassner等。
03空間智能技術有望應用于世界生成、AR/VR領域以及幫助AI智能體在現(xiàn)實世界中執(zhí)行任務等場景。
04目前，World Labs正致力于構建并實現(xiàn)空間智能的夢想，期待在未來解鎖更多可能性。
以上內容由騰訊混元大模型生成，僅供參考
機器之心報道
機器之心編輯部
不久之前，李飛飛教授的空間智能創(chuàng)業(yè)公司 World Labs 以及全明星的創(chuàng)業(yè)陣容正式亮相。
隨后，李飛飛與另一位聯(lián)合創(chuàng)始人 Justin Johnson 接受了 a16z 的專訪。
在這次訪談播客中，李飛飛重點分享了 AI 領域新的研究前沿：空間智能。她說：「視覺空間智能非常根本，與語言一樣根本」。
節(jié)目中，她首先介紹了自己的早期貢獻 ImageNet 對計算機視覺發(fā)展的影響。之后介紹了計算和數(shù)據(jù)在 AI 發(fā)展中的作用。
然后，她定義了 AI 的終極目標以及空間智能在這其中所扮演的重要角色。最后，她介紹了自己的 World Labs 團隊以及度量空間智能發(fā)展進展的方式。
在本文中，機器之心對此次專訪的核心內容進行了整理。感興趣的讀者也可以查看下面的完整視頻。
視頻鏈接：https://mp.weixin.qq.com/s/N5iKQAEHm0V1MQqioQgR5g
李飛飛教授另辟蹊徑的ImageNet項目靈感來源
主持人：過去兩年出現(xiàn)了很多消費級 AI 公司。但您其實已經(jīng)在這個領域深耕了幾十年，您是一路看著 AI 發(fā)展到如今的并且做出過非常關鍵的貢獻�，F(xiàn)在正是激動人心的時刻，對嗎？
李飛飛：回望過去，AI 確實正處在一個激動人心的時刻。我個人已經(jīng)在這個領域 20 多年了，而現(xiàn)在我們已經(jīng)走出了最后一個 AI 寒冬。我們已經(jīng)見證了現(xiàn)代 AI 的誕生，看到了深度學習的爆發(fā)，向我們展示了下棋等可能性，但隨后我們開始看到技術的深化以及產(chǎn)業(yè)界開始采用 AI（如語言模型）。我認為我們實際上現(xiàn)在正處于寒武紀大爆發(fā)過程中，因為現(xiàn)在不只是文本，像素、視頻、音頻方面都在出現(xiàn)可能的 AI 應用和模型。所以這是一個非常激動人心的時刻。
主持人：請介紹一下你們自己。
Johnson：我最早是在研究生階段開始研究 AI。我在加州理工大學讀了數(shù)學和計算機科學。但在快畢業(yè)時，有一篇當時非常著名的論文問世，是當時谷歌大腦的 Quoc V. Le 和吳恩達等人的論文。那是我首次接觸到深度學習這個概念，然后它就決定了我未來十幾年的生活：使用強大的算法，輔以大量算力和海量數(shù)據(jù)，就能得到一些神奇的結果。那是在 2011 或 2012 年，當時我就決定這是我以后要做的事情。而當時在斯坦福的李飛飛是少數(shù)正在研究 AI 的人。那是深度學習和計算機視覺發(fā)展的一個特殊時期 那時候，新興的技術才剛剛開始有效果并獲得應用，比如判別式計算機視覺開始可以分辨圖像中的內容，早期的生成式 AI 也開始出現(xiàn)了。
實際上，在我博士階段那段時間，學術界搞清楚了很多現(xiàn)在常用的核心算法。每天早上起床看新論文就好像在圣誕節(jié)打開禮物一樣。每天都會有一些驚人的新發(fā)現(xiàn)、驚人的新應用或算法。而過去一兩年世界上的所有人都有了這種感覺，但對于我們這些有很長經(jīng)驗的人來說，這種感覺已經(jīng)持續(xù)了很長時間了。
李飛飛：很明顯，我比 Justin 大很多。我是從另一個角度進入 AI 的，即物理學，因為我的本科背景是物理學。物理學是一門教你大膽思考問題，探求世界上剩余未知的學科。當然，物理學關注的是原子世界、宇宙之類的，但這卻以某種方式讓我進入了一個真正抓住了我的想象力的領域：智能。我在加州理工大學完成了人工智能和計算神經(jīng)科學的博士學位。所以 Justin 和我實際上并沒有重疊，但我們的母校都是加州理工大學并且有同一位導師。是的，同一位導師，你的本科導師和我的博士導師都是 Pietro Perona。
我在讀博士時，是 AI 在公眾眼中還處于冬天的時候，但在我的眼中不是冬天，是春季前的冬眠。實際上生機勃勃。機器學習和統(tǒng)計建模的能力切實地越來越強大。我認為我們是機器學習和 AI 世代，而現(xiàn)在是深度學習世代。機器學習是深度學習的先驅。
在我博士結束開始助理教授生涯的那段時間，有一個之前常被人忽視的因素開始生效了，那就是數(shù)據(jù)。我實驗室的學生可能比大多數(shù)人更早意識到了這個基本點：如果讓數(shù)據(jù)驅動模型，就可以釋放出前所未見的力量。這就是基于 ImageNet 的研究瘋狂發(fā)展的原因。
那時候，計算機視覺和 NLP 社區(qū)都有各自的數(shù)據(jù)集，都很校但只要能獲得互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)集，就必定大有作為。幸運的是，那時候，互聯(lián)網(wǎng)時代也正在到來。在那股浪潮中，我來到了斯坦福。
主持人：這就是時代的轉變！圖像處理是一個時代。Transformer 和 Stable Diffusion 都是不同的時代。這些技術解鎖了我們的發(fā)展?jié)摿�，可以這樣說嗎？還是說有其它東西解鎖了我們的發(fā)展?jié)摿Γ?/p>
Johnson：我認為真正解鎖發(fā)展?jié)摿Φ淖畲笠蛩厥怯嬎恪１M管人們也常提及這一點，但我認為人們還是低估了它。過去十年中，計算能力的增長令人震驚。第一篇真正被認為是深度學習計算機視覺突破時刻的論文是 AlexNet，這是 2012 年的一篇論文。
其中一個深度神經(jīng)網(wǎng)絡在 ImageNet 挑戰(zhàn)中表現(xiàn)非常出色，并且超越了飛飛研究的所有其他算法。AlexNet 神經(jīng)網(wǎng)絡有 6000 萬參數(shù)，在 2 臺 GTX580 上訓練了 6 天，那是當時的頂級消費級顯卡，于 2010 年推出。而現(xiàn)在最強大的應該是英偉達 GB200。猜猜看 GTX580 和 GB200 的計算能力差多少倍？數(shù)千倍。也就是說，如果在單臺 GB200 上訓練 AlexNet，所需時間不超過 5 分鐘。
李飛飛：2012 年 AlexNet 在 ImageNet 上取得的突破彰顯了一個非常經(jīng)典的模式。要知道，卷積神經(jīng)網(wǎng)絡發(fā)表于 1980 年代。我記得我在讀研究生時還學習過它，大概有 6、7 層。AlexNet 和早期卷積神經(jīng)網(wǎng)絡的唯一區(qū)別就是有更強大的 GPU 和更多數(shù)據(jù)。
主持人：是的，我相信大家都知道那個著名的「苦澀的教訓」。也就是對于一個算法，不要吝惜計算，要盡可能地使用所有可用的計算。另一個方面是數(shù)據(jù)，你們怎么看
Johnson：是的，數(shù)據(jù)很重要。在我看來，數(shù)據(jù)方面也分為兩個時代。第一個時代是 ImageNet 為代表的監(jiān)督學習世代。這時候，我們空有大量數(shù)據(jù)，卻不知道如何使用它們 我們能獲得大量圖像數(shù)據(jù)，但需要人們去標注它們。而在新的時代，我們不再需要人類標注就能進行訓練。
主持人：我沒有 AI 背景，但聽起來你似乎還是要使用人類標注的數(shù)據(jù)進行訓練，只是這些標注是隱式的。
李飛飛：從哲學角度看，這是一個非常重要的問題。但實際上這個說法更適用于語言，而不是像素。
主持人：是的，所以說視頻片段還是有人類標注的。注意力就是人類已經(jīng)搞清楚了事物之間的關系，然后讓 AI 學習它們。只是這些標注是隱式的。
Johnson：可以這么說。但區(qū)別在于，在監(jiān)督學習時代，學習任務會受到更多限制。因為當時對數(shù)據(jù)的標注必須非常準確，飛飛當時就要和她的學生們花很多時間去想該把哪些分類放入 ImageNet 挑戰(zhàn)之中。
主持人：過去都是預測建模，大概四年前，我們開始進入生成式 AI 時代。在我看來，它們非常不一樣。但你們認為這些是連續(xù)發(fā)展的過程嗎？
李飛飛：這個問題很有趣。實際上在我讀研究生時，生成式模型就已經(jīng)存在了。我們當時嘗試過做生成式模型，生成字母和數(shù)字之類的，但沒人記得了。但我們確實嘗試過，Geoffrey Hinton 寫過這方面的論文。實際上，如果你從概率分布的角度來思考，那么就可以從數(shù)學上進行生成。只是這樣的生成結果不會給人留下深刻印象。所以生成的概念在數(shù)學和理論上早已存在，但沒有任何作用。這里就要說到 Justin 的博士生涯了。他的博士生涯就反映了這個領域的故事。他的第一個項目是一個數(shù)據(jù)項目，我強迫他做的，他不喜歡。
Johnson：回想起來，我學到了很多非常有用的東西。
李飛飛：我很高興你現(xiàn)在這么說。所以我讓 Justin 轉向了深度學習，他研究的是基于圖像生成文本。
Johnson：實際上這個故事分為三個階段。第一個階段是圖像 - 文本匹配。實際上我博士階段的第一篇論文和第一份學術出版物就是關于使用 Scene Graph 進行圖像檢索。
李飛飛：之后我們開始研究基于像素生成文本，但這仍然是一種非常有損的方式，無法將像素世界的信息有效地轉移到文本世界。而 Justin 在此做了一項非常著名的研究，成功地讓這個過程做到了實時實現(xiàn)。
Johnson：2015 年時有一篇論文，是 Leon Gatys 等人提出的一種實現(xiàn)藝術風格的神經(jīng)算法。該算法可以將真實照片轉換成梵高風格�，F(xiàn)在我們已經(jīng)習慣了這樣的應用，但在 2015 年，這很有開創(chuàng)性。那天這篇論文出現(xiàn)在 arXiv 里面，讓我腦洞大開。我當時想，我一定要理解這個算法。我想玩這個算法，我想把我自己的形象制作成梵高風格。然后我仔細研讀了這篇論文，并在一個周末里重新實現(xiàn)了它，理解了它的工作方式。
這實際上是一個非常簡單的算法，大概就 300 行 Lua 代碼。雖然簡單，但速度很慢。這就是一個優(yōu)化過程。如果想要生成一張圖像，就需要運行這個優(yōu)化循環(huán)。生成的圖像很漂亮，但我想讓這個過程更快一點。當時我和其他一些人想出了多種不同的方法來加速這一過程。但我想出的那個吸引了很多關注。
李飛飛：我為 Justin 感到自豪。我也為他在博士階段做的最后一個工作感到自豪。那就是生成式 AI 領域方面的研究：基于輸入的語言生成畫面。這是最早期的生成式 AI 研究之一。那時候用的模型是生成對抗網(wǎng)絡（GAN）。這很難用，并且使用的語言也不是自然語言，而是必須輸入一個 scene graph 語言結構。所以可以看到，從匹配到風格遷移再到生成，這是一個連續(xù)演進的過程；但在外部世界看來，這些就像是突然發(fā)生的一樣。
主持人：現(xiàn)在你們創(chuàng)立的 World Labs 研究的是空間智能。你們?yōu)槭裁礇Q定這么做？
李飛飛：我在我的書也寫到了，我的整個學術之旅實際上就是尋找北極星的激情，我也相信這些北極星對我們領域的發(fā)展至關重要。在我研究生畢業(yè)后，我的北極星是講述圖像故事，這是非常重要的視覺智能。而視覺智能是 AI 和 AGI 的重要組成部分。所以當 Andrej 和 Justin 做到這一點時，我想的是：天啦，那是我的人生夢想！我接下來做什么？它來得比我預想的快，我以為還要再過 100 年呢。
視覺智能是我的熱情所在。因為我相信對于每個智能體，比如人、機器人或其他形式）而言，知道如何看世界、推理世界、在其中互動是非常重要的 無論是導航、操縱還是制造東西，甚至建立文明。視覺空間智能非常根本，與語言一樣根本。所以很自然，我們 World Labs 要做的就是解鎖空間智能，這就是我們的北極星�，F(xiàn)在就是做這件事的時候。就像 Justin 說的，我們現(xiàn)在已經(jīng)有了計算，對數(shù)據(jù)有了更深度的理解，在算法方面也有一些進步。我們還有 Christoph Lassner 和 Ben Mildenhall 這兩位站在研究前沿的聯(lián)合創(chuàng)始人。因此，我們正處于正確的時刻。
主持人：可以更清晰地描述一下什么是空間智能嗎？
Johnson：空間智能是機器在三維空間和時間中以三維方式感知、推理和行動的能力，這能幫助它理解事物在三維空間和時間（4D）中的位置，事物的交互方式。這是將 AI 從大型數(shù)據(jù)中心帶出來，放入 3D/4D 世界中，使其理解這個世界的豐富性。
主持人：你們四位現(xiàn)在出來創(chuàng)立公司，為什么說現(xiàn)在是正確的時刻？
Johnson：過去十年的重點是理解已經(jīng)存在的數(shù)據(jù)，但接下來的十年將是關于理解新的數(shù)據(jù)。我們已經(jīng)有足夠的硬件設備和傳感器來幫助我們理解這個世界。
在 2014 年，我和 Andrej Karpathy 做過一些早期的語言建模工作，比如 LSTM（長短期記憶網(wǎng)絡）、RNN（循環(huán)神經(jīng)網(wǎng)絡）和 GRU（門控循環(huán)單元），那是在 Transformer 之前的時代。但大約在 GPT-2 出現(xiàn)時，這類模型已經(jīng)無法在學術界繼續(xù)進行研究了，因為它們需要的算力太多了。
不過，Ben 提出的 Nerf 方法非常有趣，因為你可以在一兩個小時內在單個 GPU 上訓練這些模型。那時許多研究者開始關注這些問題，因為核心的算法問題還沒有解決，并且你實際上可以在不需要大量計算資源的情況下取得成果。因為只需要一個 GPU 就能達到 SOTA，所以很多學術界的研究者開始轉向思考如何在 Nerf 推動核心算法的進步。
實際上，我在博士期間與飛飛交流時，發(fā)現(xiàn)我們不約而同地達成了相似的結論。
主持人：她非常有說服力。
Johnson：是的（笑）。當時我們都在思考如何從導師那里找到自己的獨立研究方向，結果我們最后找到的是相似的研究路徑。
李飛飛：對我來說，能與最聰明的人討論問題，我首先想到的就是 Justin。這毫無疑問（笑）。
主持人：語言模型的方法現(xiàn)在很流行。這兩者是互補的嗎？還是完全獨立的？比如大家都知道 OpenAI、GPT 以及多模態(tài)模型，那么它們是不是已經(jīng)達到了我們想要的空間推理能力呢？
Johnson：要回答這個問題，我們得稍微解開一下這些系統(tǒng)背后的「黑箱」。對于語言模型和如今的多模態(tài)語言模型，它們的底層表示形式是以一維的方式存在的。
我們談論上下文長度、談論 Transformer 和序列以及注意力機制。它們的基礎是對世界的一維表示。這在處理語言時是非常自然的，因為書寫的文本本質上是一維的、由離散字符組成的序列。這種底層表示形式是促成大型語言模型發(fā)展的原因�，F(xiàn)在的多模態(tài)語言模型則把其他模態(tài)的數(shù)據(jù)硬塞進這個一維的序列表示中。
而當我們談到空間智能時，方向就完全不同了。我們認為本質上，三維應該成為表示的核心。從算法的角度來看，這為我們提供了以不同方式處理數(shù)據(jù)的機會，并從中獲得不同類型的輸出，解決不同的問題。從一個粗略的層面上看，多模態(tài)的大型語言模型（LLMs）也能處理圖像。沒錯，它們確實能做到。但我認為，這些方法并沒有將三維表示作為其核心方法的基矗
李飛飛：我完全認同 Justin 的觀點。1D 和 3D 表征是最核心的區(qū)別之一。另一件事有點哲學意味，但至少對我來說，語言從根本上來說是一種純粹生成的信號。世界上本沒有語言 天上沒有文字。對于語言，無論你輸入什么數(shù)據(jù)，都是在同樣的數(shù)據(jù)上進行泛化，輸出同樣的數(shù)據(jù)。這就是語言到語言。
但在 3D 世界不一樣，3D 世界遵循著物理定律。由于材料和許多其他原因，它自己的結構。并且從根本上支持這些信息并能夠表示和生成它，這從根本上來說是一個完全不同的問題。
主持人：所以語言是一維的，可能不是物理世界的最佳表示形式，它可能損失了很多信息含量。
另一類生成式 AI 模型是基于像素的，它們處理的是 2D 圖像和 2D 視頻。你可以說，當你看一個視頻時，它看起來像是三維的，因為你可以平移相機或進行其他操作。那么，空間智能與 2D 視頻有什么不同呢？
Johnson：思考這個問題時，需要拆解兩件事。第一是底層的表示形式，第二是面向用戶的可操作性。這里比較容易讓人感到困惑，因為從根本上講，我們看到的世界是二維的，對吧？
就像我們有兩只眼睛，我們的視網(wǎng)膜是二維結構。因此，我們的視覺系統(tǒng)實際上是在感知二維圖像。但問題在于，根據(jù)你使用的表示形式，不同的模型會提供更自然或不那么自然的操作方式。即便最終你看到的可能是一個二維圖像或視頻，背后的表示方式?jīng)Q定了它的可操作性。
你的大腦將其感知為三維世界的投影。比如你想移動物體，移動相機，理論上，你可以使用純 2D 表示和模型來實現(xiàn)，但它并不適合你要求模型解決的問題�？梢詫討B(tài)三維世界進行二維投影的建模，但如果將三維表示放在模型的核心位置，問題與表示方式之間會更加匹配。所以我們把賭注押在在底層結構中引入更多的三維表示，這將能夠為用戶提供更好的可操作性。
李飛飛：完全同意。這也回到了我所追尋的北極星 為什么選擇「空間智能」，而不是「平面像素智能」？我認為智能的進化路徑必然像 Justin 所說的那樣，轉向「可操作性」。
回顧生物進化的歷程，動物和人類，這些獲得了智慧的智能生物擁有了在世界中互動、創(chuàng)造文明、甚至隨心所欲地完成各種任務的能力。將這些能力轉化為原生的三維技術，是釋放潛在 AI 應用洪流的關鍵。即便有些應用場景看似是二維的，其核心依然是三維的。
主持人：這確實是一個極其關鍵的觀點�？梢酝ㄟ^一些實際用例，具體談談你們正在創(chuàng)建這個具備空間智能的模型有什么應用場景嗎？
Johnson：這要分幾類講。隨著時間推移，模型將逐步具備更多的功能。其中最讓我興奮的一項是「世界生成」。我們已經(jīng)習慣了使用文生圖工具，最近也看到了不少文生視頻的應用。但是，試想一下，如果將其提升到生成完整的三維世界，你得到的不再僅僅是一張圖片或一個短片，而是一個充滿活力且可交互的三維世界。無論是用于游戲，還是 VR 等應用場景。
李飛飛：也可以用于教育。
Johnson：是啊，這項技術一旦實現(xiàn)，其應用前景將無窮無荊這將開啟一種全新的媒體形式。我們現(xiàn)在已經(jīng)能夠創(chuàng)建虛擬的互動世界，但這需要數(shù)億美元和大量開發(fā)時間。這種技術在經(jīng)濟上唯一可行的模式就是以每件 70 美元的價格賣給數(shù)百萬玩家，以收回投資。
如果我們能降低創(chuàng)建這些成本，更多的應用場景將會不斷涌現(xiàn)。試想，你可以擁有一個個性化的 3D 體驗，其豐富性和細節(jié)程度絲毫不遜色于一款頂級的 3A 大作，但卻是為一個非常小眾的需求量身定制的。雖然這可能不是我們當前產(chǎn)品路線圖上的內容，但這正是空間智能所能帶來的一種全新媒體形式的愿景。
主持人：在生成一個世界時，不僅包括場景生成，還需要生成運動和物理現(xiàn)象。那么在技術發(fā)展到極致時，這些功能是否也包括在內？
其次，如果我與之互動，會包含語義嗎？比如，我打開一本書，里面的文字是否有意義？這將是一個完整的、可以深度體驗的世界，還是一個靜態(tài)場景？
Johnson：這項技術將逐步發(fā)展，想要實現(xiàn)你所描述的這些功能非常困難。因此，我們會先從靜態(tài)問題入手，因為它相對更容易解決。但最終，我們的目標是實現(xiàn)完全動態(tài)、完全可交互的體驗，涵蓋你提到的所有內容。
李飛飛：這就是空間智能的定義。雖然我們會從更靜態(tài)的東西開始，但你提到的所有功能，都是我們空間智能發(fā)展路線圖中的內容。
Johnson：這也是我們的公司名「World Labs」的來源。我們的目標是構建并理解世界。這有點像內部人才懂的梗，我發(fā)現(xiàn)給別人說這個名字時，他們總是沒 get 到。
因為在計算機視覺和生成領域，我們通常會對事物進行劃分。第一級通常是物體，對吧？比如一個麥克風、一杯水或者一把椅子。這些是世界中的離散物體。很多 ImageNet 項目都是識別這些物體。
接下來是場景，場景是多個物體的組合。比如，現(xiàn)在這個錄音室里有桌子、麥克風、幾個人、椅子，這些都是物體的組合。
但是我們的目標是超越場景的世界。場景可能是單個的，但我們想打破邊界，走出房間，穿過門，走上街頭，看到汽車駛過，樹葉隨風搖擺，能夠與萬事萬物互動。
李飛飛：另一個令人興奮的點是 Justin 提到的「新媒體」。這項技術將使得現(xiàn)實世界、虛擬世界、想象中的世界和增強現(xiàn)實之間的界限變得模糊。
由于現(xiàn)實世界是三維的，因此在數(shù)字世界中，必須使用三維表示才能與現(xiàn)實世界無縫融合。你無法通過二維或一維的方式有效地與三維現(xiàn)實世界互動，解鎖這種能力將帶來無限的應用場景。
主持人：剛才 Justin 提到的第一個例子可能更像 AR，對吧？
李飛飛：是的。就在 World Labs 成立的同時，蘋果發(fā)布了 Vision Pro，并提出了「空間計算」的概念，好像是偷走了我們的想法（笑）。
但我們做的是「空間智能」�？臻g計算必然需要空間智能。我們還不確定最終的硬件形態(tài)會是什么，可能是護目鏡、眼鏡甚至隱形眼鏡。但在真實世界和增強現(xiàn)實之間的那個界面，比如你不是專業(yè)技工，但它可以指引如何修車，或者它只是為了玩 Pokémon Go，這最終將成為 AR 和 VR 領域的操作系統(tǒng)。
Johnson：在技術發(fā)展到極致時，AR 設備將有什么用途？它需要一直運行，陪伴在你身邊，觀察你所看到的世界。因此，它需要理解你所看到的事物，可能還要幫助你完成日常任務。
但我也對虛擬和物理世界的融合感到非常興奮。如果你能夠實時、完美地理解周圍的三維環(huán)境，那么這實際上也會淘汰我們現(xiàn)在很多對物理世界的依賴。比如說，現(xiàn)在我們有手機、iPad、電腦顯示器、電視，甚至還有手表。這些屏幕是為了在不同的環(huán)境和位置下向你展示信息。
但如果你能無縫地將虛擬內容與物理世界融合，那么實際上這些不同尺寸的屏幕可能就不再必要了。理想情況下，「空間智能」技術將以最適合當下情境的方式，將你所需要的信息呈現(xiàn)給你。
李飛飛：還有一個巨大的應用場景，就是幫助 AI 智能體在現(xiàn)實世界中執(zhí)行任務。比如你不是專業(yè)技工，但能通 AR 設備完成修理汽車這樣的任務，那么 AI 智能體同樣也能夠做到。比如機器人，它們的交互界面天然就是三維世界。它們的大腦是數(shù)字化的，要將它們學習到的數(shù)據(jù)轉化到現(xiàn)實世界中的執(zhí)行，必將依賴于空間智能。
主持人：對于任何公司來說，這些都是非常廣泛的業(yè)務領域，尤其是要同時涉足每一個領域。那么，你如何看待前沿、深度點技術和這些具體應用領域之間的關系呢？
李飛飛：我們把自己定位為一家深度技術公司，專注于提供可以服務不同應用場景的模型平臺。
主持人：在你們提到的這三類應用中，有沒有哪一類是更適合早期發(fā)展的，你們的公司會優(yōu)先傾向哪個領域？
李飛飛：現(xiàn)在硬件設備還沒完全成熟。
Johnson：我在讀研的時候就買了我的第一臺 VR 頭顯，那是一次改變生活的技術體驗。戴上它的那一刻，我的反應是「天啊，這太棒了」。我想。很多人在第一次使用 VR 時都會有類似的感受。
所以，我對這個領域已經(jīng)期待了很久，我也非常喜歡 Vision Pro。Vision Pro 發(fā)布時，我熬夜訂購了第一批。但是現(xiàn)實情況是，作為一個面向大眾市場的平臺，它還沒有準備好。
李飛飛：因此，作為一家公司，我們很可能會先進入一個更為成熟的市場。
Johnson：不過有時候，簡單也能體現(xiàn)出廣泛的適用性。我們相信，有些根本性的問題如果能夠很好地解決，便可以應用于許多不同的領域。我們將公司的長期愿景定位為構建并實現(xiàn)「空間智能」的夢想。
主持人：聽起來你們有很多技術要開發(fā)。
Johnson：是的，我認為這是一個非常難的問題。對于那些不直接從事 AI 領域的人來說，他們可能會覺得 AI 是一項不分領域的大型技術。然而，對于那些在這個領域耕耘已久的人來說，我們深知要構建任何 AI 項目，需要多種不同類型的專業(yè)人才。
而針對空間智能方面的研究，我們需要高質量、大規(guī)模的工程能力，還需要對三維世界有深刻的理解，另外還要與計算機圖形學領域緊密聯(lián)系。因此，在組建團隊時，我們將考慮如何找到每個領域中世界頂尖的專家，匯聚他們的力量，來共同攻克這一艱難的課題。
李飛飛：當我思考如何為 World Labs 組建最好的創(chuàng)始團隊時，我意識到必須從一群非凡的多學科創(chuàng)始人開始。
當然，這對我來說是很自然的。Justin Johnson 是我最優(yōu)秀的學生、最聰明的技術專家之一。其他人一直名聲很大，其中一人是曾與 Justin 一通合作過的人，Ben Mildenhall，我們談論了他在 Nerf 方面的開創(chuàng)性工作。另一個人是 Christopher Lassner，他在計算機圖形學領域很有名。
此人很有先見之明，在 Gaussian splat 出現(xiàn)前五年就開始研究這種方法并用于 3D 建模了。當我們聽說有與 Christopher Lassner 合作的潛在可能性時，Justin 直接跳了起來。
主持人：Ben 與 Christopher 是我們的傳奇。當然這只是我們團隊的一小部分。必須再次強調一下，這里有很多要構建和工作的地方，不僅僅是在 AI 或圖形方面，還有系統(tǒng)等等。
李飛飛：到目前為止，我個人最自豪的是這支強大的團隊。在我的整個職業(yè)生涯中，我有幸與最聰明的年輕人一起工作。從斯坦福大學當教授開始。不過我們在 World Labs 聚集的人才更真是驚人，我從未見過這種專注度。
我認為這里最重要的區(qū)別在于 我們相信空間智能。所有的多學科人才，無論是系統(tǒng)工程、機器學習、基礎設施、生成式模型、數(shù)據(jù)、圖形，我們所有人，無論是在探求研究之旅、技術之旅，甚至個人愛好，我們相信空間智能即將發(fā)生，并共同努力。這就是我們構建創(chuàng)始團隊的方式。這種專注、動力與才華讓我感到謙卑。我太喜歡這種感覺了。
主持人：你說過你就像在被北極星指引著。這可能就像，你實際上無法觸及它們，但它指引了方向。那么，你如何知道什么時候目標完成了？還是說這是一件終身的事，會無限地持續(xù)下去？
李飛飛：這個世界上存在真正的北極星和概念上的北極星。有些目標是可以達到的。
主持人：比如世界模型里的北極星？
李飛飛：是的。你知道在我看來，解決了這個問題我們就可以找到方向。但我認為對我來說，當很多人、企業(yè)使用我們的模型來釋放他們對空間智能的需求時，那一刻，我們就算達到了一個重要的里程碑。
Johnson：這就是你們工作的影響所在。我認為這是一件非常具有奠基意義的事情，就像宇宙是一個巨大的四維結構，空間智能的主要作用就是理解它的所有深度，并找出其中的所有應用。雖然我們今天心中已有一組特定的想法，但我認為這次旅程會將我們帶到現(xiàn)在無法想象的地方。
李飛飛：技術的魔力在于不斷打開更多的可能性。所以我們會持續(xù)推進，這些可能性將會不斷擴大。
參考鏈接：https://x.com/a16z/status/1837234492630569198
