劃重點(diǎn)
黃仁勛認(rèn)為，傳統(tǒng)面試過程并不總是判斷一個(gè)人是否適合的好方法，他更相信背景調(diào)查。
在解釋英偉達(dá)為何放棄Arm而選擇收購(gòu)Mellanox時(shí)，黃仁勛稱文化融合充滿了挑戰(zhàn)。
黃仁勛始終期待計(jì)算機(jī)能夠展現(xiàn)出智能行為，并堅(jiān)信軟件將讓算法以看似智能的方式解決問題。
為了確保每一代產(chǎn)品都能實(shí)現(xiàn)性能飛躍，英偉達(dá)為每個(gè)系統(tǒng)設(shè)計(jì)了六到七款全新芯片，并通過協(xié)同設(shè)計(jì)的方式，對(duì)整個(gè)系統(tǒng)進(jìn)行徹底的革新。
黃仁勛自曝每天都使用ChatGPT，并相信其推理能力將越來越強(qiáng)，而答案的質(zhì)量卻會(huì)顯著提升。
黃仁勛的許多演講不僅篇幅冗長(zhǎng)，而且內(nèi)容極其專業(yè)精深，但他的表現(xiàn)通常很棒。對(duì)此，他坦言自己無(wú)暇排練，只能硬著頭皮上。
在Arm攜手美國(guó)全國(guó)公共媒體（NPM）精心打造的定制化播客系列《Tech Unheard》的首秀中，英偉達(dá)首席執(zhí)行官黃仁勛作為特邀嘉賓接受了Arm首席執(zhí)行官雷內(nèi)哈斯（Rene Haas）的獨(dú)家專訪。哈斯對(duì)黃仁勛贊譽(yù)有加，認(rèn)為他是一位名副其實(shí)的遠(yuǎn)見卓識(shí)者。
訪談期間，哈斯與黃仁勛深入交流了后者的個(gè)人創(chuàng)業(yè)歷程、人工智能的未來前景，以及英偉達(dá)如何通過其獨(dú)特的持續(xù)創(chuàng)新精神與勃勃雄心，不斷推動(dòng)技術(shù)邊界的拓展。此外，黃仁勛還闡述了如何重塑英偉達(dá)使其聚焦于系統(tǒng)芯片領(lǐng)域，并引領(lǐng)人工智能的工業(yè)革命的幕后故事，同時(shí)他還表達(dá)了對(duì)創(chuàng)新步伐能夠進(jìn)一步加速的渴望。
《Tech Unheard》播客系列共計(jì)12集，哈斯將邀請(qǐng)行業(yè)領(lǐng)袖與政策制定者進(jìn)行一對(duì)一的深度對(duì)話，分享他們的獨(dú)到見解、精彩故事以及對(duì)未來的展望。該系列自美國(guó)當(dāng)?shù)貢r(shí)間2024年10月9日起，每月播放一集，內(nèi)容涵蓋從人工智能的未來展望到構(gòu)建當(dāng)今頂尖技術(shù)與運(yùn)營(yíng)企業(yè)所需的思維模式。
以下為哈斯與黃仁勛對(duì)話全文：
01 如何招募合適的員工和高管？
哈斯：英偉達(dá)如今已發(fā)展得如此龐大，關(guān)于你們的招聘我一直很好奇的是，你們是如何在眾多候選人中識(shí)別出那些將在英偉達(dá)取得成功的人呢？畢竟，你們的公司文化獨(dú)特，行事風(fēng)格也別具一格。
黃仁勛：說實(shí)話，我們?cè)谶@方面并不總是能做得完美，這確實(shí)需要一些運(yùn)氣。我認(rèn)為傳統(tǒng)的面試過程并不總是判斷一個(gè)人是否適合的好方法。畢竟，每個(gè)人都可以通過觀看YouTube上的面試技巧視頻來準(zhǔn)備一場(chǎng)看似建設(shè)性的對(duì)話。當(dāng)然，技術(shù)問題是可以提前準(zhǔn)備的，甚至有人分享過英偉達(dá)的技術(shù)面試題。我們盡量讓面試顯得既嚴(yán)格又具有挑戰(zhàn)性，但說實(shí)話，這仍然很難準(zhǔn)確評(píng)估一個(gè)人。因此，我的方法總是回到背景調(diào)查，我會(huì)去了解他們過去的工作經(jīng)歷和表現(xiàn)。
我之所以這么做，是因?yàn)橐粋�(gè)人可以制造一個(gè)好的瞬間，但很難長(zhǎng)期隱藏自己的過去和真實(shí)能力。所以我認(rèn)為背景調(diào)查是一個(gè)很好的方法。我還會(huì)問一些深入的問題，然后觀察他們的推理過程和思維方式。但我認(rèn)為，英偉達(dá)之所以對(duì)很多人來說都很成功，一方面是因?yàn)槲覀冋业搅藘?yōu)秀的人，另一方面更在于我們創(chuàng)造了條件，讓這些人在這里能夠超越自我，發(fā)揮出比他們自認(rèn)為能做到的更好水平。這很大程度上取決于我們是否透明地解釋了英偉達(dá)的愿景、戰(zhàn)略以及我們的工作方式。我一直很重視這件事，并為此花了很多時(shí)間。我們公司一直以透明地解釋我們所面臨的挑戰(zhàn)、機(jī)遇以及我們正在執(zhí)行的戰(zhàn)略而聞名。
我們的離職率很低，而且，這是一個(gè)非常多元化的環(huán)境，有很多背景各異的有趣的人，我們公司的人幾乎來自世界上所有偉大的公司。在公司內(nèi)部，信息流動(dòng)得非常順暢，特別是關(guān)于公司戰(zhàn)略的信息。我一直覺得奇怪的是，有些公司存在很多信息壁壘，員工需要知道很多信息才能參與決策。當(dāng)然，人們不需要知道所有事情，但他們知道得越多，就越能夠代表公司做出明智的決策。所以我盡量保持透明，盡量讓人們擁有更多的權(quán)力和信息。
因此，我認(rèn)為英偉達(dá)是世界上最小的大型公司之一，這得益于我們員工不可思議的生產(chǎn)力。我們現(xiàn)在大約有3萬(wàn)名員工，也許現(xiàn)在稍微多一點(diǎn)。他們每天都需要做出數(shù)百個(gè)決策。如果這3萬(wàn)人在統(tǒng)計(jì)上都在朝著一個(gè)方向前進(jìn)，即使他們做出的決策往往是模糊的，但都是出于公司的長(zhǎng)期利益考慮，那么這些決策很快就會(huì)累積起來產(chǎn)生巨大的正面影響。
哈斯：我一直感到驚訝的是，無(wú)論是通過精心挑選還是自然選擇，英偉達(dá)擁有那些對(duì)模糊性高度適應(yīng)的高級(jí)領(lǐng)導(dǎo)者，并且這些領(lǐng)導(dǎo)者會(huì)深入到組織的各個(gè)層級(jí)，這一點(diǎn)至關(guān)重要。我想了解的是，這種情況是如何形成的？是不是隨著公司的發(fā)展，你逐漸找到了一批與你的愿景相契合的高管，從而形成了這樣的氛圍？因?yàn)樵谟ミ_(dá)，很多現(xiàn)在身處高層的管理者，在我還在這里工作或他們還在這里任職時(shí)，就完全接受你會(huì)四處尋找合適的人來解決問題的做法。
黃仁勛：首先，我并沒有特意去征求他們的意見。因?yàn)閷?duì)于顯而易見的事情，你不應(yīng)該請(qǐng)求許可。英偉達(dá)從一開始就被定位為一個(gè)全棧計(jì)算公司，我們的目標(biāo)是制造GPU、CPU和網(wǎng)絡(luò)芯片，甚至包括交換機(jī)。同時(shí)，我們還要負(fù)責(zé)芯片架構(gòu)和設(shè)計(jì)、系統(tǒng)軟件的開發(fā)、算法的創(chuàng)建，甚至是求解器的開發(fā)。
那么，如何組織這樣一個(gè)既需要各部分協(xié)同工作，又需要分步驟構(gòu)建的整體呢？我們的解決方案是，不設(shè)立組織壁壘，而是將組織視為一個(gè)領(lǐng)導(dǎo)者可以培養(yǎng)人才、為他們創(chuàng)造成功條件、提供服務(wù)、幫助他們排除障礙的平臺(tái)。但關(guān)鍵在于，老板需要堅(jiān)守使命，這個(gè)使命要貫穿整個(gè)公司。
因此，它可以跨越系統(tǒng)、芯片、網(wǎng)絡(luò)芯片、軟件和算法等各個(gè)領(lǐng)域。通過這種組織方式，我們還實(shí)現(xiàn)了透明度，所有的壁壘都變得具有滲透性。當(dāng)組織具有滲透性時(shí)，它往往會(huì)變得更好，因?yàn)闀?huì)有更多的人來幫助你批評(píng)它、證明它。所以，我喜歡這種滲透性，如果你愿意的話，也可以稱之為我們公司的開放性。我就喜歡一切都很透明，大家共同努力讓它變得更好。這與一切都被封閉在黑暗的壁壘中截然不同。
02 為何放棄Arm選擇并購(gòu)Mellanox？
哈斯：英偉達(dá)曾差點(diǎn)收購(gòu)了Arm，但最終，你們選擇了收購(gòu)Mellanox，這不僅是一次戰(zhàn)略上令人矚目的收購(gòu)，而且從執(zhí)行層面看，對(duì)于一個(gè)注重滲透性的組織來說，這次收購(gòu)似乎無(wú)縫銜接，進(jìn)行得異常順利。你是如何做到這一點(diǎn)的？我是說，并購(gòu)?fù)ǔ６己茈y，你是如何讓這次并購(gòu)如此順暢的？
黃仁勛：確實(shí)，文化融合總是并購(gòu)中的一大挑戰(zhàn)。但幸運(yùn)的是，在Mellanox的管理團(tuán)隊(duì)和英偉達(dá)以色列的管理團(tuán)隊(duì)中，有多位我們的E-staff（執(zhí)行團(tuán)隊(duì)）成員。我們涵蓋了架構(gòu)、研發(fā)、軟件系統(tǒng)、芯片、網(wǎng)絡(luò)和交換機(jī)等多個(gè)領(lǐng)域，現(xiàn)在還加入了NVLink交換機(jī)業(yè)務(wù)。在合并后的短時(shí)間內(nèi)，Mellanox的產(chǎn)品組合迅速擴(kuò)展了四倍，并且已經(jīng)深度融入到我們業(yè)務(wù)的各個(gè)方面。回顧這次收購(gòu)，你可以看到我們的愿景是如何推動(dòng)這一切的。我們意識(shí)到，計(jì)算單元不再僅僅是像GPU這樣的外設(shè)，而Arm在很大程度上幫助我們完成了向構(gòu)建SoC（系統(tǒng)級(jí)芯片）公司的轉(zhuǎn)型。你還記得SoC嗎？它基本上就是一臺(tái)完整的計(jì)算機(jī)，而GPU只是其中的一部分。在SoC中，你必須自己負(fù)責(zé)整個(gè)系統(tǒng)的啟動(dòng)。因此，這促使英偉達(dá)從一家以算法為核心的公司（這實(shí)際上是GPU公司的本質(zhì)）轉(zhuǎn)變?yōu)橐患艺嬲挠?jì)算公司。這是我們的首次嘗試，一開始并不容易，但現(xiàn)在我們已經(jīng)能夠制造出令人驚嘆的SoC產(chǎn)品。
接下來，我們的發(fā)展方向是構(gòu)建系統(tǒng)。DGX-1是我們的第一個(gè)系統(tǒng)級(jí)產(chǎn)品。事實(shí)上，我仍然對(duì)SHIELD情有獨(dú)鐘，那是我們的Android TV電腦，我非常喜歡它，因?yàn)樗俏覀儎?chuàng)造的第一個(gè)完整的英偉達(dá)系統(tǒng)。從SHIELD到DGX-1，我們學(xué)到了很多。直到今天，我們?nèi)匀辉诰S護(hù)SHIELD軟件的更新。
這正是英偉達(dá)向系統(tǒng)公司轉(zhuǎn)型的開始。人們有時(shí)會(huì)問我DGX-1是怎么來的，它如何改變了一切。其實(shí)，DGX-1只是一個(gè)大型的SHIELD。SHIELD是用塑料做的，而DGX-1重達(dá)600磅（約272千克）。這種轉(zhuǎn)變對(duì)我們來說并不是什么大問題，因?yàn)槲覀円呀?jīng)有了制造系統(tǒng)的經(jīng)驗(yàn)。真正重要的是，我們現(xiàn)在能夠構(gòu)建完整的系統(tǒng)。當(dāng)我們收購(gòu)Mellanox時(shí)，我們的主要想法是計(jì)算機(jī)將不再是單個(gè)節(jié)點(diǎn)，而是整個(gè)數(shù)據(jù)中心將成為計(jì)算的單元。如果你沒有設(shè)計(jì)GPU、CPU、網(wǎng)絡(luò)接口卡（NIC）、交換機(jī)以及所有的收發(fā)器，并且無(wú)法把它們連接在一起，從無(wú)到有地啟動(dòng)整個(gè)系統(tǒng)，讓一切連接起來并運(yùn)行起來，把工作負(fù)載分布到各個(gè)部分，那么你就不會(huì)真正理解構(gòu)建這些人工智能超級(jí)集群以及這一轉(zhuǎn)型的意義所在。
這個(gè)愿景非常清晰，對(duì)于激勵(lì)兩支團(tuán)隊(duì)來說至關(guān)重要。為了激勵(lì)團(tuán)隊(duì)，你必須有一個(gè)明確且令人振奮的愿景。我們就有這樣的愿景，而且它非常切實(shí)可行，因?yàn)槟憧梢杂H眼看到它就在眼前超級(jí)集群以及從兩家公司獲得的所有設(shè)備。那個(gè)愿景既清晰又鼓舞人心，我們必須讓它變得切實(shí)可行。作為首席執(zhí)行官，你們必須把抽象的事物具體化，然后我們開始著手構(gòu)建它。此外，我還覺得Mellanox的企業(yè)文化非常出色，這也是我們并購(gòu)能夠順利進(jìn)行的重要原因之一。
哈斯：這種清晰度對(duì)于推動(dòng)公司發(fā)展的確非常有幫助。再回到愿景這個(gè)話題，當(dāng)我講述公司故事時(shí)，我還注意到另一件事。比如SHIELD和早期的CUDA在石油和天然氣領(lǐng)域的應(yīng)用，當(dāng)時(shí)這些應(yīng)用的終極形態(tài)或市場(chǎng)潛力并不明顯。
黃仁勛：確實(shí)，很多人并沒有意識(shí)到這些應(yīng)用的潛力。事實(shí)上，那都是我們的初步嘗試。
哈斯：在當(dāng)時(shí)，很難看出這些嘗試會(huì)演變成什么真正的殺手級(jí)應(yīng)用或最終形態(tài)，但你們展現(xiàn)出了令人難以置信的韌性和決心，在早期就去嘗試并測(cè)試各種想法，即使市場(chǎng)似乎還沒有準(zhǔn)備好，或者應(yīng)用場(chǎng)景還沒有被明確定義。你把這種能力歸功于什么？是驚人的直覺嗎？還是預(yù)見未來的能力？
黃仁勛：英偉達(dá)的優(yōu)勢(shì)在于我們身邊聚集了很多杰出人才，他們是世界上最優(yōu)秀的計(jì)算機(jī)科學(xué)家、戰(zhàn)略家和商業(yè)人才。他們不僅個(gè)人能力出眾，更重要的是，他們沒有個(gè)人主義傾向，都渴望為公司創(chuàng)造更大的價(jià)值。我認(rèn)為，我們的成功首先是從這一點(diǎn)開始的。其次，我們?cè)谥庇X方面也很擅長(zhǎng)。我們對(duì)于需要解決什么問題，以及如何從現(xiàn)在走向我們想要成為的公司，都有很好的直覺。因此，我們能夠準(zhǔn)確地判斷出各種階段性目標(biāo)。
當(dāng)我們決定開發(fā)SHIELD時(shí)，很多人都不理解，認(rèn)為我們?cè)诶速M(fèi)時(shí)間。但我告訴他們，我們總有一天會(huì)成為一家系統(tǒng)公司。而SHIELD就是我們向這個(gè)目標(biāo)邁進(jìn)的第一步。所有這些系統(tǒng)都將連接到云服務(wù)。為什么我們不先從最大的系統(tǒng)入手呢？為什么我們不首先開發(fā)這樣的系統(tǒng)呢？如果我們連這個(gè)都做不到，那更大的系統(tǒng)我們也做不出來。我們希望通過開發(fā)這樣的系統(tǒng)，讓公司學(xué)習(xí)到新的技能，去嘗試、去失敗，但又不至于傷筋動(dòng)骨。這樣，我們才能為未來的挑戰(zhàn)做好充分的準(zhǔn)備。
03 創(chuàng)始人模式 VS 經(jīng)理人模式
哈斯：你是否認(rèn)為，只有創(chuàng)始人領(lǐng)導(dǎo)的公司才能像你剛才描述的那樣，既擁有清晰的愿景，又具備持續(xù)明確前進(jìn)方向的韌性呢？因?yàn)樽罱P(guān)于創(chuàng)始人模式與經(jīng)理人模式的討論很多，而你作為一位領(lǐng)導(dǎo)公司30年的創(chuàng)始人，已經(jīng)取得了巨大的成功。但是，你所描述的這些，只能由創(chuàng)始人領(lǐng)導(dǎo)的公司做到嗎？
黃仁勛：我并不這么認(rèn)為。我覺得你在Arm就做得很好。你知道，每當(dāng)我目睹你工作時(shí)，我的心中便充滿了無(wú)比的自豪感。我非常享受觀察你工作的過程，這總能帶給我極大的喜悅與驕傲。我深信，要想在工作上有所建樹，必須具備堅(jiān)韌不拔的精神和堅(jiān)定不移的毅力。我愿將其形容為歷經(jīng)痛苦與磨難的洗禮。在諸多方面，你必須學(xué)會(huì)去適應(yīng)這樣的現(xiàn)實(shí)：成功之路絕非坦途，而是布滿了痛苦與磨礪。它并非一系列成就的輕松累積，而是需要付出巨大的努力與堅(jiān)持。
我當(dāng)然希望一切都能發(fā)生，因?yàn)檫@無(wú)疑會(huì)對(duì)你大有裨益。然而，回顧那些充滿挑戰(zhàn)的時(shí)刻，盡管當(dāng)時(shí)我可能并未完全意識(shí)到從中學(xué)到了什么，但它們確實(shí)使我變得更加堅(jiān)強(qiáng)。我深知自己能夠克服一切困難，盡管在經(jīng)歷時(shí)可能并不喜歡那種感覺。然而，當(dāng)我回首往事，那些艱難的時(shí)刻恰恰是我成長(zhǎng)的見證，也是你與公司最為自豪的時(shí)刻，因?yàn)槲覀児餐^了那些難關(guān)。因此，我認(rèn)為我們的公司之所以強(qiáng)大，正是因?yàn)槲覀儞碛斜姸噙@樣的勵(lì)志故事。在公司的每一個(gè)角落，都流傳著無(wú)數(shù)次歷經(jīng)挫折卻最終取得非凡成就的動(dòng)人故事。它們?nèi)缤瑢氋F的財(cái)富，助力公司度過了一個(gè)又一個(gè)艱難時(shí)期。
04 期待計(jì)算機(jī)能夠展現(xiàn)出智能行為
哈斯：我們都已經(jīng)在這個(gè)行業(yè)中拼搏多年，關(guān)于人工智能的發(fā)展，我有種感覺，仿佛有些場(chǎng)景是我之前從未設(shè)想過的。我甚至覺得，這種轉(zhuǎn)變可能要到下一代才能完全體驗(yàn)到。這種感覺就像是觸碰到了《星際迷航》中的未來邊界，就我的認(rèn)知而言，我難以想象在人工智能如此廣泛應(yīng)用的未來之后，還會(huì)有什么新的變革。你對(duì)此有何看法？我們是否正在以驚人的速度推動(dòng)行業(yè)的轉(zhuǎn)型，而這場(chǎng)轉(zhuǎn)型之后又會(huì)迎來什么呢？眼前所發(fā)生的一切，真是令人難以置信。
黃仁勛：我一直都對(duì)計(jì)算機(jī)能夠展現(xiàn)出智能行為抱有期待。我們有能力創(chuàng)造出如此卓越的軟件，我認(rèn)為我們終將編寫出那樣的軟件，讓算法以看似智能的方式解決問題，仿佛計(jì)算機(jī)真的擁有了智慧。然而，我從未預(yù)料到這會(huì)引發(fā)一場(chǎng)工業(yè)革命。我曾多次提及，如今的計(jì)算機(jī)行業(yè)已經(jīng)超越了傳統(tǒng)范疇，它不再僅僅是一個(gè)工具或器具，而是成為了一個(gè)全新的制造業(yè)。
在我與你交談的此刻，我的手機(jī)靜靜地躺在口袋里，并未被使用；我的筆記本電腦也安靜地待在辦公室里。大多數(shù)人的電腦也是如此，只有在需要時(shí)才會(huì)被啟用。但與此不同的是，這個(gè)新的人工智能產(chǎn)業(yè)，即我們正在構(gòu)建的產(chǎn)業(yè)，它們始終在運(yùn)行。無(wú)論你是否在使用它們，它們都在不斷地處理數(shù)據(jù)、生成Token，并在這一過程中產(chǎn)生智能。智能正在被大規(guī)模地制造出來。曾經(jīng)，計(jì)算機(jī)只是一個(gè)工具或器具，而現(xiàn)在，它已經(jīng)成為了一個(gè)工廠，一個(gè)能夠大量生產(chǎn)極具價(jià)值物品的制造業(yè)。這對(duì)我們的行業(yè)來說，無(wú)疑是一個(gè)全新的時(shí)代。這是前所未有的變革。計(jì)算機(jī)現(xiàn)在成為了制造工具，是那些被稱為Token、特別是智能Token的驚人成果的創(chuàng)造者。這是一個(gè)非凡的觀念。因此，我認(rèn)為我們正站在一場(chǎng)新工業(yè)革命的起跑線上。
哈斯：計(jì)算機(jī)行業(yè)的發(fā)展步伐是否超越了你原先的預(yù)想？作為這一領(lǐng)域最接近前沿的見證者，從AlexNet到DGX-1的每一次創(chuàng)新飛躍，你都親歷其中。自從我接手Arm以來，我們也在內(nèi)部對(duì)此進(jìn)行了深入的探索，發(fā)現(xiàn)其進(jìn)步的速度遠(yuǎn)遠(yuǎn)超出了我兩年半前乃至一年前所能想象的范疇。那么，對(duì)于你親身參與推動(dòng)的這一切，你是否覺得它的發(fā)展比預(yù)期中還要迅猛？
黃仁勛：并非如此，我們實(shí)際上正在竭力加速其發(fā)展的步伐。我們的研發(fā)周期已經(jīng)成功地縮短至一年，這一決策的背后，是源自于對(duì)這項(xiàng)技術(shù)擁有巨大發(fā)展?jié)摿Φ纳羁陶J(rèn)識(shí)。而且，我們今的努力已遠(yuǎn)遠(yuǎn)超越了單純制造芯片的范疇。我們深知，即便在最新的制程節(jié)點(diǎn)上，芯片的性能提升也僅僅是幾個(gè)百分點(diǎn)的量級(jí)，但這已是極為不易的成就。那么，我們?nèi)绾未_保每一代產(chǎn)品都能實(shí)現(xiàn)性能的顯著飛躍呢？答案是，我們?yōu)槊總�(gè)系統(tǒng)設(shè)計(jì)了六到七款全新的芯片，并通過協(xié)同設(shè)計(jì)的方式，對(duì)整個(gè)系統(tǒng)進(jìn)行徹底的革新，同時(shí)創(chuàng)造出諸如NVLink交換機(jī)和新型系統(tǒng)機(jī)架等革命性的發(fā)明。這些創(chuàng)新使得我們能夠在系統(tǒng)背部的主干上，利用銅質(zhì)導(dǎo)線將所有GPU緊密相連，從而實(shí)現(xiàn)了前所未有的大型封裝和3D封裝技術(shù)。
我們運(yùn)用了多種先進(jìn)的技術(shù)手段來實(shí)現(xiàn)這一目標(biāo)。因此，我們得以在相同的能耗和成本約束下，每年提供兩到三倍的性能提升。這實(shí)際上意味著，我們每年都在以遠(yuǎn)超摩爾定律的速度降低人工智能的成本。若將這種復(fù)利效應(yīng)持續(xù)五年、六年乃至十年，我們將會(huì)見證智能成本以令人驚嘆的速度下降。我們之所以如此全力以赴，是因?yàn)槲覀儓?jiān)信，現(xiàn)在正是所有人深刻認(rèn)識(shí)到其價(jià)值的關(guān)鍵時(shí)刻。如果我們能夠大幅度地降低智能的成本，那么我們就可以在諸如推理等需要時(shí)間的場(chǎng)景中實(shí)現(xiàn)更多的可能。
當(dāng)你今天使用ChatGPT這個(gè)令人贊嘆的服務(wù)時(shí)，我也每天都在使用它。今天早上我就體驗(yàn)了它的魅力，你按下回車鍵，提示被迅速加載，隨后它便生成了輸出。但在不遠(yuǎn)的將來，它將通過迭代推理的方式尋找答案，或許還會(huì)采用樹搜索等復(fù)雜方法，甚至進(jìn)行某種形式的迭代和反思，最終呈現(xiàn)出更加優(yōu)質(zhì)的輸出。在這個(gè)過程中，它可能已經(jīng)進(jìn)行了上百次、上千次的推理，但答案的質(zhì)量卻會(huì)顯著提升。我們渴望降低成本，以便在保持原有成本和響應(yīng)速度的同時(shí)，提供這種新型、高效的推理推斷服務(wù)。
哈斯：我曾親眼目睹OpenAI模型的演示，其推理能力著實(shí)令人震撼，正如你所描述的那樣。它仿佛經(jīng)歷了一棵邏輯樹的探索，展現(xiàn)出與人類相似的權(quán)衡過程，但其速度卻遠(yuǎn)超人類。然而，當(dāng)我深入思考當(dāng)前正在發(fā)生的變革時(shí)，我深感著迷。正如你所言，你正在以前所未有的速度引入全新的系統(tǒng)、數(shù)據(jù)集以及基礎(chǔ)設(shè)施。過去，人們每?jī)扇曩?gòu)買的CPU最終都會(huì)面臨貶值。而現(xiàn)在，你卻以每年一次的頻率構(gòu)建新的系統(tǒng)。人們迫切希望盡快采購(gòu)并部署這些系統(tǒng)。
黃仁勛：雖然說起來簡(jiǎn)單，但我們每年都在交付像這個(gè)房間一樣龐大的新型計(jì)算機(jī)，包括所有的布線、網(wǎng)絡(luò)、交換機(jī)和軟件。這確實(shí)令人難以置信。
哈斯：你明白我的意思嗎？我并不是在讓你預(yù)測(cè)未來。這更多是一個(gè)關(guān)于技術(shù)普及的問題。它能否保持當(dāng)前的發(fā)展速度繼續(xù)前行？
黃仁勛：我認(rèn)為可以。但這必須以一種系統(tǒng)化的方式進(jìn)行，也就是說，我們所做的每一項(xiàng)工作，都是基于一種架構(gòu)思維。這意味著，為昨天的集群（例如Hopper）開發(fā)的軟件，將能夠無(wú)縫地在Blackwell和Rubin上運(yùn)行。同樣，為Rubin創(chuàng)建的軟件，也將能夠在Hopper上運(yùn)行。這種架構(gòu)兼容性至關(guān)重要，因?yàn)樾袠I(yè)在軟件上的投資遠(yuǎn)超硬件，甚至達(dá)到上千倍。更不用說，軟件具有永恒的生命力。一旦開發(fā)或發(fā)布了軟件，就必須在其整個(gè)生命周期內(nèi)進(jìn)行維護(hù)。CUDA的理念并非為了讓數(shù)百萬(wàn)人學(xué)習(xí)編程，而是為了讓數(shù)百萬(wàn)個(gè)GPU能夠與之兼容。
因此，你在一個(gè)GPU上的投資，將能夠延續(xù)到所有其他GPU上，而你今天編寫的軟件，在明天將會(huì)變得更加出色。我們未來編寫的所有軟件都將在已安裝的基礎(chǔ)設(shè)施上運(yùn)行。因此，首先，我們必須具備架構(gòu)意識(shí)，并且對(duì)此保持高度的自律。其次，即使在系統(tǒng)層面，我們現(xiàn)在也極具架構(gòu)意識(shí)。我們會(huì)采用新的技術(shù)來推動(dòng)系統(tǒng)設(shè)計(jì)的發(fā)展，同時(shí)確保不會(huì)放棄你昨天所做的工作。例如，當(dāng)我們首次進(jìn)入數(shù)據(jù)中心業(yè)務(wù)時(shí)，一個(gè)超大規(guī)模數(shù)據(jù)中心的配電是每個(gè)機(jī)架12千瓦，而到了Blackwell時(shí)代，每個(gè)機(jī)架的配電已經(jīng)達(dá)到了120千瓦。密度提升了十倍，這意味著數(shù)百萬(wàn)美元的服務(wù)器被壓縮到了一個(gè)機(jī)架中。因此，所節(jié)省的金額、能源和空間都是難以估量的。
哈斯：我們的故事有著諸多相似之處。Arm架構(gòu)歷經(jīng)30載，我們?yōu)槠鋬A注了數(shù)十年的心血軟件編寫，這一點(diǎn)有時(shí)并未得到人們的充分理解。
黃仁勛：對(duì)于每一塊Arm芯片，我們所做的每一項(xiàng)工作都備受關(guān)注。前幾天，我們剛展示了一些成果。有基準(zhǔn)測(cè)試顯示，Grace在每瓦性能上比全球頂尖的CPU高出四倍，這凸顯了能源效率的重要性，它無(wú)處不在，至關(guān)重要。
哈斯：當(dāng)你從500兆瓦的數(shù)據(jù)中心規(guī)模擴(kuò)展到5吉瓦時(shí)，從網(wǎng)絡(luò)延遲等相關(guān)因素考慮，你是否觀察到某些架構(gòu)層面的問題開始浮現(xiàn)？當(dāng)然，我們無(wú)需深入探討具體技術(shù)細(xì)節(jié)，但從物理學(xué)的基本原理出發(fā)，你是否發(fā)現(xiàn)了一些開始不再適用的東西？
黃仁勛：確實(shí)，一切都會(huì)失效，因?yàn)槲锢矶墒氰F律，無(wú)法違背，而失效是必然的過程。當(dāng)然，我們正沿著功率密度曲線迅速攀升，增長(zhǎng)態(tài)勢(shì)呈指數(shù)級(jí)。從12千瓦到40千瓦，再到120千瓦、200千瓦，甚至更高，我們不斷壓縮、密集化計(jì)算資源。在此過程中，液冷技術(shù)的效率顯著提升。同時(shí)，我們盡可能延長(zhǎng)銅線的使用壽命，因?yàn)橹灰獥l件允許，使用銅線傳輸電力就更為有利，無(wú)需在電信號(hào)和光信號(hào)之間轉(zhuǎn)換。盡管最終我們不得不轉(zhuǎn)向光學(xué)技術(shù)，但我們會(huì)盡可能長(zhǎng)時(shí)間地利用電信號(hào)的優(yōu)勢(shì)。在大多數(shù)數(shù)據(jù)中心中，使用電信號(hào)在成本效益、能源效率和可靠性方面更具優(yōu)勢(shì)。因此，我們選擇了密集化策略。密集化的另一個(gè)顯著優(yōu)勢(shì)是，特定機(jī)架或相鄰機(jī)架中的所有GPU可以作為一個(gè)巨型GPU協(xié)同工作，這確實(shí)令人驚嘆不已。
05 沒時(shí)間練習(xí)演講，只能硬著頭皮上
哈斯：我一直很好奇，記得你在Computex的演講內(nèi)容之豐富簡(jiǎn)直令人嘆為觀止，尤其是我觀看的時(shí)候還是周日晚上。作為另一個(gè)經(jīng)常做演講但無(wú)論是深度還是長(zhǎng)度都遠(yuǎn)不及你的人，我很想知道你是如何做到這一點(diǎn)的。你是否進(jìn)行了大量的排練？我記得我們以前共事時(shí)，有時(shí)甚至在演講前一晚你還在調(diào)整內(nèi)容，但你總是能出色地完成演講。現(xiàn)在，你的演講內(nèi)容之深入，特別是當(dāng)涉及到數(shù)據(jù)中心架構(gòu)的詳細(xì)闡述時(shí)，你的準(zhǔn)備過程是怎樣的？
黃仁勛：其實(shí)，我們每天都在為這樣的演講做準(zhǔn)備。你知道嗎，我們的工作有一個(gè)獨(dú)特的優(yōu)勢(shì)，那就是我們不是專業(yè)的演員。所以，這些內(nèi)容真的是我們?nèi)粘９ぷ鞯恼鎸?shí)反映。我們每天都沉浸在這些領(lǐng)域里。首先，我們每天都在學(xué)習(xí)和準(zhǔn)備。但很多時(shí)候，我們做的事情，坦白說，都是在教學(xué)。為了推動(dòng)一個(gè)行業(yè)的發(fā)展，為了塑造市場(chǎng)，并引入我們正在探索的新理念，其中很多都涉及到教學(xué)的成分。這不是在做廣告，你明白嗎？我們是一家平臺(tái)公司，這意味著我們不能單打獨(dú)斗。我們需要其他人的合作與支持。所以，我們的工作就是教學(xué)、啟發(fā)、展示，也許還有演示，希望越來越多的人能夠相信CUDA，相信英偉達(dá)在加速計(jì)算領(lǐng)域的實(shí)力，今天就能加入我們的行列，共同推動(dòng)人工智能的發(fā)展。我們現(xiàn)在正在研究的下一個(gè)重大項(xiàng)目是物理AI，以及我們?nèi)绾巫屓斯ぶ悄芤环矫鎸W(xué)習(xí)遵守物理定律，另一方面又能深入理解這些定律。我認(rèn)為這將是一個(gè)漫長(zhǎng)的旅程。所以，GTC和Computex這樣的活動(dòng)對(duì)我們來說，都是進(jìn)行這些工作的重要機(jī)會(huì)，慶祝我們的生態(tài)系統(tǒng)以及合作伙伴所取得的成就，向他們傳授我們的理念，激勵(lì)他們展望未來。
哈斯：這確實(shí)很相似。當(dāng)我做QBU演講時(shí)，我的首席助理會(huì)說：“哇，這些幻燈片好簡(jiǎn)潔�。�”但其實(shí)這就是我整天都在談?wù)摰膬?nèi)容。我在想，怎么可能不這樣呢？
黃仁勛：說實(shí)話，這仍然很有挑戰(zhàn)性。因?yàn)槲覀儧]有專門的時(shí)間去排練。所以，這并不是因?yàn)槲覀児室獠慌啪�，等到我們把所有的�?nèi)容都準(zhǔn)備好之后，通常就沒有多余的時(shí)間去排練了。因此，最后我只能硬著頭皮上。（科技新聞特約編譯金鹿）
