目前全球到底需要多少算力？英偉達是否追求擴大市場份額？
近日，黃仁勛在一次長達約1個半小時的訪談中，談及自己對于AGI（通用人工智能）、機器學(xué)習(xí)、AI（人工智能）未來的看法，并對馬斯克、xAI、OpenAI和自己的工作生涯作出了評價。
黃仁勛表示，AGI很快會以某種形式成為個人的“口袋助手”，這個助手一開始它會很有用，但不會是完美的，隨著時間推移，它會越來越完美，就像所有的技術(shù)一樣，這也是科技的魅力所在。
黃仁勛 視覺中國 資料圖
“我們重新發(fā)明了計算”，機器學(xué)習(xí)的關(guān)鍵是飛輪效應(yīng)
黃仁勛表示英偉達“重新發(fā)明了計算”，過去十年里將計算成本降低了10萬倍，遠超過摩爾定律所能帶來的百倍。
他認為，加速計算、新的數(shù)值精度、新的架構(gòu)以及極其快速的存儲器等創(chuàng)新，都推動了算力的飛速發(fā)展，也讓我們從人類編程走向機器學(xué)習(xí)。同時，機器學(xué)習(xí)的速度也很快，隨著重新定義計算的分布方式，英偉達引入了各種形式的并行計算，變得擅長在這些基礎(chǔ)上發(fā)明新的算法和訓(xùn)練方法。這些技術(shù)和創(chuàng)新互相疊加，最終帶來了令人難以置信的進展，“整個堆棧都在增長，我們在所有層面上進行創(chuàng)新，因此我們看到了前所未有的擴展速度……以前我們討論的是預(yù)訓(xùn)練模型的擴展，每年模型的大小和數(shù)據(jù)量翻倍，算力需求也因此每年增加四倍，而現(xiàn)在我們在后訓(xùn)練和推理階段也看到了擴展，預(yù)訓(xùn)練再也不被視為艱難，推理也變得復(fù)雜，把所有人類思維都視為一次性是荒謬的，快速思考和深度推理、反思、迭代和模擬，這些概念現(xiàn)在都已經(jīng)開始顯現(xiàn)。”
黃仁勛強調(diào)，很多人過去認為，包括現(xiàn)在還有很多人認為，設(shè)計一款更好的芯片，就是擁有更多的算力，更多的浮點運算能力。算力確實很重要，但這種思維方式已經(jīng)過時，因為過去的軟件都是在系統(tǒng)上運行的，是靜態(tài)的，也就是說提升系統(tǒng)性能的最好方法就是做出更快的芯片，但我們已經(jīng)進入機器學(xué)習(xí)，而非人類編程了，不僅僅是軟件，更要涉及整個數(shù)據(jù)處理過程。機器學(xué)習(xí)的關(guān)鍵是“飛輪效應(yīng)”，我們要考慮的是如何讓“飛輪”高效運轉(zhuǎn)。很多人甚至都沒有意識到，光是數(shù)據(jù)整理和訓(xùn)練都需要AI，這個過程本身就非常復(fù)雜。而正是因為有了更智能的AI來整理數(shù)據(jù)，現(xiàn)在有了合成數(shù)據(jù)生成以及各種不同的數(shù)據(jù)整理方式。因此，在進行訓(xùn)練之前，已經(jīng)有大量的數(shù)據(jù)處理工作。所以當(dāng)考慮這個飛輪時，應(yīng)該從整體來看待，而不僅僅是關(guān)注訓(xùn)練，應(yīng)該設(shè)計一個計算系統(tǒng)和架構(gòu)，能夠讓這個飛輪每一步都盡可能高效，而不僅僅是特定應(yīng)用場景的訓(xùn)練。
黃仁勛稱：“訓(xùn)練只是其中一步，每一步都是艱難的，機器學(xué)習(xí)沒有任何容易的部分。無論是OpenAI，還是DeepMind的Gemini團隊，他們做的都不是簡單的事情。所以，你應(yīng)該關(guān)注整個過程，加速每一個步驟，尊重阿姆達爾定律。如果某個步驟占用30%的時間，即使加速三倍，整體過程的提升也有限。所以，關(guān)鍵是創(chuàng)建一個可以加速每個步驟的系統(tǒng)，這樣才能真正提高循環(huán)時間和整個飛輪的效率。”
他認為，飛輪和學(xué)習(xí)的加速最終會帶來指數(shù)級的提升，英偉達的整個過程也都是通過CUDA加速的。
推理的增長將達到億倍規(guī)模，英偉達“從不談?wù)撌袌龇蓊~”
對于英偉達的“護城河”，黃仁勛強調(diào)，英偉達的優(yōu)勢在于算法，以及上層科學(xué)和底層架構(gòu)的深度融合，他相信公司在推理方面的“護城河”會像在訓(xùn)練方面一樣深厚。
他認為，訓(xùn)練實際上就是大規(guī)模推理，如果在特定架構(gòu)上完成了良好的訓(xùn)練，那么推理過程也會表現(xiàn)優(yōu)異，如果在這個架構(gòu)上構(gòu)建它，即使沒有特別的考慮，它也會能在這個架構(gòu)上運行。因此，架構(gòu)的兼容性對于推理任務(wù)至關(guān)重要，就像iPhone和其他設(shè)備一樣。
同時，英偉達目前40%以上的收入來自推理，推理方面即將因推理鏈的出現(xiàn)而大幅增長，黃仁勛表示是一場智能生產(chǎn)的革命，推理的增長將達到億倍的規(guī)模，“這就像上學(xué)是為了將來在社會中有所貢獻，訓(xùn)練模型很重要，但最終的目標是推理”。
黃仁勛表示，英偉達的目標是創(chuàng)建一個無處不在的計算平臺，“我們每年都在努力創(chuàng)造一臺新的計算機，其性能提升兩到三倍，成本降低兩到三倍，能源效率提高兩到三倍。這種進步令人難以置信。因此，我們建議客戶逐年分批購買新設(shè)備，以維持在成本上的平均水平，這樣做的好處是在架構(gòu)上保持兼容性。
黃仁勛稱，目前以公司的改進速度來構(gòu)建單獨的系統(tǒng)是非常困難的，同時還有一個難點在于，英偉達不僅僅將這些創(chuàng)新作為基礎(chǔ)設(shè)施或服務(wù)出售，而是將它們分解并集成到多個平臺中。因為每個客戶的集成需求都各不相同，我們必須將所有的架構(gòu)庫、算法和框架集成到他們的系統(tǒng)中，當(dāng)然也包括我們的安全系統(tǒng)和網(wǎng)絡(luò)。我們基本每年都要進行大約10次集成操作。這真是個奇跡，但這也讓我感到瘋狂，想想這件事我就快要瘋了”。
而對于市場，他表示英偉達不想從任何人那里搶奪市場份額，“如果你看我們的ppt，會發(fā)現(xiàn)我們從不談?wù)撌袌龇蓊~。我們內(nèi)部討論的都是如何創(chuàng)造下一個事物、下一個可以在飛輪中解決的問題是什么、如何更好地為人們服務(wù)、如何將過去可能需要一年的飛輪縮短到一個月……在考慮這些事情的同時，我們確信我們的使命非常獨特。唯一的問題是這項使命是否必要……所有偉大的公司都應(yīng)該以使命為核心，關(guān)鍵在于你在做什么，以及這是否必要、是否有價值、是否具有影響力和幫助他人。”
如何看待OpenAI和馬斯克，是否需要百萬張規(guī)模集群？
對于OpenAI，黃仁勛認為是這個時代最具影響力的公司之一，是專注于AI、致力于追求AGI愿景的公司，ChatGPT的問世標志著人工智能的覺醒，“我非常欣賞他們的速度以及推動這一領(lǐng)域發(fā)展的獨特目標”。
當(dāng)被問及馬斯克和xAI，黃仁勛也不吝夸贊，他表示在19天內(nèi)搭建完成一個10萬張GPU集群，一個采用液體冷卻、通電并獲得許可的巨大工廠，“據(jù)我所知，世界上只有一個人能做到這一點，那就是埃隆”。同時，他也表示，現(xiàn)在已經(jīng)進入擁有20萬-30萬塊GPU集群的時代。
那么集群是否需要擴展到50萬張甚至100萬張的規(guī)模？黃仁勛的回答是：“如果看擴展能力，進行簡單數(shù)學(xué)計算，再加上每年模型大小和算力的四倍增長，再結(jié)合增長的使用需求，你會發(fā)現(xiàn)，我們需要上百萬塊GPU，這是毫無疑問的。但問題是，我們?nèi)绾螐臄?shù)據(jù)中心的角度進行架構(gòu)設(shè)計？這與數(shù)據(jù)中心的規(guī)模密切相關(guān)，比如是以千兆瓦還是250兆瓦為單位？我覺得會是二者兼而有之……所有正在進行的模型并行和分布式訓(xùn)練的突破，所有的批處理等，都是因為我們在早期做出了努力，現(xiàn)在我們正在為未來進行早期的工作。”
對于開源閉源的問題，黃仁勛表示這與安全相關(guān)，但不完全關(guān)乎安全。“沒有什么問題是因為閉源模型導(dǎo)致的，這些模型可能是商業(yè)模式的引擎，它們是推動創(chuàng)新所必需的，我對此完全支持。重要的是，不應(yīng)是對立，而是并存”。他贊同開源對于許多行業(yè)是必不可少的，使得金融服務(wù)、醫(yī)療保艦交通運輸?shù)阮I(lǐng)域帶來巨大潛力。
對于開源，黃仁勛打了一個比方：“我的想象是，如果你把一個超級聰明的人關(guān)在一個有緩沖的房間里一個月，出來的可能并不會是一個更聰明的人。但是，如果有兩三個人坐在一起，通過交流、討論、相互質(zhì)詢，所有人都可能變得更聰明。所以，AI模型之間的交互、爭論和強化學(xué)習(xí)，以及合成數(shù)據(jù)的生成，這些概念是合理的。”
沒指望工作永遠有趣，自己每天都在使用AI
在采訪的最后，黃仁勛也對自己和行業(yè)表達了看法。他表示：“我不認為我們工作的全部都是有趣的。我的工作并不總是有趣的，也沒指望它永遠有趣。你問我這是不是我的期望，我會說這工作是重要的。我不太看重自己，但我非常認真對待工作、責(zé)任和在這個時代的貢獻……和家庭、朋友、孩子這些一樣，他們不總是有趣的，但我們總是深深地?zé)釔鬯鼈儭?rdquo;
他認為真正的問題是，他還能保持多長時間的相關(guān)性。他表示自己每天都在使用AI，即便知道答案也會用AI再檢查下，以發(fā)現(xiàn)新的內(nèi)容，“AI作為導(dǎo)師、助手，作為一起頭腦風(fēng)暴的伙伴，檢查我的工作，它徹底顛覆了一切。這對于信息工作者而言是一場革命。我希望能保持這種相關(guān)性，繼續(xù)作出貢獻，因為這項工作對我來說非常重要，我想繼續(xù)追求。我對目前的生活質(zhì)量感到難以置信，并無法想象錯過這樣的時刻。”
