劃重點
012024驍龍峰會上，高通發(fā)布了多款旗艦移動平臺，包括驍龍8至尊版、驍龍座艙至尊版和驍龍Ride至尊版。
02驍龍8至尊版采用自研Oryon CPU，性能顯著提升，功耗降低，支持生成式AI應用。
03為此，高通與多家模型廠商、集成商和runtime專家合作，提供高效的AI開發(fā)和部署工具。
04同時，高通宣布與騰訊混元和智譜AI合作，共同開發(fā)端側(cè)AI應用。
05未來，高通將繼續(xù)推動AI處理技術(shù)的智能計算公司，助力萬物互聯(lián)和跨終端體驗。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
驍龍峰會，可以被稱為消費電子界的春晚。每年此時，高通都會在峰會上揭曉其最新的旗艦移動平臺。很多手機品牌也會在這個時間之后，競相推出搭載最新驍龍芯片的旗艦手機。在手機端的各種新的用戶體驗，也會以當年驍龍芯片的能力為最強技術(shù)底座，開始一輪令消費者眼花繚亂的功能創(chuàng)新。今年的驍龍峰會，毫無疑問，能留給人最深刻印象的是兩個關(guān)鍵詞Elite和AI。
2024驍龍峰會共有三個重要產(chǎn)品發(fā)布：
●驍龍8至尊版（Snapdragon 8 Elite）移動平臺
●驍龍座艙至尊版平臺（Snapdragon Cockpit Elite）
●Snapdragon Ride至尊版平臺（Snapdragon Ride Elite）
Elite曾在去年高通發(fā)布的PC平臺驍龍X Elite中亮相。據(jù)高通官方介紹，“Elite這一命名專門面向高通最先進的產(chǎn)品，代表最強性能、最高質(zhì)量和最佳創(chuàng)新�！北M管高通官方并沒有明確說明，但是我們注意到，所有以“Elite”命名的產(chǎn)品背后，都采用了高通定制的Oryon CPU。
這個CPU可以說是驍龍移動平臺全自研的最后一塊高地，至此，GPU、CPU、NPU、ISP及通信等重要模塊，均實現(xiàn)自研。高通也在峰會現(xiàn)場展示了驍龍8至尊版移動平臺的最新性能。
第二個關(guān)鍵詞是“AI”。高通公司總裁兼CEO安蒙在兩個小時左右的主題演講中，提到AI數(shù)百次，可見對AI的重視。正如安蒙在主題演講中強調(diào)：“高通正在從一家專注無線連接的公司，發(fā)展為注重全新AI處理技術(shù)的智能計算公司。AI是今天移動計算面臨的最大顛覆性改變，在這一代的驍龍旗艦芯片上，‘AI- first’（AI優(yōu)先）會是高通核心聚焦的重點”。
AI時代，到底需要什么樣的底層硬件？
生成式AI爆發(fā)之初，人們就達成共識它是一個“吃算力”的怪獸。不僅在訓練時需要消耗巨大算力；在進行推理時，也需要巨大運算量并占用較大內(nèi)存空間。這就對移動平臺的性能提出了更高的要求。
圖：驍龍8至尊版的架構(gòu)圖
在手機的移動處理器中日常被泛稱為手機芯片，有幾個重要的組成部分：
CPU（中央處理器）：就像手機的大腦，負責處理大部分的思考和決策工作；
NPU（AI引擎）：更智能、更快速的實時交互；
GPU（圖形處理單元）：負責處理所有圖形和視頻相關(guān)的任務，讓你玩游戲和看視頻時畫面更流暢、更清晰；
ISP（圖像信號處理器）：處理從手機攝像頭捕捉的圖像，讓拍出來的照片和視頻看起來更好，比如調(diào)整亮度和顏色。另外還有最基本的通信連接模塊等。
這些解釋并不是最專業(yè)的說法，但是我們能通過這些通俗的解釋看出，手機處理器中各個部分分別負責什么任務。
CPU是移動SoC的重要核心之一。當運行游戲、AI等復雜任務時，上圖中的關(guān)鍵模組需要協(xié)同工作。這時候，CPU就會扮演指揮官或者說是大腦的角色，去指揮任務應該分配到哪里。對于管理系統(tǒng)層面的處理至關(guān)重要。它能執(zhí)行來自應用程序、操作系統(tǒng)和用戶輸入的指令，確保運行流暢快速。
一般情況下，性能和能效不可兼顧，比如我們?nèi)粘Ｍ鎻碗s的手機游戲的時候，總會感覺電池的消耗更快。但是在科技新聞對于驍龍 8 至尊版的實測中，它的功耗相比上一代驍龍 8Gen3 有明顯的降低。
首先，Oryon CPU和此前的Adreno GPU、Hexagon NPU、Spectra ISP一樣，由高通自主設計。自研CPU會有更充分的自主性和創(chuàng)新空間，就好像從頭設計一個最完美的房子，而不是在別人已經(jīng)蓋好的毛坯上改造，后者顯然將受到一定限制。
在此基礎(chǔ)之上，全部自研的CPU、GPU、NPU可以實現(xiàn)效率更高、更流暢的相互配合。高通技術(shù)公司高級副總裁兼手機業(yè)務總經(jīng)理 Christoper Patrick給到這樣一個比喻：“我們設計的每個IP都是互補的，可以作為更大的異構(gòu)計算系統(tǒng)的一部分協(xié)同工作。每一個IP都能在正確的時間奏出正確的音符，而正所有這些IP的組合創(chuàng)造了美妙的交響樂”。
第二，這顆CPU在架構(gòu)上也進行了巨大的改進：采用8核設計，包括兩顆超級內(nèi)核，主頻高達4.32GHz，這是目前手機SoC中最高的主頻。適合應對需要更快響應速度的密集型應用。緩存設計更是深度考慮了生成式AI對于手機內(nèi)存和時延的高要求。從今年的趨勢來看，3B左右的端側(cè)模型常駐是旗艦安卓手機的基本盤，按照INT4量化來看，對內(nèi)存的占用量大概為2GB。同時，用戶在使用大模型的時候，反應過慢，也會大大折損體驗，這就需要盡可能的低時延。Oryon CPU采用最大的緩存來增強每一個CPU叢集每個叢集都擁有12MB的二級緩存，總計24MB緊密耦合的專用緩存是移動領(lǐng)域最大的緩存。在每個超級內(nèi)核和性能內(nèi)核中，還大幅提升了一級緩存�？紤]到生成式AI高度依賴內(nèi)存，高通還為驍龍8至尊版配備目前最高速的LPDDR5x內(nèi)存。這些優(yōu)化，都將有助于提升用戶在使用端側(cè)模型時的體驗。
“高通Oryon CPU是一個強大的多任務處理單元，負責同時運行多個應用。它還負責啟動所有AI工作負載，處理繁重負載任務，讓AI引擎的其他組件可以專注于特定的AI任務�！�
GPU的部分，驍龍8至尊版采用了新的Adreno切片架構(gòu)，這顆Adreno GPU擁有1.1GHz的主頻，相比上一代的900MHz也提頻了。高通官方給出的數(shù)據(jù)（顯示），全新架構(gòu)的峰值性能提升40%，相同性能下的功耗降低了40%。
驍龍8至尊版上高通AI引擎提升了所有加速器內(nèi)核的吞吐量，AI推理更快。與前代相比，其關(guān)鍵核心Hexagon NPU速度提升高達45%，每瓦特性能提高45%。這意味著，消耗同樣的電量，能做更多的事情。
另外，這次驍龍峰會也推出了重新設計的AI-ISP，能夠與NPU協(xié)同工作：高通將ISP吞吐量提高了近35%，能效提升高達25%。這意味著，用戶可以利用多達三個4800萬像素傳感器同時進行拍攝。
以前，ISP會先處理圖像，然后發(fā)送到NPU進行后處理。現(xiàn)在，處理管線將更加緊密配合。NPU可以直接訪問RAW原生傳感器數(shù)據(jù)，在4K 60fps下實現(xiàn)基于AI的實時增強。
生成式AI真的裝入手機，
僅憑硬件支撐遠遠不夠
有了像驍龍8至尊版這樣性能強大的底層硬件支撐，就能打造所謂的端側(cè)AI了嗎？
從2023年開始，各大手機廠商包括蘋果，都形成了一個共識，生成式AI的爆發(fā)，將給手機甚至整個消費電子行業(yè)帶來巨大的變革。
安卓手機跑得比蘋果更快，從2023年的下半年就開始在手機上加載端側(cè)模型，并嘗試一些簡單的生成式AI功能，比如AI生成文本、圖片等。但是，由于品牌眾多，每個品牌希望側(cè)重的場景與功能不同，安卓手機的“生成式AI功能”，看起來過于零散。對比整個世界對于生成式AI的巨大關(guān)注，這些功能也顯得有些單保
并非是手機品牌思考不深入，而是因為，手機廠商們也面臨著三個困境：1、在2023年，用當時的手機處理器去支撐一個百億參數(shù)左右的端側(cè)模型，還是有些吃力；2、大模型的能力本身有限，如果壓縮為一個手機端能跑的更小規(guī)模模型，模型的表現(xiàn)就更差強人意；3、單獨任意一個安卓手機廠商，都幾乎不可能擁有覆蓋硬件、軟件、大模型訓練的全面能力。而這些，都是打造端側(cè)AI優(yōu)質(zhì)體驗不可或缺的部分。
高通技術(shù)公司產(chǎn)品管理高級總監(jiān)Siddhika Nevrekar在驍龍峰會現(xiàn)場強調(diào)，“僅憑硬件無法打造出強大的AI。這就好比一輛賽車，油箱里沒有油也無濟于事。”
今年，高通發(fā)布了驍龍8至尊版移動平臺和AI Hub。開發(fā)者可以利用AI Hub在驍龍8至尊版上測試新AI模型，并通過高通Device Cloud開發(fā)AI體驗。高通與多家模型廠商、集成商和runtime專家合作，幫開發(fā)者選擇和優(yōu)化適合他們應用和平臺的AI模型。開發(fā)者只需幾行代碼，就能輕松集成這些模型到應用程序中。
而早在2022年，高通就已經(jīng)推出AI軟件棧（AI Stack），提供一套全面的AI開發(fā)和部署工具；今年推出的AI Hub，提供了一個云端平臺，讓開發(fā)者可以遠程在驍龍設備上測試和部署AI模型。AI Stack+AI Hub，高通為開發(fā)者準備了基于自家硬件的最高效軟件平臺。同時，高通也官宣了兩個重要的國內(nèi)大模型合作伙伴：騰訊混元和智譜AI。
騰訊混元大模型基于驍龍8至尊版移動平臺，實現(xiàn)了7B和3B版本的端側(cè)部署。智譜AI在GLM4v-mini基礎(chǔ)上創(chuàng)建了基于多模態(tài)大模型的AI助手，在驍龍峰會現(xiàn)場也有Demo展示，端側(cè)的推理速度達到了將近100 token/s。
圖：驍龍峰會現(xiàn)場展示--在搭載有驍龍8至尊版的端側(cè)設備上，智譜GLM 4v-mini，推理速度超過了100token/s
從底層硬件、到軟件棧支持，到聯(lián)手最優(yōu)秀的大模型公司，幫助開發(fā)者實現(xiàn)一鍵部署，這也確實印證了安蒙的說法，高通正在轉(zhuǎn)型為AI處理技術(shù)的智能計算公司。
端側(cè) AI應用應該是
理解用戶需求的“智能體”
基于這樣的硬件能力，高通的一些OEM合作伙伴，已經(jīng)開始在手機端側(cè)，嘗試打造新的端側(cè)AI應用體驗。
用戶到底想要端側(cè)AI做什么？
“用戶希望端側(cè)AI能夠為自己量身定制。因為手機最了解用戶的個人情境信息。利用所有的傳感器，我們可以結(jié)合來自手機的情境數(shù)據(jù)、位置、偏好和個人習慣創(chuàng)建個性化神經(jīng)網(wǎng)絡，以便AI助手針對用戶需求生成個性化回復。”高通技術(shù)公司產(chǎn)品管理高級總監(jiān)Siddhika Nevrekar這樣總結(jié)。
這和高通總裁兼CEO安蒙的答案很相似端側(cè) AI應用應該是理解用戶需求的“智能體”�！斑^去是APP的時代，而未來是智能體的時代。AI智能體也是高通未來會聚焦的重點，AI改變了操作系統(tǒng)，改變了APP生態(tài)，未來用戶可以選擇他們最喜歡的智能體去做事�！�
這和幾個頭部手機廠商的思路不謀而合，比如，榮耀就重點推廣了一個用例用手機AI端側(cè)的助手，通過一個簡單的指令，實現(xiàn)從打開APP到按照你的個人偏好點單、下單的整個過程。
“去年來講大家很多都是在簡單的嘗試，可能在PC上放一個模型就叫AIPC了。但是我們今天看到兩個變化，端側(cè)AI越來越多地跟場景做深度的整合，讓它能夠貫穿到我們?nèi)粘Ｊ褂玫倪@些設備的業(yè)務流上，不再只是跟它聊聊天，而是它可以幫助你點的外賣，它能夠?qū)δ愕恼掌M行處理等等，從需求的角度，從淺水區(qū)進入到深水區(qū)。另外一個變化是模型的模態(tài)變的越來越豐富，視頻模型、圖片模型、聲音模型，都已經(jīng)走進了端側(cè)。”智譜AI CMO張帆這樣總結(jié)了從去年到今年，端側(cè)AI的兩個變化趨勢。
更能理解用戶、場景更深入、多模態(tài)，這是行業(yè)對端側(cè)AI一年的進化趨勢達成的共識。
高通也拿出了一些應用場景的用例：比如不僅可以把照片上不想要的“路人甲”擦除掉，還可以將視頻中你不需要的任何元素去掉；在搭載著驍龍X Elite的PC中，連接外部的鍵盤、吉他等音樂設備，直接進行專業(yè)級別的音樂創(chuàng)作。有創(chuàng)作者現(xiàn)場介紹，簡單一臺PC，就能實現(xiàn)之前購買的上萬美元的專業(yè)音響的效果；無論多么活潑的寵物，AI都能進行面部追蹤，并捕捉它的動作。
圖：用搭載有驍龍8至尊版的移動設備，瞬間捕捉狗狗的動作
當然，距離端側(cè)AI進化成真正的智能體，能夠真正的擁有感知、記憶、規(guī)劃的全面能力，還有很長的路要走。但是，目前，我們已經(jīng)看到傳統(tǒng)機器算法對于影像等的處理、今天的生成式AI，都可以同時裝進了小小的端側(cè)設備（手機、PC等），我們可能正在從智能終端設備時代，跨進AI終端設備時代。
萬物互聯(lián)，所有的設備都懂你
我們生活在一個多終端的世界里。每個人每天面對的不僅僅有手機、車、PC，還有手表、音箱、電視等等。
除了面向手機的驍龍8至尊版移動平臺，高通也重點發(fā)布了基于車的驍龍座艙至尊版平臺（Snapdragon Cockpit Elite） 和Snapdragon Ride至尊版平臺（Snap Dragon Ride Elite），同樣使用了自研Oryon CPU。
圖：在2024驍龍峰會現(xiàn)場，通過XR設備了解驍龍座艙至尊版平臺（Snapdragon Cockpit Elite）和Snapdragon Ride至尊版平臺（Snapdragon Ride Elite）
這就意味著，這些終端設備，可以采用共通的底層架構(gòu)，有更好的兼容性，互相之間的互聯(lián)互通也會更加通暢。
如果這些終端設備，都能根據(jù)用戶偏好、情境，在終端應用和服務之間無縫連接，提供個性化的服務。那么，我們就可能擁有不止一個智能體，甚至可以在多AI終端設備存在的物理世界內(nèi)，獲得多個“智能體”聯(lián)動服務的體驗。這可能就是智能計算時代的來臨吧。
如果要實現(xiàn)這樣的效果，需要具備哪些條件？“AI、計算、連接是智能計算變革至關(guān)重要的核心技術(shù)支柱”，高通技術(shù)公司手機、計算和XR事業(yè)群總經(jīng)理阿力克斯卡圖贊(Alex Katouzian）這樣總結(jié)。
其實，已經(jīng)有先行者開始去嘗試實現(xiàn)這個有些科幻感的圖景：
小米集團的「人車家全生態(tài)」戰(zhàn)略，基于澎湃OS，將個人設備、智能家居和智慧出行整合起來；榮耀嘗試通過MagicOS將手機、平板、筆記本電腦等多個終端設備串聯(lián)起來，打造“超級終端”。這都是跨終端體驗的嘗試。
在萬物互聯(lián)中，高通作為“AI處理技術(shù)的智能計算公司”，能承擔什么樣的角色？“如果用戶的終端能夠彼此協(xié)同工作，那么可以實現(xiàn)更多功能。在用戶的個人偏好、本地情境和終端上的應用與服務功能之間提供便利，帶來AI智能體體驗。通過將信息作為個人知識圖譜保留在終端側(cè)，你的終端可以更易感知、更快響應你的需求�！笨▓D贊這樣解釋。
做AI時代的賦能者和協(xié)調(diào)員，“而這僅僅是個開始”，卡圖贊這樣強調(diào)。
