摘要：AI產(chǎn)品開(kāi)發(fā)者需要先行一步，早一些讓用戶體驗(yàn)自己的產(chǎn)品,，和用戶建立連接,，培養(yǎng)粘性，從而在競(jìng)爭(zhēng)中占得先機(jī),。

　　2024注定是AI行業(yè)熱鬧非凡的一年,。雖然剛剛進(jìn)入3月份，但是關(guān)于AI的新聞已經(jīng)多次占據(jù)了頭條,。就在上個(gè)月,，OpenAI了文字生成視頻的大模型Sora，其逼真的效果直接清空了在這個(gè)細(xì)分賽道苦苦耕耘的創(chuàng)業(yè)者,。幾天后,，英偉達(dá)市值站上2萬(wàn)億美元，成為了上最快實(shí)現(xiàn)從1萬(wàn)億到2萬(wàn)億美元市值的企業(yè),。正所謂"當(dāng)你發(fā)現(xiàn)金礦,，最好的生意不是挖礦而是賣(mài)鏟子"，英偉達(dá)成為了AI時(shí)代"備競(jìng)賽"的最大贏家,。

　　就在大家感嘆"世界上只有兩種AI,，一種叫OpenAI，一種叫其他AI"的時(shí)候,，沉寂了許久的Anthropic放出王炸,，這家由OpenAI前研究副總裁創(chuàng)立的公司，了最新的Claude3模型,，各項(xiàng)指標(biāo)已經(jīng)全面超越了GPT4,。

　　AI行業(yè)的風(fēng)起云涌，也昭示了這個(gè)行業(yè)還處在一個(gè)初級(jí)階段,。技術(shù)迭代太快,，暫時(shí)領(lǐng)先的企業(yè)可能在一夜之間就被新技術(shù)顛覆,。一些眼花繚亂的新技術(shù)，雖然已經(jīng)問(wèn)世,，但遲遲不公開(kāi)或者沒(méi)有,。比如上文提到的Sora，截至,，還沒(méi)有正式向公眾開(kāi)放。

　　生成式AI的研發(fā)和本地之間存在鴻溝,。目前,，大眾使用的生成式AI產(chǎn)品往往是在云端而在本地訪問(wèn)(比如ChatGPT網(wǎng)頁(yè))，但這無(wú)法滿足所有需求,，并且會(huì)產(chǎn)生一些隱患,。

　　首先，隨著大模型越來(lái)越復(fù)雜,，云端和本地之間的傳輸在有限帶寬下變得捉襟見(jiàn)肘,，比如一架波音787飛機(jī)每秒鐘產(chǎn)生5G的數(shù)據(jù)，如果上傳到云端,、計(jì)算,、輸出結(jié)果再返回，飛機(jī)可能已經(jīng)飛出去幾公里了(按照800公里/小時(shí)估算),。如果在飛機(jī)上使用AI功能但是在云端,，這樣的傳輸速度是無(wú)法滿足要求的。

　　此外,，一些用戶敏感數(shù)據(jù),、隱私數(shù)據(jù)，是否一定要上云?顯然放在本地比云端更讓用戶放心,。

　　不論生成式AI多么強(qiáng)大,，如何到本地始終是一個(gè)無(wú)法繞開(kāi)的問(wèn)題。這是行業(yè)發(fā)展的趨勢(shì),，雖然目前面臨一些困難,。

　　困難在于，如何把"大模型"裝入"小設(shè)備",。注意,，這里的"大小"是相對(duì)而言的。云端計(jì)算的背后可能是一個(gè)占地幾萬(wàn)平方米的計(jì)算中心,，而本地卻要讓生成式AI在你的手機(jī)上跑起來(lái),。手機(jī)沒(méi)有液氮冷卻，也沒(méi)有無(wú)窮無(wú)盡的電力,，該如何AI呢?

　　異構(gòu)計(jì)算,，一種可能的解決方案?

　　高通的異構(gòu)計(jì)算AI引擎(以下皆稱作高通AI引擎)為行業(yè)提供了一種可行的解決方案,。即通過(guò)CPU、GPU,、NPU以及高通傳感器中樞和內(nèi)存子系統(tǒng)的協(xié)作,，實(shí)現(xiàn)了AI和大幅度提升AI體驗(yàn)的目的。

　　不同類型的處理器所擅長(zhǎng)的工作不同,，異構(gòu)計(jì)算的原理就是讓"專業(yè)的人做專業(yè)的事"。CPU擅長(zhǎng)順序控制,，適用于需要低延時(shí)的應(yīng)用場(chǎng)景,，同時(shí)，一些較小的傳統(tǒng)模型如卷積神經(jīng)網(wǎng)絡(luò)模型(CNN),，或一些特定的大語(yǔ)言模型(LLM),，CPU處理起來(lái)也能得心應(yīng)手。而GPU更擅長(zhǎng)面向高精度格式的并行處理,，比如對(duì)畫(huà)質(zhì)要求非常高的視頻,、游戲。

　　CPU和GPU出鏡率很高,，大眾已經(jīng)相當(dāng)熟悉,，而NPU相對(duì)而言更像一種新技術(shù)。NPU即神經(jīng)網(wǎng)絡(luò)處理器,，專門(mén)為實(shí)現(xiàn)低功耗,、加速AI推理而打造。當(dāng)我們?cè)诔掷m(xù)使用AI時(shí),，需要以低功耗穩(wěn)定輸出高峰值性能,，NPU就可以發(fā)揮最大優(yōu)勢(shì)。

　　舉個(gè)例子,，當(dāng)用戶在玩一款重負(fù)載的游戲,，此時(shí)GPU會(huì)被完全占用，或者用戶在瀏覽多個(gè)網(wǎng)頁(yè),，CPU又被完全占用,。此時(shí)，NPU作為真正的AI專用引擎就會(huì)負(fù)擔(dān)起和AI有關(guān)的計(jì)算,，保證用戶的AI體驗(yàn)流暢,。

　　總結(jié)起來(lái)說(shuō)就是，CPU和GPU是通用處理器,，為靈活性而設(shè)計(jì),，易于編程,，本職工作是負(fù)責(zé)操作系統(tǒng)、游戲和其他應(yīng)用,。NPU則為AI而生,，AI是它的本職工作，通過(guò)犧牲部分易編程特性而實(shí)現(xiàn)了更高的峰值性能和能效,，一路為用戶的AI體驗(yàn)護(hù)航,。

　　當(dāng)我們把 CPU、GPU,、NPU 以及高通傳感器中樞和內(nèi)存子系統(tǒng)集成在一起,，就是異構(gòu)計(jì)算架構(gòu)。

　　高通AI引擎整合了高通 Oryon 或 Kryo CPU、 Adreno GPU ,、 Hexagon NPU 以及高通傳感器中樞和內(nèi)存子系統(tǒng),。Hexagon NPU作為其中的組件，經(jīng)過(guò)多年的升級(jí)迭代,，目前已達(dá)到業(yè)界領(lǐng)先的AI處理水平,。以手機(jī)平臺(tái)為例，集成高通 AI 引擎的第三代驍龍 8 支持行業(yè)領(lǐng)先的LPDDR5x內(nèi)存,，頻率高達(dá)4.8GHz,，使其能夠以非常高速的芯片內(nèi)存讀取速度運(yùn)行大型語(yǔ)言模型，如百川,、Llama 2等,，從而實(shí)現(xiàn)非常快的token生成速率,，為用戶帶來(lái)全新的體驗(yàn),。

　　高通對(duì)NPU的研究,，并不是近幾年才開(kāi)始的,。如果要追溯Hexagon NPU的起源，要回到2007年,，也就是生成式AI走入公眾視野的15年前,。高通的首款Hexagon DSP在驍龍平臺(tái)上亮相，DSP控制和標(biāo)量架構(gòu)成為了高通未來(lái)多代NPU的基礎(chǔ),。

　　8年后,，也就是2015年，驍龍820處理器集成了首個(gè)高通AI引擎;

　　2018年,，高通在驍龍855中為Hexagon NPU增加了張量加速器;

　　2019年,，高通在驍龍865上擴(kuò)展了終端側(cè)AI用例，包括AI成像,、AI視頻,、AI語(yǔ)音等功能;

　　2020年，Hexagon NPU迎來(lái)變革型架構(gòu)更新,。標(biāo)量,、向量、張量加速器融合,，這為高通未來(lái)的NPU架構(gòu)奠定了基礎(chǔ);

　　2022年,，第二代驍龍8中的Hexagon NPU引入了一系列重大技術(shù)提升。微切片技術(shù)提升了內(nèi)存效率,，功耗降低繼續(xù)降低并且實(shí)現(xiàn)了4.35倍的AI性能提升,。

　　2023年10月25日，高通正式第三代驍龍8,。作為高通技術(shù)公司首個(gè)專為生成式AI而精心打造的移動(dòng)平臺(tái),，其集成的Hexagon NPU是目前高通面向生成式AI最新、也是最好的設(shè)計(jì),。

　　由于高通為AI開(kāi)發(fā)者和下游廠商提供的是全套解決方案(這部分內(nèi)容會(huì)在第三部分詳細(xì)敘述),，并非單獨(dú)提供芯片或者某個(gè)軟件應(yīng)用。這意味著在硬件設(shè)計(jì)上和優(yōu)化上,，高通可以通盤(pán)考慮,，找出目前AI開(kāi)發(fā)的瓶頸，做有針對(duì)性地提升,。

　　比如,，為何要特別在意內(nèi)存帶寬這個(gè)技術(shù)點(diǎn)?當(dāng)我們把視角從芯片上升到AI大模型開(kāi)發(fā)，就會(huì)發(fā)現(xiàn)內(nèi)存帶寬是大語(yǔ)言模型token生成的瓶頸,。第三代驍龍8的NPU架構(gòu)之所以能幫助加速開(kāi)發(fā)AI大模型,，原因之一便在于專門(mén)提升了內(nèi)存帶寬的效率。

　　這種效率的提升主要受益于兩項(xiàng)技術(shù)的應(yīng)用,。

　　第一是微切片推理,。通過(guò)將神經(jīng)網(wǎng)絡(luò)分割成多個(gè)獨(dú)立執(zhí)行的微切片,，消除了高達(dá)10余層的內(nèi)存占用，此舉最大化利用了Hexagon NPU中的標(biāo)量,、向量和張量加速器并降低功耗,。第二是本地4位整數(shù)(INT4)運(yùn)算。它能將INT4層和神經(jīng)網(wǎng)絡(luò)和張量加速吞吐量提高一倍,，同時(shí)提升了內(nèi)存帶寬效率,。

　　2月26日,，世界移動(dòng)通信(MWC 2024)在巴塞羅那拉開(kāi)帷幕,。基于驍龍X Elite,，高通向全世界展示了全球首個(gè)在終端側(cè)運(yùn)行的超過(guò)70億參數(shù)的大型多模態(tài)語(yǔ)言模型(LMM),。該模型可接收和音頻輸入(如音樂(lè)、交通環(huán)境音頻等),，并基于音頻內(nèi)容生成多輪對(duì)話,。

　　所以,，在集成了Hexagon NPU的移動(dòng)終端上,，會(huì)有怎樣的AI體驗(yàn)?以及它是如何做到的?高通詳細(xì)拆解了一個(gè)案例。

　　借助移動(dòng)終端的AI旅行助手,，用戶可以直接對(duì)模型提出規(guī)劃旅游行程的需求,。AI助手可以立刻給到航班行程，并且通過(guò)語(yǔ)音對(duì)話調(diào)整輸出結(jié)果,，最后通過(guò)Skyscanner插件創(chuàng)建完整航班日程,。

　　這種一步到位的體驗(yàn)是如何實(shí)現(xiàn)的?

　　第一步，用戶的語(yǔ)音通過(guò)自動(dòng)語(yǔ)音識(shí)別(ASR)模型Whisper轉(zhuǎn)化成,。該模型有2.4億個(gè)參數(shù),，主要在高通傳感器中樞上運(yùn)行;

　　第二步，利用Llama 2或百川大語(yǔ)言模型基于內(nèi)容生成回復(fù),，這一模型在Hexagon NPU上運(yùn)行;

　　第三步,，通過(guò)在CPU上運(yùn)行的開(kāi)源TTS(Text to Speech)模型將轉(zhuǎn)化為語(yǔ)音;

　　最后一步，通過(guò)調(diào)制解調(diào)器技術(shù)進(jìn)行網(wǎng)絡(luò)連接,，使用Skyscanner插件完成訂票操作,。

　　行業(yè)井噴前夕，開(kāi)發(fā)者需要搶占先機(jī)

　　使用不同的工具測(cè)試驍龍和高通平臺(tái)的AI性能表現(xiàn),，可以發(fā)現(xiàn)其得分比同類競(jìng)品高出幾倍,。從魯AIMark V4.3基準(zhǔn)測(cè)試結(jié)果來(lái)看,，第三代驍龍8的總分相較競(jìng)品B高出5.7倍，而相較競(jìng)品C高出7.9倍,。

　　在安兔兔AITuTu基準(zhǔn)測(cè)試中,，第三代驍龍8的總分比競(jìng)品B高出6.3倍。針對(duì)MLCommon MLPerf推理的不同子項(xiàng),，包括圖像分類,、語(yǔ)言理解以及超級(jí)分辨率等，也進(jìn)行了詳盡的比較,。

　　進(jìn)一步對(duì)比驍龍X Elite與其他X86架構(gòu)競(jìng)品，在ResNet-50,、DeeplabV3等測(cè)試中,，驍龍X Elite表現(xiàn)出明顯的領(lǐng)先地位，其基準(zhǔn)測(cè)試總分分別是X86架構(gòu)競(jìng)品A的3.4倍和競(jìng)品B的8.6倍,。因此,，在PC端，無(wú)論是運(yùn)行Microsoft Copilot,，還是進(jìn)行文檔摘要,、文檔撰寫(xiě)等生成式AI應(yīng)用，體驗(yàn)都十分流暢,。

　　領(lǐng)先的AI性能不全是高通AI引擎的功勞，確切的說(shuō),，高通對(duì)AI廠商的賦能是全方位的,。

　　首先是高通AI引擎。它包括Hexagon NPU,、Adreno GPU,、高通Oryon CPU(PC平臺(tái))、高通傳感器中樞和內(nèi)存子系統(tǒng),。專門(mén)的工業(yè)設(shè)計(jì),、不同部件之間良好的協(xié)同，這款異構(gòu)計(jì)算架構(gòu)為終端側(cè)產(chǎn)品提供了低功耗、高能效的開(kāi)發(fā)平臺(tái),。

　　基于先進(jìn)的硬件,，高通又推出了AI軟件棧(高通AI Stack)。這款產(chǎn)品的誕生是為了解決AI開(kāi)發(fā)中的頑疾——同一個(gè)功能,，針對(duì)不同平臺(tái)要多次開(kāi)發(fā),，重復(fù)勞動(dòng)。AI Stack支持目前所有的主流AI框架,，OEM廠商和開(kāi)發(fā)者可以在平臺(tái)上創(chuàng)建,、優(yōu)化和AI應(yīng)用，并且能實(shí)現(xiàn)"一次開(kāi)發(fā),，全平臺(tái)",，減少了研發(fā)人員的重復(fù)勞動(dòng)。

　　此外，還有高通在MWC2024上剛剛的AI Hub,。AI Hub是一個(gè)包含了近80個(gè)AI模型的模型庫(kù),，其中既有生成式AI模型，也有傳統(tǒng)AI模型,，還包括圖像識(shí)別或面部識(shí)別模型,，百川、Stable Diffusion,、Whisper等模型,。開(kāi)發(fā)者可以從AI Hub中選取想要使用的模型生成二進(jìn)制插件,，做到AI 開(kāi)發(fā)的"即插即用",。

　　綜合來(lái)說(shuō),，如果縱向看深度,，高通在硬件(AI引擎)、軟件(AI Stack)和素材庫(kù)(AI Hub)三個(gè)維度全面加速?gòu)S商的AI開(kāi)發(fā)進(jìn)度,。橫向看覆蓋廣度,，高通的產(chǎn)品已經(jīng)覆蓋了幾乎所有的終端側(cè)設(shè)備(第三代驍龍8支持手機(jī)等終端，X Elite賦能AI PC產(chǎn)品),。

　　AI應(yīng)用處于井噴前的醞釀期,。

　　在教育領(lǐng)域,，AI能針對(duì)學(xué)生的學(xué)能力和進(jìn)度制定個(gè)性化的教學(xué)方案;在醫(yī)學(xué)領(lǐng)域， AI可以用來(lái)發(fā)掘全新的抗生素類型;在養(yǎng)老方面,，未來(lái)在一些社會(huì)老齡化問(wèn)題比較嚴(yán)重的地區(qū),，可以利用AI終端收集老年人家中的所有個(gè)人數(shù)據(jù)，從而幫助預(yù)防緊急醫(yī)療,。

　　之所以叫"井噴前",，正是因?yàn)檫€沒(méi)有大規(guī)模。另一方面,，AI應(yīng)用,，作為最容易讓用戶產(chǎn)生粘性的產(chǎn)品之一，具有很強(qiáng)的先發(fā)優(yōu)勢(shì)效應(yīng),。

　　AI產(chǎn)品開(kāi)發(fā)者需要先行一步,，早一些讓用戶體驗(yàn)自己的產(chǎn)品，和用戶建立連接,，培養(yǎng)粘性,，從而在競(jìng)爭(zhēng)中占得先機(jī)。

　　(文章轉(zhuǎn)載自DeepTech深科技)