2023年過去幾個月里，高通一直在鼓吹手機大模型。

就好像是要用行動證明，大模型這件事兒，不能只肥了英偉達，高通也要分杯羹。

高通著急是有原因的，畢竟智能手機市場已經(jīng)觸頂，XR市場還未起量，高通剛剛公布的三季度財報中“智能手機芯片銷量下降25%，QCT部門銷售額同比下降24%”格外顯眼。

這與英偉達H10043萬張的供給缺口形成了鮮明的對比。

于是，我們看到，今年2月，高通官方Y(jié)ouTube發(fā)布了一則40秒的“短視頻”，在這個視頻中，高通為一部有明顯驍龍標(biāo)識的安卓手機裝上了StableDiffusion，并用14.42秒生成了一張AI圖片。

StableDiffusion是當(dāng)下最火的AI繪圖軟件，也是一個擁有10億參數(shù)的大模型。

不過，10億級參數(shù)的StableDiffusion顯然無法與如今千億級參數(shù)的GPT-3.5、萬億級參數(shù)的GPT-4相提并論。

高通的目標(biāo)自然也不止于此，高通隨后不僅又在手機上演示了15億參數(shù)的ControlNet，還多次對外布道，“年內(nèi)將在手機上支持100億級大模型?！?/span>

就在英偉達顯卡賣瘋了的這一年，看似與大模型中間隔著無數(shù)張H100的手機，開始要上大模型了。

然而，手機上大模型這件事兒，可能遠(yuǎn)沒有你想得那么高級，但遠(yuǎn)比你想得要重要。

01

谷歌將“小模型”裝進手機里

2017年7月，谷歌母公司Alphabet宣布，接任谷歌CEO一職兩年的SundarPichai正式進入董事會。

對于Pichai來說，這無疑是對他過去兩年工作最大的肯定。

而就在兩個月前的谷歌I/O2017大會上，Pichai剛剛宣布，接下來，谷歌公司戰(zhàn)略將從“Mobilefirst”轉(zhuǎn)向“AIfirst”，AI開始上升為谷歌的公司戰(zhàn)略，這時距離谷歌收購DeepMind剛剛過去三年。

這一年發(fā)生的另一件奠定了谷歌在AI領(lǐng)域江湖地位的事兒是，谷歌大腦團隊在發(fā)表的《AttentionIsAllYouNeed》中創(chuàng)造性地提出了Transformer架構(gòu)。

這一架構(gòu)不僅成為后來人工智能和自然語言技術(shù)發(fā)展的基石，也直接促使OpenAI團隊開創(chuàng)了如今的ChatGPT盛世。

不過，這些不是我們今天要討論的重點，我們今天要討論的是谷歌在這一年另一項，對于手機這樣的終端設(shè)備影響深遠(yuǎn)的AI突破——聯(lián)邦學(xué)習(xí)（FederatedLearning）。

機器學(xué)習(xí)是人工智能的主流研究方法，然而，以往將這樣的人工智能能力應(yīng)用到終端設(shè)備上時，通常需要經(jīng)歷一個“終端數(shù)據(jù)收集-發(fā)送數(shù)據(jù)到云端-云端模型訓(xùn)練-終端執(zhí)行決策”這樣一條長鏈路。

究其原因，是因為終端設(shè)備算力和存儲資源都極為有限，要在手機這樣的終端上進行AI模型訓(xùn)練不現(xiàn)實。

不過，谷歌并不這么想，他們通過一個頗為討巧的方法——端云協(xié)同，嘗試在終端上研究人工智能技術(shù)。

2017年4月6日，谷歌在官方博客中更新了一篇文章——《FederatedLearning：CollaborativeMachineLearningwithoutCentralizedTrainingData》，在這篇文章中，谷歌AI科學(xué)家指出：

“在手機從云端下載AI模型后，在手機上，通過手機上的數(shù)據(jù)訓(xùn)練并改進模型，改進部分被單獨總結(jié)并發(fā)送回云端，用于改進云端‘大模型’。

這其中，所有訓(xùn)練數(shù)據(jù)都保留在手機本地，不再單獨更新并存儲到云端?！?/span>

聯(lián)邦學(xué)習(xí)的模式，優(yōu)點在于解決了人工智能研究過程中的數(shù)據(jù)安全問題，但是并沒有從根本上解決本地設(shè)備算力、存儲資源受限的問題。

在聯(lián)邦學(xué)習(xí)框架之下，最初下載到本地設(shè)備的AI模型和云端AI模型是一個同樣大小的模型，好在谷歌當(dāng)時找到了一個恰好符合這一方法的應(yīng)用場景——手機輸入法。

谷歌當(dāng)時是基于自家的Gboard輸入法做了一個端側(cè)系統(tǒng)中的推薦引擎，當(dāng)你用手機的Gboard輸入一個字母或單詞時，推薦引擎會根據(jù)你的歷史使用數(shù)據(jù)推薦相應(yīng)的關(guān)聯(lián)內(nèi)容給你。

這樣的功能在諸如百度輸入法、搜狗輸入法等各類輸入法中已經(jīng)得到了廣泛使用，也在潛移默化中改變著我們的手機使用習(xí)慣。

例如現(xiàn)在越來越多人在手機上已經(jīng)習(xí)慣了使用九宮格輸入法，背后少不了這種推薦引擎帶來的便利和魔力。

不過，手機輸入法涉及的單詞量有限，通常一門語言的常用單詞量在1萬個左右，有國內(nèi)研究團隊預(yù)測，谷歌當(dāng)時推出的這一輸入法推薦引擎模型體積可能只有約1.4MB大小。

因而，嚴(yán)格意義上來說，谷歌六年前提出的聯(lián)邦學(xué)習(xí)，實際上只是將占用資源量有限的“AI小模型”裝進了手機里。

谷歌的聯(lián)邦學(xué)習(xí)，只是驗證了端側(cè)AI的可行性，邁出了端側(cè)AI的“一小步”。

02

超越“小模型”

就在谷歌提出聯(lián)邦學(xué)習(xí)不久，由于其在隱私性和安全性上的突出表現(xiàn)，使得它在金融領(lǐng)域得到了廣泛應(yīng)用。

與此同時，端側(cè)AI的發(fā)展，也并沒有停在“AI小模型”上。

上海交大吳帆教授團隊是從2019年開始研究端側(cè)人工智能技術(shù)，吳帆教授團隊當(dāng)時是與阿里的團隊基于手機淘寶的應(yīng)用需求，做的偏應(yīng)用性的技術(shù)研究。

每當(dāng)你在手機上打開京東或淘寶等線上購物平臺時，第一屏上總會出現(xiàn)你最近搜索過或想過要買的商品，這背后其實就是一套類似前文中提到的輸入法推薦引擎一樣的推薦引擎。

不過，電商平臺面向的是10億級用戶和數(shù)十億商品信息，因而推薦引擎所需的計算資源和存儲資源，都是輸入法這樣的手機應(yīng)用無法比擬的。

僅僅以模型大小來看，要想嵌入20億個商品信息，模型規(guī)模就已經(jīng)達到了130GB，如果仍然照搬谷歌提出的聯(lián)邦學(xué)習(xí)框架，本地設(shè)備顯然無法提供如此規(guī)模的硬件資源。

而如果是使用減枝、量化、知識蒸餾等傳統(tǒng)模型壓縮方法，端側(cè)AI推薦引擎的準(zhǔn)確率又會大打折扣。

因而，吳帆教授團隊借鑒聯(lián)邦學(xué)習(xí)的思路，研究出了一套適用于手機淘寶這樣“大模型”的端側(cè)推薦引擎構(gòu)建機制：

第一步，將與用戶特征數(shù)據(jù)相關(guān)的局部模型切分下來，并將這個局部模型下載到本地結(jié)合本地數(shù)據(jù)進行模型訓(xùn)練；

第二步，下載到本地的模型經(jīng)由本地用戶數(shù)據(jù)訓(xùn)練后，將本地參數(shù)根據(jù)本地模型特性和數(shù)據(jù)量進行加權(quán)計算；

第三步，加權(quán)計算后的本地參數(shù)上傳到云端，對云端全局大模型進行訓(xùn)練。

在吳帆教授團隊的這套思路中，推薦模型同樣被切分為云端模型和（手機）本地模型，不同的是，云端模型是最終完整的“大模型”，手機本地模型則是根據(jù)每個用戶特征本地訓(xùn)練形成的個性化用戶“小模型”。

據(jù)吳帆教授公開的研究數(shù)據(jù)顯示，每位用戶每個月關(guān)注的商品數(shù)大概在300個左右，因而手機本地的推薦模型大小只有0.27MB左右，甚至比輸入法的手機本地推薦模型還要小。

這正是淘寶在移動互聯(lián)網(wǎng)時代能夠精準(zhǔn)掌握用戶購物習(xí)慣和用戶畫像的一個秘密武器。

03

手機大模型的歷史使命

現(xiàn)在再來看高通提出的手機大模型和混合AI這件事兒，似乎也沒有多高級。

畢竟，在過去這些年里，已經(jīng)有不少團隊在嘗試將各類算法模型、推薦引擎放到手機上了。

那么，為什么這件事兒這么重要呢？

這是因為部署在云端的人工智能算法，在手機這類設(shè)備中應(yīng)用時，存在三個問題：

第一，服務(wù)響應(yīng)延時高；

第二，服務(wù)個性化不足；

第三，云服務(wù)器壓力大。

前兩者關(guān)乎用戶使用體驗，就像身處5G時代的我們，回過頭來看，已經(jīng)完全無法忍受2G、3G時代時手機打開一個網(wǎng)頁都需要幾秒延時的體驗一樣。

喬布斯在2007年發(fā)布第一代蘋果手機時，現(xiàn)場演示手機沖浪，打開紐約時報時都需要讀秒，如果現(xiàn)在我們打開京東、淘寶、支付寶，首頁推薦內(nèi)容需要讀秒才能呈現(xiàn)的話，那將是一個不敢想象的恐怖故事。

不過，端側(cè)AI更重要的意義，其實在于分擔(dān)云計算的壓力。

云計算是我們當(dāng)下這個時代一項獨特的技術(shù)，它的出現(xiàn)讓我們能夠集中計算資源辦大事兒。然而，我們也看到，即便數(shù)據(jù)中心已經(jīng)被納入到我們國家的新基建建設(shè)規(guī)劃之中，但是云計算資源依舊緊張。

尤其是大模型的出現(xiàn)，對計算資源提出了更高的要求，高通今年特別出了一份混合AI的研究報告，報告中援引摩根士丹利的數(shù)據(jù)指出：

生成式AI每次搜索的成本是傳統(tǒng)搜索方法的10倍，以目前每天超過100億次搜索計算為例，即便基于大語言模型的搜索僅占其中一小部分，每年增量成本也可能會達到數(shù)十億美元。

而作為如今每年擁有十幾億出貨量的個人終端，智能手機就像是擁有大量閑置算力的移動計算單元，如果能在這些設(shè)備閑置時間里將這些碎片化、分布式算力利用起來，將會產(chǎn)生不小的社會效益。

而這，或許才是手機大模型真正的歷史使命。

04

留給手機大模型的三個問題

2022年1月24日，中國工程院院刊舉辦第三屆信息與電子工程領(lǐng)域青年學(xué)術(shù)前沿論壇，彼時，還是阿里達摩院智能計算實驗室負(fù)責(zé)人的周靖人，對外發(fā)布了阿里的“洛犀”端云協(xié)同平臺。

這一平臺，背后是阿里達摩院、浙江大學(xué)上海高等研究院、上海人工智能實驗室三個國內(nèi)頂級研究機構(gòu)合作產(chǎn)物，其作用，正是實現(xiàn)端云協(xié)同的人工智能。

此外，據(jù)吳帆教授近日透露，吳帆教授團隊在端云協(xié)同AI上的工作，也被納入到了科技部2030人工智能重大專項的扶持項目之列。

不過，他也指出，目前端云協(xié)同AI仍然存在三方面難題：

第一，云上大模型與端側(cè)小模型之間的高效遷移問題；

第二，端側(cè)持續(xù)性增強學(xué)習(xí)所面臨的資源占用問題；

第三，端側(cè)新知識如何高效匯聚、融合到云測，支持云測大模型演進的問題。

2023年，大模型炸裂了整個科技圈，人們都驚訝地看著它肆無忌憚的表演，盡管大模型對計算資源有超高的需求，無論是入局大模型戰(zhàn)場的科技巨頭，還是創(chuàng)業(yè)團隊，都在瘋搶GPU資源，但這并不影響大模型在手機上的部署。

實際上，早在今年4月，也就是在高通在安卓手機上演示基于StableDiffusion的AI作圖沒多久，Midjourney就已經(jīng)“落戶”QQ，QQ用戶就已經(jīng)可以在手機端進入這一大火的AI作圖工具的“體驗服”。

這同樣是基于端云協(xié)同AI的一次嘗試。

高通今年提出的“年內(nèi)在手機上支持100億級大模型”的目標(biāo)，雖然聽上去有些不可思議，實則同樣是基于其提出的混合AI模式，也就是端云協(xié)同AI。

這么看來，大模型從未離開過智能手機這一刺激戰(zhàn)場，大模型也將繼續(xù)在擁有超過60億用戶的智能手機上繼續(xù)“強化學(xué)習(xí)”。