12月12日，第八屆 GAIR 全球人工智能與機(jī)器人大會(huì)于深圳正式拉開(kāi)帷幕。

本次大會(huì)為期兩天，由GAIR研究院與雷峰網(wǎng)聯(lián)合主辦，高文院士任指導(dǎo)委員會(huì)主席，楊強(qiáng)院士與朱曉蕊教授任大會(huì)主席。

作為AI產(chǎn)學(xué)研投界標(biāo)桿盛會(huì)，GAIR自2016年創(chuàng)辦以來(lái)，始終堅(jiān)守“傳承+創(chuàng)新”內(nèi)核，是AI學(xué)界思想接力的陣地、技術(shù)交流的平臺(tái)，更是中國(guó)AI四十年發(fā)展的精神家園。過(guò)去四年大模型驅(qū)動(dòng)AI產(chǎn)業(yè)加速變革，歲末年初GAIR如約而至，以高質(zhì)量觀點(diǎn)碰撞，為行業(yè)與大眾呈現(xiàn)AI時(shí)代的前沿洞見(jiàn)。

本次峰會(huì)之上，RockAI CMO鄒佳思以“擺脫Transformer的束縛，讓智能重新定義硬件”為主題，為參會(huì)者們帶來(lái)了一場(chǎng)精彩紛呈的演講。

鄒佳思通過(guò)提出一個(gè)生活場(chǎng)景的假設(shè)作為開(kāi)場(chǎng)，描繪了一幅充分開(kāi)發(fā)端側(cè)智能后的日常生活圖景。在設(shè)想中，家庭場(chǎng)景中智能設(shè)備的聯(lián)動(dòng)無(wú)需云端參與。如回家后設(shè)備自動(dòng)完成放音樂(lè)、加熱水、拉窗簾、定鬧鐘、點(diǎn)早餐等操作，這一系列動(dòng)作，通過(guò)在終端設(shè)備上進(jìn)行本地私有化部署的人工智能模型，實(shí)現(xiàn)了場(chǎng)景設(shè)備間的智能互聯(lián)，鄒佳思將其稱之為“端側(cè)智能”。他還強(qiáng)調(diào)，端側(cè)智能并非等于云端大模型的小參數(shù)版本。

鄒佳思解釋稱，比起云端智能，使用端側(cè)智能來(lái)實(shí)現(xiàn)許多生活場(chǎng)景的智能化是更好的選擇。省去云端的參與在允許模型更加個(gè)性化的同時(shí)，還避免了使用云端可能帶來(lái)的個(gè)人隱私及成本問(wèn)題。他認(rèn)為，現(xiàn)在主流“為云端模型Token付費(fèi)是一種錯(cuò)誤的理念，每天全世界的Token消耗達(dá)到萬(wàn)億以上，而其中至少有50%是被浪費(fèi)掉的”。

鄒佳思承認(rèn)，從云端邁向端側(cè)智能的過(guò)程中，還有許多挑戰(zhàn)存在，包括算力、內(nèi)存等硬件資源受限，實(shí)用性要求較高，以及缺少自主學(xué)習(xí)能力等方面。但他認(rèn)為，一味的堆算力其實(shí)扼殺了創(chuàng)新，而人工智能的開(kāi)發(fā)就像人類(lèi)，“大家的智力水平可能都差不多，很高很低的都很少，但就是這么一群智商上面差不多的人，我們聚集在一起，可以造火箭，可以造AI，但是單個(gè)人是干不成這些事情的?！?/p>

因此RockAI致力于以非Transformer架構(gòu)的模型，開(kāi)發(fā)設(shè)備端側(cè)的智能設(shè)備，其核心在于使AI擁有原生記憶和自主學(xué)習(xí)的能力，進(jìn)而最終達(dá)到“群體智能”的生態(tài)環(huán)境。

鄒佳思指出，端側(cè)智能的成長(zhǎng)在于其自主進(jìn)化，從“固定工具”到“持續(xù)學(xué)習(xí)”，并從“周期更新”的模式轉(zhuǎn)變?yōu)椤凹磿r(shí)成長(zhǎng)”，讓大模型不再“死亡”于部署。

以下是鄒佳思的現(xiàn)場(chǎng)演講內(nèi)容，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))作了不改變?cè)獾木庉嫾罢恚?/strong>

大家好，今天我想探討一個(gè)與大家生活密切相關(guān)的主題——設(shè)備端的智能。

設(shè)想這樣一個(gè)場(chǎng)景：在結(jié)束一天的工作后，我倍感疲憊，晚上十點(diǎn)回到家。此時(shí)我所期待的應(yīng)該是，推開(kāi)門(mén)時(shí)說(shuō)一句“今天工作很累，想洗個(gè)澡立刻休息，明早七點(diǎn)還需早起”，家中設(shè)備能自主啟動(dòng)一系列操作——例如播放一首悠揚(yáng)的音樂(lè)放松心情、熱水器開(kāi)始加熱、窗簾自動(dòng)拉合、設(shè)定明早六點(diǎn)的鬧鐘，甚至預(yù)訂好六點(diǎn)半的早餐。這般景象并非空想，它其實(shí)是可以實(shí)現(xiàn)的，而且我們預(yù)計(jì)將在不久后成為現(xiàn)實(shí)。

然而這里存在一個(gè)問(wèn)題：在整個(gè)設(shè)備聯(lián)動(dòng)的過(guò)程中，是否真的需要云端參與？不妨想象一些具體情境，例如當(dāng)我走進(jìn)浴室時(shí)，我希望熱水即刻流出，但絕不想某個(gè)云端模型看到我正在洗澡、進(jìn)入浴室或臥室——這樣的畫(huà)面很詭異。實(shí)際上，這些操作完全可以依賴設(shè)備之間的本地聯(lián)動(dòng)來(lái)完成，無(wú)需任何云端介入。

那為什么會(huì)出現(xiàn)云端模型？我們認(rèn)為，當(dāng)前按Token付費(fèi)的云端模型模式是一種錯(cuò)誤的理念。如今全球云端模型每日消耗的Token總量已達(dá)萬(wàn)億甚至百萬(wàn)億級(jí)別。在這龐大的消耗中，究竟有多少是真正有效或值得的？

再舉一個(gè)簡(jiǎn)單例子：假設(shè)我對(duì)著手機(jī)說(shuō)“給隔壁老王發(fā)送一條生日祝福短信”。如果是云端的模型，執(zhí)行這個(gè)指令的流程是：這段語(yǔ)音需先傳輸至云端模型，由云端解析為文字，再交由大模型處理并轉(zhuǎn)換為指令，傳回本地手機(jī)后打開(kāi)本地應(yīng)用，可見(jiàn)此鏈路非常復(fù)雜非常繞遠(yuǎn)。技術(shù)追求簡(jiǎn)單，簡(jiǎn)單即真理，因此我們判斷，至少有50%的Token實(shí)際是被浪費(fèi)的。

包括之前提及的家居場(chǎng)景，其實(shí)那個(gè)場(chǎng)景可能完全無(wú)需云端參與。正因如此，我們更關(guān)注端側(cè)智能的發(fā)展。事實(shí)上，端側(cè)智能今年已引起廣泛關(guān)注，眾多公司開(kāi)始在此領(lǐng)域發(fā)力，大模型也逐漸從云端向端側(cè)延伸。有消息稱，OpenAI明年或?qū)l(fā)布自有硬件，并與模型結(jié)合，甚至傳言將訓(xùn)練小參數(shù)的模型直接部署于設(shè)備端。由此可見(jiàn)，端側(cè)人工智能確實(shí)在持續(xù)演進(jìn)。

但端側(cè)智能同樣面臨諸多挑戰(zhàn)，包括實(shí)時(shí)性、功耗以及有限的計(jì)算資源，尤其是硬件方面的限制。其中一個(gè)核心問(wèn)題在于端側(cè)的學(xué)習(xí)能力。因?yàn)槊颗_(tái)設(shè)備——無(wú)論是手機(jī)、PC還是穿戴設(shè)備——都具有高度個(gè)性化特征。正因?yàn)楦叨葌€(gè)性化，包含大量個(gè)人私有數(shù)據(jù)，模型若要理解這種個(gè)性化并與用戶貼近，就必須具備學(xué)習(xí)能力。否則，現(xiàn)行“預(yù)訓(xùn)練-數(shù)據(jù)壓縮-部署至設(shè)備”的模式，將意味著模型失去了成長(zhǎng)性。尤其在量化過(guò)程中，模型經(jīng)量化后學(xué)習(xí)能力會(huì)進(jìn)一步減弱，而反量化的成本又十分高昂。

當(dāng)單個(gè)設(shè)備變得足夠智能，我們身邊又擁有眾多設(shè)備——家居場(chǎng)景中的、隨身穿戴的、工作環(huán)境內(nèi)的——如果這些設(shè)備能夠相互聯(lián)動(dòng)，是否會(huì)催生另一種形態(tài)的智能？就像人類(lèi)，每個(gè)人的技能方向各異，但智力水平大多相近，極高或極低者均屬少數(shù)。正是這樣一群智力相仿的人聚集協(xié)作，能造出火箭、開(kāi)發(fā)AI，這是單一個(gè)體難以完成的事情。

回到技術(shù)路線。當(dāng)前大模型的發(fā)展仍以Transformer架構(gòu)為主導(dǎo)。過(guò)去幾年，焦點(diǎn)多集中于規(guī)?；?xùn)練——依賴更多數(shù)據(jù)、更大算力、更高人才密度，以打造更強(qiáng)大、更全能的模型。暫且不論這般投入是否存有泡沫，實(shí)際上，算力的增長(zhǎng)正在扼殺創(chuàng)新，也令許多小團(tuán)隊(duì)失去機(jī)會(huì)。目前國(guó)內(nèi)外大模型廠商基本都在拼資源。如果所有參與者都需要如此龐大的資源，創(chuàng)新將從何而來(lái)？當(dāng)大家在同一條道路上愈行愈遠(yuǎn)，真正的問(wèn)題在于：模型是否必須足夠大？數(shù)據(jù)是否必須海量？我個(gè)人或許未曾讀過(guò)上千本書(shū)，但這并不妨礙我今天在此分享觀點(diǎn)，也不妨礙我從事AI行業(yè)。我必然沒(méi)有一個(gè)大模型懂得多，它可能已遍覽所有的書(shū)籍與資料，但人類(lèi)的進(jìn)化與工作方式并非如此。

現(xiàn)在的云端模型還可通過(guò)在線檢索等方式獲取實(shí)時(shí)知識(shí)，但依賴搜索來(lái)實(shí)現(xiàn)這一功能本身已顯不足。因此我們認(rèn)為，靜態(tài)的函數(shù)壓縮式智能難以誕生真正的智能。

第二個(gè)問(wèn)題是：更多參數(shù)是否意味著更強(qiáng)智能？我們認(rèn)為參數(shù)量的擴(kuò)大僅是擴(kuò)展了函數(shù)空間的容量，實(shí)現(xiàn)了知識(shí)的壓縮與傳播，并未真正創(chuàng)造知識(shí)。

關(guān)于記憶，目前許多大模型廠商也在探討記憶功能，但現(xiàn)有方案多通過(guò)RAG、數(shù)據(jù)庫(kù)或上下文等方式實(shí)現(xiàn)。這種方式好比借助筆記本記錄數(shù)據(jù)，卻沒(méi)有真正進(jìn)入模型的大腦。

因此對(duì)于未來(lái)的智能硬件而言，我們認(rèn)為最重要的在于原生記憶與自主學(xué)習(xí)能力。記憶可分為多個(gè)維度，包括形態(tài)記憶與知識(shí)記憶。形態(tài)記憶指模型記住一串?dāng)?shù)字、一個(gè)電話號(hào)碼或銀行卡號(hào)；知識(shí)記憶則不同，它并非具體數(shù)字，而是經(jīng)大腦轉(zhuǎn)化后形成的知識(shí)，例如我正在輸出的觀點(diǎn)。

更高一層是記憶所構(gòu)成的世界觀。如同人類(lèi)三觀的形成，它并不是靠別人在某一天告訴你“應(yīng)該成為怎樣的人”，而是通過(guò)長(zhǎng)期記憶與學(xué)習(xí)逐步構(gòu)建的價(jià)值觀。若模型僅有外部接入的記憶，或自身缺乏記憶能力，那么所謂的模型個(gè)性化及后續(xù)進(jìn)化幾乎都難以實(shí)現(xiàn)。

除了記憶，設(shè)備端與云端的一大差異在于設(shè)備端具有部署屬性?；蛟S有人質(zhì)疑：設(shè)備端也可以聯(lián)網(wǎng)，那么接入云端模型是否也能實(shí)現(xiàn)相同的功能？以人臉識(shí)別為例：早期人臉識(shí)別多在云端完成，如今卻幾乎全部移至設(shè)備端。這不僅是時(shí)延與隱私的考量，也涉及成本問(wèn)題。

因此我們認(rèn)為，大模型的發(fā)展方向應(yīng)從固定工具轉(zhuǎn)向持續(xù)學(xué)習(xí)，從每三月或半年更新一次的知識(shí)庫(kù)，轉(zhuǎn)變?yōu)槟軌驅(qū)崟r(shí)成長(zhǎng)的系統(tǒng)。

這是我們RockAI開(kāi)發(fā)的非Transformer架構(gòu)Yan大模型，其主要特點(diǎn)包括兩項(xiàng)核心技術(shù)：一是記憶模塊，二是選擇激活機(jī)制。記憶模塊被內(nèi)置在模型架構(gòu)中，能更精準(zhǔn)地控制細(xì)密度，從而在學(xué)習(xí)時(shí)，更新參數(shù)的權(quán)重會(huì)具有更準(zhǔn)確的靶點(diǎn)靶向。

通過(guò)這張對(duì)比表可以看出，非Transformer架構(gòu)在多項(xiàng)指標(biāo)上與Transformer架構(gòu)模型效果差異不大。當(dāng)然Transformer在某些指標(biāo)上仍優(yōu)于我們，因此我們尚有提升空間。但在總體發(fā)展方向上，非Transformer架構(gòu)應(yīng)該占有一席之地。

這里做一個(gè)簡(jiǎn)短演示（今年世界人工智能大會(huì)也曾現(xiàn)場(chǎng)展示）：把模型部署到手機(jī)上，通過(guò)手機(jī)學(xué)習(xí)某些概念、動(dòng)作或知識(shí)，進(jìn)而指揮機(jī)器狗完成指定任務(wù)。

從視頻可以看出，端側(cè)模型在許多情境下具備很強(qiáng)的理解能力。它能夠從非設(shè)備本體的動(dòng)作中抽象出概念，進(jìn)而組合設(shè)備的原子能力并重新編排，以復(fù)現(xiàn)該動(dòng)作。

此類(lèi)應(yīng)用場(chǎng)景本質(zhì)上十分廣泛。例如：一位老人對(duì)空調(diào)說(shuō)“我的小孫子每天下午三點(diǎn)踢完足球回家時(shí)滿頭大汗，不要對(duì)著他吹風(fēng)，同時(shí)將溫度調(diào)至28度以上?！边@整段話是一個(gè)完整訴求，老人希望空調(diào)在檢測(cè)到小孩子進(jìn)門(mén)時(shí)自動(dòng)執(zhí)行該指令。該指令本質(zhì)上涵蓋多層技術(shù)，包括模型理解、圖像理解以及記憶能力——模型需記住訴求，并在每次孩子回來(lái)時(shí)重復(fù)執(zhí)行，這是真正可落地的應(yīng)用。

我們認(rèn)為當(dāng)前許多硬件仍處于偏靜態(tài)的階段，即便是一些小型設(shè)備終端，尤其像AI玩具，其本質(zhì)仍是以玩具為主體，只是掛載了接入云端模型的AI功能，AI并未真正融入設(shè)備本體。

因此它的AI功能并無(wú)本質(zhì)上的差異化。對(duì)小朋友來(lái)說(shuō)，它無(wú)法產(chǎn)生陪伴感，因?yàn)槟Ｐ筒痪邆淝楦蟹答仯荒茈S使用者學(xué)習(xí)，也無(wú)法理解情緒表達(dá)的差異——例如上一次與這一次不開(kāi)心有什么不同，也無(wú)法理解你期望它做些什么。

而當(dāng)AI具備原生記憶與自主學(xué)習(xí)能力后，我們認(rèn)為不僅Token收費(fèi)模式將終結(jié)，整個(gè)設(shè)備端也會(huì)愈加個(gè)性化、富有情感且更了解用戶。屆時(shí)，軟件與硬件方能實(shí)現(xiàn)真正融合。

我們認(rèn)為，優(yōu)秀的AI硬件應(yīng)是讓人感受不到AI的存在——正如如今人們過(guò)閘機(jī)時(shí)，不會(huì)意識(shí)到背后有強(qiáng)大的人臉識(shí)別在運(yùn)作，只覺(jué)得它自然解決了問(wèn)題。但當(dāng)前許多設(shè)備，包括云端服務(wù)器及應(yīng)用，仍讓人強(qiáng)烈感知到“這是一個(gè)AI”。我們距離真正的AI普及乃至AGI仍有鴻溝需要跨越。只有當(dāng)大家不再察覺(jué)AI存在時(shí)，才意味著AI真正融入了日常生活。

RockAI目前主要聚焦于消費(fèi)電子類(lèi)設(shè)備，包括平板、PC、機(jī)器人等方向。這里有一個(gè)比較典型的案例可供參考，這個(gè)能力現(xiàn)已應(yīng)用于多款機(jī)器人。

當(dāng)然，該模型支持的模態(tài)仍有限，距離理解更多模態(tài)還有很長(zhǎng)的路要走。我們也認(rèn)識(shí)到當(dāng)前模型在數(shù)據(jù)與模態(tài)理解等方面面臨的困境，但這件事值得投入。至少我們相信，自己正走在正確的道路上。

這張圖包含的內(nèi)容很多，但其核心想表達(dá)的是“群體智能”這四個(gè)字。這是我們公司以及學(xué)界部分專家認(rèn)為更具可行性、方向更明確的一條路徑。我們不確定一個(gè)擁有十幾萬(wàn)億參數(shù)的模型未來(lái)能否成為全面的“六邊形戰(zhàn)士”，但自然界已給了我們?cè)S多啟示——比如人類(lèi)和動(dòng)物的群體協(xié)作。

回顧最初所舉的例子，其中80%的問(wèn)題或許完全可以由設(shè)備間協(xié)作解決。最終落實(shí)到日常生活，我們?cè)O(shè)想的未來(lái)將是云端與設(shè)備端相結(jié)合、按比例分配協(xié)作的模式。

我們?nèi)匀黄诖O(shè)備間能夠互聯(lián)，最終實(shí)現(xiàn)群體智能，讓設(shè)備互聯(lián)涌現(xiàn)出一種新的智能形態(tài)。當(dāng)Transformer道路抵達(dá)盡頭，面臨參數(shù)與規(guī)模的極限時(shí)，我們堅(jiān)信需要在架構(gòu)上創(chuàng)新，而非僅在現(xiàn)有路徑上不斷堆積數(shù)據(jù)與算力，因?yàn)槟腔蛟S是一條不歸路。國(guó)家層面與全球經(jīng)濟(jì)因素暫且不論，僅從技術(shù)角度出發(fā)，新的路線亟待出現(xiàn)。

感謝各位，我今天的分享就到這里。

下面是在演講之后，針對(duì)講座的問(wèn)答環(huán)節(jié)

問(wèn)：對(duì)于端側(cè)智能是一定要用非 transformer 架構(gòu)做嗎？

鄒佳思：這個(gè)也不一定，我們是覺(jué)得在路線上最起碼是應(yīng)該百花齊放的，因?yàn)閱我坏募軜?gòu)，大家其實(shí)也看到很多問(wèn)題，比如算力、數(shù)據(jù)、還有超高的人才密度，這些其實(shí)是顯而易見(jiàn)的問(wèn)題。還有像端側(cè)落地的模型怎么變小，模型怎么能跑得起來(lái)？這些是架構(gòu)層面存在的問(wèn)題。既然有問(wèn)題，肯定有對(duì)應(yīng)的新的方式去解決，只不過(guò)我們是走了一個(gè)新的方式而已。現(xiàn)在看不出來(lái)哪個(gè)路線能走到最后，但是多一條路線，多一個(gè)選擇，多一些可能性。

問(wèn)：為什么選擇現(xiàn)在Yan架構(gòu)的這個(gè)路線？

鄒佳思：其實(shí)早期的時(shí)候主要還是因?yàn)樵O(shè)備上資源的限制，我們從2021年開(kāi)始做的時(shí)候，其實(shí)當(dāng)時(shí)的設(shè)備比現(xiàn)在的很多算力資源還要低。即使是Transformer架構(gòu)的3B模型在當(dāng)時(shí)也跑不起來(lái)，但我們并不想等產(chǎn)品進(jìn)化到滿足條件后再來(lái)做這件事情。所以我們一直在做新的嘗試，一直試到2024年，很多的方案我們都申請(qǐng)了專利，雖然這些方案都失敗了，但是在嘗試的過(guò)程中，最后試出來(lái)現(xiàn)在Yan模型的方案。我們從2024年1月份Yan 1.0的發(fā)布到Y(jié)an 1.3，整個(gè)模型能商業(yè)化、能穩(wěn)定運(yùn)行，其實(shí)也走了差不多一年的時(shí)間。

問(wèn)：如果我用了端側(cè)模型，這個(gè)設(shè)備會(huì)不會(huì)不夠智能了？小愛(ài)同學(xué)這種AI也是在云端的，如果把它部署在那么一個(gè)小盒子上，它的成本是不是就會(huì)很大，或者小愛(ài)同學(xué)就不是那么聰明的AI了。

鄒佳思：我們做設(shè)備端有一個(gè)很重要的點(diǎn)是它是跟場(chǎng)景掛鉤的，云端的模型大家可能會(huì)更傾向于它是一個(gè)六邊形戰(zhàn)士，就是它什么都能干，可一旦到了設(shè)備端以后它一定是有偏向的，大家很多的場(chǎng)合也都在講，說(shuō)這個(gè)落地一定要垂直。

而設(shè)備端它有典型的場(chǎng)景限制，就是說(shuō)我不會(huì)用一個(gè)手機(jī)，或者用一個(gè)簡(jiǎn)單的設(shè)備干所有的事情。對(duì)于這個(gè)事情，一旦你走到垂直領(lǐng)域的時(shí)候，其實(shí)模型端的差異可能就不會(huì)那么大?？赡苣阋鉀Q的就是其他問(wèn)題，比如說(shuō)功耗，比如說(shuō)對(duì)硬件的需求。

剛才我們也有一頁(yè)P(yáng)PT展示了與其他模型的對(duì)比，雖然可能不那么權(quán)威，但還是能看出來(lái)一些端倪，就是比如一個(gè)小參數(shù)的3B模型，可能它能達(dá)到?jīng)]有做過(guò)優(yōu)化的8B模型甚至更高的模型的效果，而且這個(gè)事情在很多MIT的論文里面已經(jīng)論證過(guò)了，就是模型參數(shù)很大，但在解決實(shí)際場(chǎng)景的時(shí)候，很多參數(shù)其實(shí)也是浪費(fèi)。之前有一篇特別有意思的論文就是關(guān)于一個(gè)百億參數(shù)的模型，把很多參數(shù)都給剪裁掉，或者是給 mark掉，但是發(fā)現(xiàn)做任務(wù)的效果其實(shí)是一樣的，所以在一定程度上解釋了這個(gè)事情。

不過(guò)一個(gè)3B的模型要跟一個(gè)萬(wàn)億的參數(shù)去比，這肯定是有差距的，但是就要看這個(gè)模型實(shí)際場(chǎng)景能解決哪些問(wèn)題。就像現(xiàn)在智能家居的這個(gè)場(chǎng)景，如果所有的設(shè)備上都布了一個(gè)3B的模型，那它就能幫你解決很多生活里面你需要去做的事情。

講座完整視頻，詳見(jiàn)鏈接：https://youtu.be/-zosrLdozQI

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。