0
| 本文作者： 楊依婷 | 2025-12-18 14:17 |
2025年12月12-13日，第八屆GAIR全球人工智能與機器人大會在深圳·博林天瑞喜來登酒店正式啟幕。
作為AI 產(chǎn)學(xué)研投界的標(biāo)桿盛會，GAIR自2016年創(chuàng)辦以來，始終堅守“傳承+創(chuàng)新”內(nèi)核，始終致力于連接技術(shù)前沿與產(chǎn)業(yè)實踐。
在人工智能逐步成為國家競爭核心變量的當(dāng)下，算力正以前所未有的速度重塑技術(shù)路徑與產(chǎn)業(yè)結(jié)構(gòu)。13日舉辦的「AI 算力新十年」專場聚焦智能體系的底層核心——算力，從架構(gòu)演進、生態(tài)構(gòu)建到產(chǎn)業(yè)化落地展開系統(tǒng)討論，試圖為未來十年的中國AI產(chǎn)業(yè)，厘清關(guān)鍵變量與發(fā)展方向。
GAIR 2025「AI 算力新十年」專場上，云天勵飛副總裁羅憶發(fā)表了題為《芯智AI筑基，普惠點亮未來》的主題演講，系統(tǒng)闡述了他對國產(chǎn)芯片路徑和AI普惠化的核心判斷。
當(dāng)大多數(shù)人還在討論人工智能“是否有用”的2014年，一家中國公司已經(jīng)選擇了一條更難、也更遠的路——同時押注算法與芯片，試圖從底層構(gòu)建屬于自己的AI技術(shù)體系。此后十余年，從深度學(xué)習(xí)的早期探索，到大模型席卷全球，再到算力成為國家級命題，這家公司幾乎完整經(jīng)歷了中國人工智能產(chǎn)業(yè)從萌芽、加速到分化競爭的全過程。
某種意義上，云天勵飛本身，就是一段中國AI產(chǎn)業(yè)的微觀縮影。
云天勵飛副總裁羅憶，正是這段歷程的重要參與者與推動者之一。早年，他需要一次次向客戶和產(chǎn)業(yè)界解釋“人工智能究竟能解決什么問題”；而今天，在推理成本、算力結(jié)構(gòu)與生態(tài)壁壘成為行業(yè)核心議題的背景下，他思考的重心，已轉(zhuǎn)向如何讓AI真正“用得起、用得久、用得廣”。
與許多聚焦單點技術(shù)突破的敘事不同，羅憶的視角始終錨定在一個更現(xiàn)實、也更具產(chǎn)業(yè)意義的閉環(huán)之中：應(yīng)用生產(chǎn)數(shù)據(jù)，數(shù)據(jù)訓(xùn)練算法，算法定義芯片，芯片賦能應(yīng)用，最終推動整個AI生態(tài)的正向飛輪。在他看來，AI的競爭不只發(fā)生在實驗室和算力榜單上，更發(fā)生在真實行業(yè)、真實成本與真實規(guī)?；涞氐膱鼍爸小?/p>
在國產(chǎn)算力加速突圍、推理逐漸超越訓(xùn)練成為產(chǎn)業(yè)主戰(zhàn)場的當(dāng)下，這種來自一線實踐者的判斷，尤顯珍貴。它試圖回答的，并非“能否對標(biāo)某一家巨頭”，而是一個更根本的問題：在高度封閉、生態(tài)壁壘森嚴(yán)的全球算力競爭格局中，國產(chǎn)芯片究竟應(yīng)當(dāng)如何找到自己的生存空間與增長路徑。
演講結(jié)束后，雷峰網(wǎng)(公眾號：雷峰網(wǎng))與羅憶就演講中提及的“生態(tài)融入”、“AI惠普”等關(guān)鍵議題，進行了更深入的探討。以下是雷峰網(wǎng)在不改原意的基礎(chǔ)上，根據(jù)對話過程做的整理與編輯：
問： 您在演講中回顧了科技史的發(fā)展，云天的AI芯片也跨越了CNN到Transformer，您認(rèn)為兩個時代對于芯片需求最大的不同是什么？
答：從云天選擇NPU路線一路走來，現(xiàn)在面臨一個最顯性的變化：Scaling Law驅(qū)動下，技術(shù)瓶頸開始螺旋式地出現(xiàn)。最初是算力瓶頸，隨后發(fā)現(xiàn)本質(zhì)是內(nèi)存容量瓶頸，接著是帶寬瓶頸，再后來瓶頸從芯片內(nèi)部擴展到服務(wù)器之間，這才催生了“超節(jié)點”這類系統(tǒng)級方案。這反映出一個根本轉(zhuǎn)變：今天的芯片公司早已不止于設(shè)計芯片，必須提供全棧的系統(tǒng)工程能力。
其次是市場加速度帶來的生態(tài)壓力。從去年到今年，市場推理需求增長近百倍，模型迭代周期從過去的數(shù)月縮短至如今幾乎每周更新。曾經(jīng)做NPU可以“慢工出細活”，花三個月將算法優(yōu)化到極致；但現(xiàn)在三個月時間窗口早已關(guān)閉，新模型已迭代數(shù)輪。因此，我們必須主動兼容并融入CUDA在內(nèi)的主流開發(fā)生態(tài)，否則客戶的遷移與適配成本會顯著上升，商業(yè)化節(jié)奏也會被拉慢。本質(zhì)上是技術(shù)突破帶動產(chǎn)業(yè)化進程極速壓縮，過去半年一年遇到一次的瓶頸，現(xiàn)在可能三個月就遇到，推動技術(shù)螺旋式前進。
從中國路徑上講，我們肯定還是兩條腿走路。國產(chǎn)生態(tài)，不管是RISC-V還是像昇騰這樣的國產(chǎn)萬卡生態(tài)，它還得自己要慢慢走。另外一方面，也必須融入高速迭代的CUDA生態(tài)，這個逃不掉。
問： 在Transformer時代，要讓推理能夠更成功，你感覺比較關(guān)鍵的因素會是什么？
答： 從我們的角度，總體上來講走向最終成功是要融入生態(tài)或者是擁抱生態(tài)。但是作為一個追趕者，進來之后必須得有自己的價值，要有一技之長，要有一個特別長的長板，然后才有時間換空間，去慢慢彌補自己的短板，慢慢融入到生態(tài)。
問：您講到中國更強調(diào)普惠AI的應(yīng)用滲透，那您認(rèn)為當(dāng)下AI推理普及面臨的最大挑戰(zhàn)是什么？降低單位token成本嗎？
答： 我覺得顯然就是成本問題。大家希望AI越來越精準(zhǔn)來達到行業(yè)使用的要求，以前發(fā)現(xiàn)再努力也做不到、現(xiàn)在就發(fā)現(xiàn)其實通過努力，通過長思考、長上下文的理解、帶入私域的知識是能做到的、但代價很大，那么怎么選擇？所以后面就是降本的問題了。
問： 您認(rèn)為從芯片公司的角度，要在推理市場構(gòu)建護城河的關(guān)鍵是什么？
答： 融入生態(tài)護城河?，F(xiàn)在很多圈子都是“互為生態(tài)”的格局，每種核心技術(shù)都有它的適用方上下游。狹義來說，生態(tài)其實就是自己的上下游，但如今技術(shù)棧實在太深、太廣，每一個細分領(lǐng)域都在形成自己的生態(tài)圈。
比如最近我們也參與了中移動提出的OISA體系，共同突破萬億級MoE大模型推理集群Scale up的瓶頸，圍繞 AI 芯片互聯(lián)、超節(jié)點等系統(tǒng)級方向與產(chǎn)業(yè)伙伴共同攻關(guān)，核心目標(biāo)是提升國產(chǎn) AI 芯片在規(guī)?；评恚ò?MoE 等復(fù)雜負(fù)載）場景下的互聯(lián)效率與互通性，推動集群 Scale-up 能力演進。
以后如果要把“超節(jié)點”真正做成可復(fù)制、可規(guī)?；耐评砘A(chǔ)設(shè)施，除了芯片本身，互聯(lián)協(xié)議、交換與網(wǎng)絡(luò)、系統(tǒng)軟件與調(diào)度等關(guān)鍵環(huán)節(jié)都必須做到協(xié)同兼容。因此，我們后續(xù)也持續(xù)參與國產(chǎn)技術(shù)棧與關(guān)鍵標(biāo)準(zhǔn)生態(tài)的共建，讓產(chǎn)品更順暢地進入主流系統(tǒng)形態(tài)與客戶工程體系。
問： 對于實現(xiàn)生成式AI的普惠，云天在未來1-2年內(nèi)的目標(biāo)是什么？長期的策略是什么？
答： 我覺得現(xiàn)在的話，一個是修好內(nèi)功，技術(shù)上你首先要有一技之長，圍繞推理落地最關(guān)鍵的指標(biāo)，把一項或幾項核心能力做到足夠突出、可復(fù)用、可交付——讓客戶在成本、能效、時延或工程化效率上能明確感知到價值。第二是用更開放的方式進入頭部生態(tài)與頭部客戶體系，一方面積極參與主流技術(shù)棧與產(chǎn)業(yè)生態(tài)合作，降低適配門檻；另一方面也會通過多種合作形態(tài)（包括聯(lián)合創(chuàng)新、聯(lián)合解決方案、產(chǎn)業(yè)協(xié)同等）與頭部客戶建立更深度的驗證與共創(chuàng)關(guān)系，盡快形成可復(fù)制的標(biāo)桿與規(guī)?；窂健ξ覀儊碇v，策略是先進圈子，先進頭部的圈子，在真實應(yīng)用中逐步長出自己的生態(tài)。
以下是羅憶演講的精彩內(nèi)容，雷峰網(wǎng)作了不改變原意的整理與編輯：
大家好，我是來自云天勵飛的羅憶，主要負(fù)責(zé)推理芯片相關(guān)的生態(tài)建設(shè)工作。
云天勵飛成立于2014年，是一家深圳本土的人工智能芯片企業(yè)。
2014年公司創(chuàng)立時，人工智能尚未像今天這樣被普遍認(rèn)為是第四次工業(yè)革命的核心技術(shù)，我們在較長時間里需要不斷向客戶和產(chǎn)業(yè)界證明人工智能的價值。但在這個過程中，云天勵飛逐漸積累了端到端的全棧技術(shù)能力。
從歷史視角看，中國在早期技術(shù)體系上曾長期領(lǐng)先全球，但在第一、第二、第三次工業(yè)革命中，一些關(guān)鍵生產(chǎn)力工具和核心技術(shù)的突破，拉開了不同國家和地區(qū)之間的差距。
進入AI時代，今天我們可以看到中美之間的競爭態(tài)勢較為明顯。美國在人才、資金、先進制程方面要卡中國的脖子，但同時，中國在過去多年的技術(shù)積累下，與美國在整個AI產(chǎn)業(yè)鏈領(lǐng)域的差距是在逐步縮短的。
雖然目前來看，還無法實現(xiàn)全面的國產(chǎn)替代，但今天產(chǎn)業(yè)界的同仁們，都在屢屢艱辛地實踐，總是要有一些國家實驗室和大企業(yè)要去攻關(guān)核心技術(shù)，守住產(chǎn)業(yè)發(fā)展的底線。
從整個技術(shù)發(fā)展的浪潮來看，2014年至2022年，AI產(chǎn)業(yè)整體迭代節(jié)奏相對穩(wěn)定，通常以三個月到半年為周期。
2022年底被普遍認(rèn)為是一個重要拐點——大模型時代正式到來，行業(yè)整體沿著Scaling Law發(fā)展，通過更大算力、更多數(shù)據(jù)和更大參數(shù)規(guī)模，不斷提升模型能力，使得它能夠更泛化地進行服務(wù)。
從2023年初大模型興起開始，技術(shù)和產(chǎn)品的迭代速度明顯加快。無論是做底層技術(shù)還是應(yīng)用層的企業(yè)，普遍感受到學(xué)習(xí)和適應(yīng)的壓力，整個產(chǎn)業(yè)的迭代節(jié)奏，已經(jīng)進入以“周”為尺度的迭代，甚至我們說，中美之間的迭代，可能只是5小時~8小時的迭代，你方唱罷我登場。
直到2025年1月初DeepSeek-R1的發(fā)布，這一趨勢出現(xiàn)了新的變化。
DeepSeek的核心意義主要是兩件事。
首先，縮短了開源模型與閉源模型之間的時間差；其次，它只用了二十分之一的硬件成本，復(fù)現(xiàn)類似閉源的效果。包括千問的一系列蒸餾模式，也說明在真實行業(yè)應(yīng)用中，萬億參數(shù)、千億參數(shù)模型在成本上難以長期承受。
從本質(zhì)上看，模型參數(shù)規(guī)模越大，單位推理成本就越高。每一次推理所需的算力、帶寬、KV Cache都會呈幾何級數(shù)增長。
在產(chǎn)業(yè)應(yīng)用中，我們實踐出一套基本邏輯：
訓(xùn)練階段可以持續(xù)探索模型能力上限
應(yīng)用階段必須通過稀疏化、蒸餾、量化、數(shù)據(jù)格式優(yōu)化等方式，不斷降低推理成本
只有這樣，AI才能真正實現(xiàn)普惠，才能在千行百業(yè)中規(guī)?；涞亍?/p>
如果類比工業(yè)革命，訓(xùn)練更像是“發(fā)電”，而推理更像是“用電”。
訓(xùn)練屬于技術(shù)皇冠，需要少數(shù)頭部企業(yè)解決大規(guī)模集群問題；而真正進入行業(yè)和社會運行體系的，是推理能力，需要云、邊、端多層次的芯片形態(tài)支撐。
據(jù)我們觀察，今年至少存在兩個重要拐點。
第一，推理算力消耗將首次超過訓(xùn)練。
黃仁勛在今年的一次演講中提到，他認(rèn)為推動英偉達股價上升的三條曲線中的前兩條，第一條是預(yù)訓(xùn)練，第二條是后訓(xùn)練，現(xiàn)在新的一條scaling實際就是Long Thinking。
從產(chǎn)業(yè)數(shù)據(jù)來看，推理Token消耗正在快速增長。2023年ChatBot時代以快問快答為主，而現(xiàn)在已經(jīng)進入長上下文、聯(lián)網(wǎng)搜索和深度思考階段，Token消耗顯著增加。
2024年的數(shù)據(jù)顯示，國內(nèi)企業(yè)Token消耗量同比增長超過100倍，谷歌的日Token調(diào)用量已達到約43萬億，這個數(shù)據(jù)已經(jīng)滯后了，目前仍在持續(xù)增長。
我記得，據(jù)6月份國家數(shù)據(jù)局公布的數(shù)據(jù)，中國互聯(lián)網(wǎng)整個日Token調(diào)用量是30萬億，到9月份，字節(jié)跳動一家就已經(jīng)達到了30萬億/天。我們內(nèi)部有段時間跟字節(jié)了解交流，據(jù)說最近可能已經(jīng)突破了40萬億/天，這個增速實在是非常驚人，而且這個速度絲毫沒有放緩的意思。
第二，預(yù)計到年底，國內(nèi)AI芯片出貨/部署結(jié)構(gòu)中，國產(chǎn)AI芯片占比有較大概率超過50%，整體份額超過非國產(chǎn)高端GPU。
AI的發(fā)展上，我們可以看到美國從“AI行動計劃”，到最近的“創(chuàng)世紀(jì)計劃”，持續(xù)從國家層面推動AI發(fā)展，包括現(xiàn)在的美股，基本都是靠AI概念的科技企業(yè)在支撐股價，科技類的已經(jīng)達到了50%以上。而中國股市上，科技類可能占比還不到10%。
從2024年Q3到今年9月，北美四大云廠商2025資本開支增長了83.5%，像谷歌、亞馬遜這些頭部云廠商紛紛自研芯片以爭取成本優(yōu)勢。
中國也有一系列政策的出臺，最集中的其實是今年年中推出的“人工智能+”計劃，這個政策極具中國特色，或者說非常符合中國的路徑。
對中國來說，最重要的事情其實是通過應(yīng)用的滲透以及千行百業(yè)的落地，去推動或反哺整個AI的繁榮。
我們一直堅信一個“數(shù)據(jù)飛輪”，應(yīng)用生產(chǎn)數(shù)據(jù)，數(shù)據(jù)訓(xùn)練算法，算法定義芯片，芯片的規(guī)?；瘧?yīng)用推動整個產(chǎn)業(yè)的發(fā)展。
中國的特色是有一部分頭部的企業(yè)，包括AI訓(xùn)練的廠商，用更大規(guī)模的訓(xùn)練集群去追趕與美國頭部閉源模型的差距，甚至通過工程化的方式，一方面，是為了降低訓(xùn)練成本，更進一步，是為了降低未來的推理成本。
并且，中國有非常好的基礎(chǔ)設(shè)施，在基礎(chǔ)數(shù)字化、行業(yè)應(yīng)用、應(yīng)用人群以及應(yīng)用熱情上都具備明顯優(yōu)勢，這個滲透率也會進一步推動以AI推理芯片為核心的資本投入的增長。
因此，在中美的動態(tài)競爭中，雙方在政策導(dǎo)向、核心目標(biāo)與技術(shù)路線上存在一定差異：美國更側(cè)重于占據(jù)技術(shù)制高點，并將其作為經(jīng)濟增長的核心錨點；而中國的核心在于加速應(yīng)用市場發(fā)展，特別是提升AI推理芯片的國產(chǎn)化替代速度。
同時，我覺得剛才幾位分享嘉賓都講到一個非常重要的事情，當(dāng)前國內(nèi)芯片產(chǎn)業(yè)最大的挑戰(zhàn)在于軟件與生態(tài)建設(shè)。在這方面，我們也有自己的布局與思考。
最近在香港的一次峰會上，我們的董事長跟AI先驅(qū)Hinton（杰弗里·辛頓）有過一次對話，Hinton一直擔(dān)心，AI的發(fā)展速度過快，而相應(yīng)的倫理與安全規(guī)范卻未能同步跟上。另外他還提到，“只致力于讓AI更聰明而不考慮應(yīng)用，這是個大錯誤?！边@個應(yīng)用，包含生態(tài)、倫理、安全、監(jiān)管等一系列問題。
對我們而言，不僅要在技術(shù)上不斷精進，更要追求普惠與向善的目標(biāo)，讓AI真正以可承受的成本解決生產(chǎn)力問題，為各行各業(yè)創(chuàng)造價值。
在推理上，始終存在“性能-成本-精度”三角權(quán)衡挑戰(zhàn)的關(guān)系。
云天勵飛自進入該賽道起，便從小模型時代出發(fā)，基于自研NPU指令集，堅持走AI普惠與極致性價比的路線，通過算法與算力的一體化設(shè)計，在邊緣側(cè)及城市各類場景中深化應(yīng)用。
隨著模型規(guī)模擴大與應(yīng)用范式多樣化，技術(shù)路線大致分為三類：
以CUDA生態(tài)為代表的GPGPU主要解決大集群訓(xùn)練問題；
NPU則繼續(xù)在極致能效與功耗上發(fā)揮優(yōu)勢；
針對云端推理，行業(yè)共識正趨向于GPNPU。
我們則從專用架構(gòu)走向更通用的設(shè)計。兩條技術(shù)路線正在不斷重疊與融合。
國內(nèi)云端大算力推理芯片的技術(shù)路線選擇，我們列了一個公式：
GPNPU=GPGPU+NPU+3DM
其核心任務(wù)是：
軟件生態(tài)盡可能兼容CUDA。
保持NPU設(shè)計的高效性與模型親和性。
確保芯片在產(chǎn)業(yè)化應(yīng)用中實現(xiàn)高算力利用率。
此外，在大模型推理規(guī)?；涞兀ㄓ绕浣獯a階段）中，性能瓶頸往往不再只體現(xiàn)在算力本身，而是更突出地體現(xiàn)在顯存容量、互聯(lián)帶寬以及節(jié)點間互聯(lián)帶寬等系統(tǒng)約束上。在高端存儲如HBM供應(yīng)受限的背景下，我們必須尋求更多解決方案。因此，我們?nèi)χС?D Memory技術(shù)路線，這是在國產(chǎn)化、大容量、高帶寬方向?qū)崿F(xiàn)突破的關(guān)鍵，只有更多廠商支持，該技術(shù)的產(chǎn)業(yè)化與商業(yè)化成熟度才能加速。
未來，云端AI基礎(chǔ)設(shè)施必將走向異構(gòu)化與高性價比方向。這不僅體現(xiàn)在單個模型的計算與訪存分離，也體現(xiàn)在需用不同規(guī)模的模型服務(wù)不同場景需求。
如同一個公司不會全部雇傭博士生，合理的性價比配置才能實現(xiàn)高效產(chǎn)出。其核心公式可簡化為：（資本開支CAPEX + 營運成本OPEX）÷（加速卡吞吐量 × 設(shè)備利用率）。
很重要的是，現(xiàn)在的大模型推理為什么要做PD分離？因為P和D階段完全不一樣，P階段是計算密集型，而D階段絕大部分時候，算力在等數(shù)據(jù)搬運。
如何更高效地解決這個問題？我們通過數(shù)據(jù)格式優(yōu)化、模型量化等一系列算法技術(shù)，在確保模型精度的前提下，顯著提升了計算與數(shù)據(jù)搬運的實際效率，從而持續(xù)降低了單位Token的推理成本。
目前，國內(nèi)云廠商的Token報價多以百萬為單位，成本普遍在10元以上，無服務(wù)水平協(xié)議保障的模型調(diào)用成本甚至超過20元。我們認(rèn)為，未來三到五年，百萬Token成本必須降至1元人民幣以內(nèi)，才能支撐“人工智能+”計劃所要求的滲透率目標(biāo)。
最后，簡單講一下云天勵飛，公司自2024年創(chuàng)立以來，始終秉持“算法+芯片”雙輪驅(qū)動的技術(shù)路徑，目前芯片已迭代至第四代。第五代芯片將全面轉(zhuǎn)向GPNPU架構(gòu)，并在原有自主設(shè)計的NPU指令集及多年行業(yè)技術(shù)積累基礎(chǔ)上，向通用推理方向演進。
2020年，公司全面轉(zhuǎn)向國內(nèi)工藝體系，并成為國內(nèi)最早實現(xiàn)D2D Chiplet技術(shù)的企業(yè)之一，該工藝是突破算力制約的關(guān)鍵路徑，也是國產(chǎn)算力芯片發(fā)展的共同方向。
在存儲技術(shù)方面，我們認(rèn)為3DM是國產(chǎn)工藝未來實現(xiàn)突破的重要方向。盡管目前可采用海外HBM3e乃至后續(xù)產(chǎn)品，但其產(chǎn)業(yè)鏈與供應(yīng)鏈仍存在較大不確定性，因此我們堅持全面推進國產(chǎn)化，致力于發(fā)展3DM等突破性工藝，并期待更多芯片企業(yè)加入，共同推動產(chǎn)業(yè)成熟。
在本代商用芯片中，我們通過一次流片即可封裝出適用于端、邊、云等多種場景的系列芯片，算力覆蓋8T、16T、64T直至128T，其中最高規(guī)格的Edge200芯片可完整支持深度推理任務(wù)。
從公司愿景出發(fā)，云天勵飛致力于全面擁抱人工智能浪潮。無論是在智能硬件、智能攝像頭、具身智能、人形機器人還是云推理等領(lǐng)域，我們均圍繞“端邊云”體系布局了三條芯片產(chǎn)品線：“深穹”面向云推理，“深界”專注于端側(cè)NPU芯片，“深擎”則是面向人工智能的SoC芯片。我們期待基于國產(chǎn)工藝，全面推動AI技術(shù)的落地與應(yīng)用。
以上是我的分享，謝謝大家。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
