如果說大模型的出現(xiàn)引爆了通用人工智能的想象，那么，具身智能則讓 AI 擁有了可以感知、決策和行動(dòng)的“身體”。而這一切的背后，都離不開一個(gè)至關(guān)重要的“生命線”——數(shù)據(jù)。

近日，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))主辦了一場(chǎng)主題為《具身智能數(shù)據(jù)：賦能感知、決策與控制的智能之源》的線上圓桌論壇，邀請(qǐng)了香港大學(xué)助理教授李弘揚(yáng)、光輪智能聯(lián)合創(chuàng)始人兼總裁楊海波、艾歐智能聯(lián)合創(chuàng)始人、技術(shù)總監(jiān)高飆三位重量級(jí)嘉賓，共同深入探討了具身智能從數(shù)據(jù)采集、合成到閉環(huán)學(xué)習(xí)的全過程，為行業(yè)揭示了構(gòu)建具身智能“生命線”的核心挑戰(zhàn)與解決路徑。

具身智能數(shù)據(jù)面臨的挑戰(zhàn)比傳統(tǒng) AI 領(lǐng)域更為嚴(yán)峻。嘉賓們一致認(rèn)為，數(shù)據(jù)是構(gòu)建“機(jī)器人基礎(chǔ)模型”（Robotic Foundation Model）最關(guān)鍵的一環(huán)，但目前行業(yè)面臨三大核心挑戰(zhàn)：數(shù)據(jù)稀缺性與泛化能力、物理真實(shí)性與規(guī)?；倘?、商業(yè)與數(shù)據(jù)飛輪的脫鉤。

針對(duì)真機(jī)數(shù)據(jù)的稀缺性和高門檻，嘉賓們分享了各自的獨(dú)特解決方案：

李弘揚(yáng)教授團(tuán)隊(duì)發(fā)布的 AgiBot World 數(shù)據(jù)集，以其百萬(wàn)條真機(jī)軌跡在業(yè)界受到關(guān)注。他指出，解決高質(zhì)量數(shù)據(jù)稀缺性，需要建立人機(jī)協(xié)同的數(shù)據(jù)管線；

楊海波總明確指出，光輪智能的底層邏輯是“AI 進(jìn)入物理世界”，并通過追求物理真實(shí)、強(qiáng)調(diào)人類示范在環(huán)、構(gòu)建足夠豐富的場(chǎng)景、構(gòu)建多樣性、數(shù)據(jù)閉環(huán)驗(yàn)證四個(gè)維度創(chuàng)新來解決仿真與真實(shí)世界的“領(lǐng)域差距”；

艾歐智能選擇了一條與機(jī)器人本體解耦的技術(shù)路徑，來解決早期硬件不穩(wěn)定和數(shù)據(jù)過時(shí)的問題。他們通過多模態(tài)傳感器采集人類執(zhí)行復(fù)雜任務(wù)的行為數(shù)據(jù)，而非直接采集機(jī)器人本體數(shù)據(jù)；

嘉賓對(duì)具身智能的終極目標(biāo)達(dá)成了共識(shí)：仿真合成數(shù)據(jù)是通往具身智能的必經(jīng)之路。具身智能的未來，正是在虛實(shí)融合、人機(jī)協(xié)同中，加速這一數(shù)據(jù)飛輪的轉(zhuǎn)動(dòng)，最終實(shí)現(xiàn)從感知到行動(dòng)的智能體落地。

以下是此次圓桌討論的精彩分享，AI 科技評(píng)論進(jìn)行了不改原意的編輯整理：

01

具身智能的核心挑戰(zhàn)

岑峰：各位線上的朋友們、各位行業(yè)同仁，大家晚上好！歡迎來到由雷峰網(wǎng)主辦的，主題為《具身智能數(shù)據(jù)：賦能感知、決策與控制的智能之源》線上圓桌論壇。我是今天的主持人雷峰網(wǎng)岑峰。

今天的線上圓桌，我們的目的正是聚焦具身智能的數(shù)據(jù)之源。我們將深入探討從數(shù)據(jù)采集、合成到閉環(huán)學(xué)習(xí)的全過程，共同挖掘如何構(gòu)建具身智能的“生命線”，解決從感知到控制的復(fù)雜難題。

我非常榮幸地為大家介紹三位重量級(jí)的嘉賓，他們分別是：香港大學(xué)助理教授李弘揚(yáng)、光輪智能的聯(lián)合創(chuàng)始人兼總裁楊海波、艾歐智能的聯(lián)合創(chuàng)始人、技術(shù)總監(jiān)高飆。

感謝三位嘉賓的到來。在傳統(tǒng)的 AI 領(lǐng)域，我們有海量的互聯(lián)網(wǎng)數(shù)據(jù)；但在具身智能領(lǐng)域，數(shù)據(jù)變得稀缺、昂貴且難以獲取。我想請(qǐng)三位嘉賓從各自的視角出發(fā)簡(jiǎn)單概括，當(dāng)前具身智能數(shù)據(jù)面臨的最核心的挑戰(zhàn)、或者你們最關(guān)注的是什么？

李弘揚(yáng)（香港大學(xué)）： 具身智能現(xiàn)在核心挑戰(zhàn)在于泛化能力、智能化和可靠性。從學(xué)術(shù)角度看，最大的挑戰(zhàn)是如何在不同的機(jī)器人本體下，高效地利用海量數(shù)據(jù)（真機(jī)、仿真、互聯(lián)網(wǎng)數(shù)據(jù)），真正建立起一個(gè)“機(jī)器人基礎(chǔ)模型”（Robotic Foundation Model）。相比于設(shè)計(jì) VOA 、世界模型等，我個(gè)人認(rèn)為數(shù)據(jù)是最關(guān)鍵的一環(huán)。

楊海波（光輪智能）： 我們一直堅(jiān)信 AI 已進(jìn)入“數(shù)據(jù)為中心”的時(shí)代，具身智能的數(shù)據(jù)需求更為迫切。我們最關(guān)注如何利用仿真合成數(shù)據(jù)，提供足夠物理真實(shí)、大規(guī)模、高質(zhì)量、高通用性和多樣性的數(shù)據(jù)去服務(wù)基礎(chǔ)模型（Foundation Model），從而幫助機(jī)器人基礎(chǔ)模型找到 Scaling law ，并迎來“ GPT 時(shí)刻”。

高飆（艾歐智能）： 從我們的角度來說，目前具身智能數(shù)據(jù)面臨的核心挑戰(zhàn)是，缺乏可以同時(shí)完成商業(yè)閉環(huán)和數(shù)據(jù)飛輪閉環(huán)的落地場(chǎng)景。真機(jī)采集成本高、效率低，且數(shù)據(jù)與特定硬件強(qiáng)耦合，難以復(fù)用。我們關(guān)注如何通過閉環(huán)的方式，推動(dòng)商業(yè)和數(shù)據(jù)飛輪的正向運(yùn)轉(zhuǎn)，即通過人工操作機(jī)器人的方式，在使用過程中同步產(chǎn)生高質(zhì)量訓(xùn)練數(shù)據(jù)，打破數(shù)據(jù)積累的瓶頸。

02

真機(jī)數(shù)據(jù)與仿真數(shù)據(jù)、人機(jī)協(xié)同

岑峰： 我們接著嘉賓談到的幾個(gè)點(diǎn)展開。李老師，您團(tuán)隊(duì)發(fā)布的 AgiBot World 數(shù)據(jù)集這一年來在學(xué)術(shù)界和產(chǎn)業(yè)界的進(jìn)展如何？

李弘揚(yáng)： AgiBot World 最大的特色是擁有100多萬(wàn)條真機(jī)軌跡，涵蓋雙臂、單臂、靈巧手等復(fù)雜任務(wù)，今年3月份也發(fā)布了完整版，我們也收集了很多反饋。它在面對(duì)真機(jī)部署挑戰(zhàn)方面表現(xiàn)出色，但客觀來說，在高校的應(yīng)用沒有像產(chǎn)業(yè)界的其他友商用得這么多，主要原因是數(shù)據(jù)格式稍復(fù)雜，且要求捆綁式上傳云與部署，與（學(xué)術(shù)界慣用的）Umi 和 Aloha 等完全開源的還是不一樣的。

近期我們對(duì) AgiBot World 做了重大更新，徹底開源了 G1 模型和對(duì)比實(shí)驗(yàn)結(jié)果，這個(gè)開源也是非常徹底的，和跟我們合作的公司還是做了非常大的這個(gè)爭(zhēng)取。我的學(xué)生也對(duì)四五萬(wàn)行的代碼進(jìn)行了重新的 refactor ，數(shù)據(jù)做了 pretrain ，確保論文結(jié)果是可復(fù)現(xiàn)的。我們認(rèn)為：高質(zhì)量的數(shù)據(jù)分布（Data Distribution）遠(yuǎn)比單純積累技能（Skill）更重要。

過去一年的一些進(jìn)展，非常歡迎大家在 open drive lab 的 GitHub 下面完整版的真機(jī)的模型代碼，非常歡迎大家來給我們批評(píng)指正。

岑峰： 您還提出了人機(jī)協(xié)同數(shù)據(jù)管線理念，能否結(jié)合 Agibot World ，具體說明是如何解決具身數(shù)據(jù)的高維度和稀缺性痛點(diǎn)的？

李弘揚(yáng)： 人機(jī)協(xié)同的理念，我認(rèn)為更多是著眼于解決高質(zhì)量數(shù)據(jù)的稀缺性問題，以及如何從素材源端確保數(shù)據(jù)質(zhì)量的配合。當(dāng)前，業(yè)界比較主流的做法是制定非常完整詳細(xì)的數(shù)據(jù)采集規(guī)范（SOP）。以疊衣服為例，規(guī)范會(huì)詳細(xì)界定操作的順序，以及不同光照條件、物體高度或衣物種類的變化等。

要確保具身智能領(lǐng)域的健康有序發(fā)展，規(guī)范數(shù)據(jù)采集員的流程至關(guān)重要。不同的采集員，其操作習(xí)慣、甚至從 A 點(diǎn)到 B 點(diǎn)的速度控制都可能存在差異；早期開發(fā)的機(jī)器人本體，即便型號(hào)相同，其“手感”也往往不盡相同。

在這種背景下，便更需要數(shù)據(jù)層面的人機(jī)協(xié)同。這種協(xié)同，正如最近強(qiáng)化學(xué)習(xí)（RL）領(lǐng)域強(qiáng)調(diào)的 “從失敗中學(xué)習(xí)”思路，要求在采集長(zhǎng)序列的復(fù)雜任務(wù)時(shí)，必須妥善設(shè)置斷點(diǎn)。它更要求在機(jī)器遭遇錯(cuò)誤示范時(shí)，能夠?qū)崿F(xiàn)及時(shí)的人工恢復(fù)。同時(shí)，還需要在素材源端詳細(xì)記錄這些操作的元數(shù)據(jù)（Meta data），以便進(jìn)行高效的上傳和迭代。這些步驟對(duì)于保障數(shù)據(jù)質(zhì)量和效率是極為重要的。

我個(gè)人雖身處高校，但曾在工業(yè)界工作過。我認(rèn)為學(xué)術(shù)界，尤其是在做 AI 驅(qū)動(dòng)的機(jī)器人研究時(shí)，必須做到與時(shí)俱進(jìn)。如果仍抱持著不愿從事數(shù)據(jù)收集這類 “Dirty Work”，而僅僅專注于模型或算法創(chuàng)新的觀念，那很可能會(huì)被時(shí)代所淘汰。

岑峰： 楊總，光輪從自動(dòng)駕駛拓展到具身智能，底層的邏輯是什么？相比自動(dòng)駕駛，具身智能的合成數(shù)據(jù)有哪些特殊挑戰(zhàn)？

楊海波：我們并非從自動(dòng)駕駛“拓展”至具身智能。自公司成立之初，我們所專注的便是“AI 進(jìn)入物理世界”這一核心命題。自動(dòng)駕駛和具身智能的底層邏輯是相通的，都是在賦能 AI 與物理世界的互動(dòng)，而自動(dòng)駕駛是我們?cè)诋?dāng)時(shí)產(chǎn)業(yè)更成熟的背景下選擇的首個(gè)落地場(chǎng)景。因此，我們?cè)谝胱詣?dòng)駕駛相關(guān)技術(shù)時(shí)，始終會(huì)考量其是否能契合具身智能的未來需求。

誠(chéng)然，具身智能與自動(dòng)駕駛存在一些顯著差異，其中最大的區(qū)別在于：

物理交互的復(fù)雜度： 自動(dòng)駕駛更像是一種“視覺游戲”，其唯一的物理交互主要涉及車輛和地面的動(dòng)力學(xué)，解決的是避免碰撞的問題；具身智能則充滿了物理交互。無(wú)論是訓(xùn)練數(shù)據(jù)，還是最終進(jìn)入場(chǎng)景，機(jī)器人都需要與世界深度互動(dòng)。例如，拉開冰箱門所需的力的大小，對(duì)溫度、光線的感知變化等。具身智能在物理真實(shí)性上的要求比自動(dòng)駕駛更為復(fù)雜。

場(chǎng)景的豐富性： 自動(dòng)駕駛總體上是在結(jié)構(gòu)化道路上運(yùn)行；而具身智能需要進(jìn)入千行百業(yè)、千家萬(wàn)戶，其場(chǎng)景的復(fù)雜度是更高的。從數(shù)據(jù)需求的量級(jí)而言，自動(dòng)駕駛旨在取代“司機(jī)”這一職業(yè)，而具身智能則旨在取代千行百業(yè)，因此，其數(shù)據(jù)需求量至少將是自動(dòng)駕駛的千倍以上。

數(shù)據(jù)積累的短缺： 盡管自動(dòng)駕駛領(lǐng)域在數(shù)據(jù)上投入巨大，但其預(yù)訓(xùn)練數(shù)據(jù)在現(xiàn)實(shí)世界中是有存量積累的，已有的海量汽車不斷在反饋數(shù)據(jù)。，我們更多的工作是對(duì)這些數(shù)據(jù)的處理（篩選、標(biāo)注等）。但具身智能當(dāng)前是本體和算法同步發(fā)明研發(fā)的階段，缺乏任何存量數(shù)據(jù)積累。因此，具身智能的預(yù)訓(xùn)練數(shù)據(jù)是極其短缺的。這一點(diǎn)是其相對(duì)于自動(dòng)駕駛的巨大差異，同時(shí)也構(gòu)成了巨大的商業(yè)機(jī)會(huì)。

岑峰： 仿真數(shù)據(jù)與真實(shí)數(shù)據(jù)的 “領(lǐng)域差距” 是具身智能的關(guān)鍵瓶頸。針對(duì)這些數(shù)據(jù)特點(diǎn)，光輪做了哪些創(chuàng)新來解決仿真與真實(shí)世界的差距？

楊海波： 我們主要在四個(gè)方面努力，以解決保障仿真合成數(shù)據(jù)的有效性：

首先是追求物理真實(shí)。通過不斷演進(jìn)物理仿真，確保如冰箱的磁吸和阻尼這樣的仿真資產(chǎn)和構(gòu)建的場(chǎng)景不僅看起來真實(shí)，而且能夠進(jìn)行真實(shí)的交互。同時(shí)，通過采集真實(shí)世界的物理參數(shù)，如拉開冰箱門的力，來積累優(yōu)勢(shì)。

第二，強(qiáng)調(diào)人類示范。 在仿真環(huán)境下進(jìn)行人工遙操（人的遙操），再對(duì)這些示范動(dòng)作進(jìn)行泛化，有效提升擴(kuò)充數(shù)據(jù)規(guī)模。

第三是構(gòu)建場(chǎng)景的多樣性，仿真能夠以極快的速度（一秒鐘）擴(kuò)充場(chǎng)景多樣性。這種多樣性對(duì)于訓(xùn)練 AI 至關(guān)重要，它能還原整個(gè)世界的分布，彌補(bǔ)真實(shí)采集場(chǎng)景的多樣性天花板。

最后是數(shù)據(jù)閉環(huán)驗(yàn)證。我們具備可視化（VI）和反向訓(xùn)練能力，能夠基于本體去驗(yàn)證合成數(shù)據(jù)的有效性，并不斷提升和強(qiáng)調(diào)加強(qiáng)這種閉環(huán)驗(yàn)證能力。

岑峰： 高總，具身智能的數(shù)據(jù)不僅僅需要訓(xùn)練感知，更需要訓(xùn)練決策和控制，而艾歐智能也更側(cè)重于后者。在實(shí)際操作中，您是如何構(gòu)建人形機(jī)器人復(fù)雜任務(wù)的數(shù)據(jù)集，以及如何從零開始解決訓(xùn)練決策和控制的問題？

高飆： 您提出的這個(gè)問題非常關(guān)鍵。在我們 2023 年創(chuàng)業(yè)初期，整個(gè)具身智能行業(yè)，尤其是人形機(jī)器人本體的硬件，包括關(guān)節(jié)、電機(jī)、靈巧手、力控傳感器等核心部件，都處于快速迭代但尚未完全成熟的階段。在這種背景下，如果我們直接依賴特定的機(jī)器人本體去采集大量復(fù)雜任務(wù)的數(shù)據(jù)，將面臨兩個(gè)根本性的問題：其一，硬件的不穩(wěn)定性會(huì)導(dǎo)致數(shù)據(jù)采集失敗率較高；其二，硬件在快速迭代的過程中頻繁升級(jí)，會(huì)使已采集的數(shù)據(jù)迅速過時(shí)，難以形成有效的積累。

因此，我們當(dāng)時(shí)選擇了一條與機(jī)器人本體解耦的技術(shù)路徑。我們不直接采集機(jī)器人執(zhí)行任務(wù)的數(shù)據(jù)，而是通過多模態(tài)傳感器采集人類執(zhí)行相同復(fù)雜任務(wù)的行為數(shù)據(jù)。

這種人類示范數(shù)據(jù)的路徑有一個(gè)核心優(yōu)勢(shì)：人的數(shù)據(jù)是一個(gè)通用的中間媒介，它不受任何特定機(jī)器人硬件構(gòu)型的限制。不論是早期不成熟的本體，還是未來升級(jí)換代的新機(jī)型，甚至不同廠商打造的機(jī)器人，都可以基于這套人類數(shù)據(jù)進(jìn)行策略學(xué)習(xí)和行為模仿。這為我們構(gòu)建可遷移、可復(fù)用的數(shù)據(jù)資產(chǎn)奠定了良好的基礎(chǔ)。我們貢獻(xiàn)的這部分高質(zhì)量人類示范數(shù)據(jù)，也參與了當(dāng)時(shí)由 Google DeepMind 主導(dǎo)的 Open-X Embodiment 數(shù)據(jù)集的構(gòu)建，并在 ICRA 2024一場(chǎng)會(huì)議上獲得了最佳論文獎(jiǎng)，這從側(cè)面印證了人類行為數(shù)據(jù)在具身智能研究中的重要價(jià)值。

當(dāng)然，我們清楚當(dāng)前國(guó)內(nèi)市場(chǎng)主流的數(shù)據(jù)采集方式仍是通過遙操作或機(jī)械臂直接采集機(jī)器人本體數(shù)據(jù)。但今年特斯拉公布的數(shù)據(jù)路線，也表明他們將以人類第一視角視頻和穿戴式設(shè)備采集為主，輔以部分真機(jī)遙操作數(shù)據(jù)。這種路線的官宣使我們看到，這種以人為媒介的范式正受到越來越多的研究者和行業(yè)的關(guān)注。因此，我們相信隨著具身模型在跨模態(tài)和泛化性能力上的持續(xù)突破，由人類穿戴采集設(shè)備產(chǎn)生高質(zhì)量行為數(shù)據(jù)的方式，在未來應(yīng)具備更大的潛力。

岑峰： 陳相宇羽陳總曾指出，“機(jī)器人缺乏數(shù)據(jù)飛輪閉環(huán)”，當(dāng)前行業(yè)阻礙數(shù)據(jù)飛輪高效運(yùn)轉(zhuǎn)的核心瓶頸是什么？艾歐通過 “遙控操作對(duì)齊特定機(jī)器人構(gòu)型” 的策略，如何加速這一閉環(huán)的形成？

高飆： 如我一開場(chǎng)提到的，具身智能目前核心瓶頸是數(shù)據(jù)的不可復(fù)用性和采集的高門檻。真機(jī)采集成本高、迭代慢、有風(fēng)險(xiǎn)，導(dǎo)致數(shù)據(jù)積累效率低。

我們的策略是通過“遙操作 + 通用映射算法”來加速閉環(huán)：

針對(duì)全新構(gòu)型的機(jī)器人，我們快速冷啟動(dòng)： 我們能在一周內(nèi)完成構(gòu)型映射的適配，快速啟動(dòng)訓(xùn)練數(shù)據(jù)采集。

模型部署后，在真實(shí)場(chǎng)景中出現(xiàn)失敗案例時(shí)，可以通過遙操作及時(shí)接管和糾正，完成閉環(huán)迭代（糾錯(cuò)）。在這個(gè)過程中，就能采集到從失敗中恢復(fù)的高質(zhì)量反饋數(shù)據(jù)，反哺模型優(yōu)化，形成數(shù)據(jù)飛輪的閉環(huán)。

03

產(chǎn)學(xué)協(xié)同與數(shù)據(jù)終局

岑峰： 李老師，從數(shù)據(jù)采集到訓(xùn)練部署的閉環(huán)中，產(chǎn)學(xué)雙方可以通過怎樣不同的方式進(jìn)行協(xié)同？

李弘揚(yáng)： 當(dāng)前具身智能領(lǐng)域普遍面臨數(shù)據(jù)短缺，高校的算力、硬件、數(shù)據(jù)資源有限，往往只能結(jié)合小規(guī)模仿真或有限真機(jī)數(shù)據(jù)來驗(yàn)證模型架構(gòu)。我們期望能有像 Waymo 在自動(dòng)駕駛領(lǐng)域那樣的具有義務(wù)擔(dān)當(dāng)?shù)墓荆暙I(xiàn)出高質(zhì)量的具身真機(jī)數(shù)據(jù)，但目前國(guó)內(nèi)外尚未出現(xiàn)具備這種級(jí)別影響力的真機(jī)數(shù)據(jù)集。

現(xiàn)在行業(yè)沉浸在一種“虛幻的繁榮”中：大家熱衷于發(fā)布炫酷視頻和技術(shù)博客，但對(duì)核心的工程細(xì)節(jié)如數(shù)據(jù)量、訓(xùn)練 Trick、如何 Scale Up卻“藏著掖著”。真正的 Live Demo 往往不起推敲，因?yàn)闆]有真正下場(chǎng)實(shí)踐。

我認(rèn)為產(chǎn)學(xué)協(xié)同應(yīng)該更緊密：

在這種背景下，產(chǎn)學(xué)協(xié)同有幾個(gè)關(guān)鍵點(diǎn)，首先是資源整合， 高校擁有算法和模型創(chuàng)新的能力，但缺乏大規(guī)模 Scale Up 的資源，需要依托擁有真機(jī)本體、仿真、動(dòng)捕、互聯(lián)網(wǎng)爬取等不同資源的企業(yè)，共同形成一個(gè)開放的素材或?qū)嵱?xùn)平臺(tái)。

產(chǎn)學(xué)研的邊界正在模糊，如果還抱著傳統(tǒng)大學(xué)的思路，就會(huì)被時(shí)代淘汰。高校應(yīng)該靈活擁抱變化，允許教師和學(xué)生深度參與產(chǎn)業(yè)合作，例如到創(chuàng)業(yè)公司擔(dān)任首席或獲取行業(yè)真實(shí)案例。

我們的最終目標(biāo)是，高校追求影響力，企業(yè)追求盈利，兩者互為補(bǔ)充，并不矛盾。高?？梢宰鳛?“Trainer”，培養(yǎng)基礎(chǔ)技術(shù)人才，而企業(yè)提供 “真實(shí)的作業(yè)題”，讓產(chǎn)學(xué)研結(jié)合更加緊密。

岑峰： 您在 AgiBot World 開源后，有沒有進(jìn)一步和產(chǎn)業(yè)界進(jìn)行合作的具體想法？

李弘揚(yáng)： 回顧自動(dòng)駕駛的經(jīng)驗(yàn)，偉大的數(shù)據(jù)集（如 Waymo、nuScenes）往往與一家擁有資源的、具有驅(qū)動(dòng)力的公司強(qiáng)綁定，因?yàn)橹挥泄居匈Y源和動(dòng)力來做這件事（例如 Waymo、New THINGS）。

AgiBot World 在發(fā)布后，Open Drive Lab 團(tuán)隊(duì)將保持中立，AgiBot World 未來需要依靠整個(gè) Community（社區(qū)） 來維護(hù)。我們團(tuán)隊(duì)傾向于保持中立，但未來計(jì)劃與多方資源進(jìn)行合作，例如硬件本體廠商提供真機(jī)采集，仿真和互聯(lián)網(wǎng)數(shù)據(jù)公司提供合成數(shù)據(jù)和 Web Data，動(dòng)捕公司提供行為數(shù)據(jù)，等等。

我們希望依托這些資源，最終形成一種開放式的素材平臺(tái)或?qū)嵱?xùn)廠。盡管目前國(guó)內(nèi)的新型研發(fā)機(jī)構(gòu)還停留在比較初級(jí)的階段，但我相信這是朝著好的方向發(fā)展。我個(gè)人仍對(duì)未來樂觀，相信在未來一兩年內(nèi)，具身智能領(lǐng)域一定會(huì)迎來像 ImageNet 或 Waymo 那樣的劃時(shí)代數(shù)據(jù)集。

岑峰： 您如何看待機(jī)器人領(lǐng)域中真機(jī)數(shù)據(jù)和合成數(shù)據(jù)的長(zhǎng)期關(guān)系？

李弘揚(yáng)： 包括動(dòng)捕、遙操在內(nèi)的真機(jī)數(shù)據(jù)、仿真數(shù)據(jù)和互聯(lián)網(wǎng)第一視角的 Web Data。這肯定是一個(gè)三者協(xié)同發(fā)展的關(guān)系。

在數(shù)據(jù)量上，Web Data 肯定最多，其次是仿真，真機(jī)最少，它不是一個(gè)固定的“數(shù)據(jù)金字塔”結(jié)構(gòu)，三者的比例是可以調(diào)整的。

我認(rèn)為仿真數(shù)據(jù)是非常必要的。 仿真數(shù)據(jù)在處理剛性物體（如 Pick and Place）時(shí)非常有效，但在處理對(duì)柔性物體（如疊衣服）等任務(wù)，仿真在短期內(nèi)很難解決。因此，真機(jī)數(shù)據(jù)是不可或缺的。

長(zhǎng)期趨勢(shì)上，大方向是真機(jī)和仿真兩個(gè)方向都要努力。真機(jī)團(tuán)隊(duì)要研究 Data Efficiency（數(shù)據(jù)效率）和 Low-Cost Efficient Data Collection System（低成本高效數(shù)據(jù)采集系統(tǒng)）；仿真團(tuán)隊(duì)要攻克自身的痛點(diǎn)。終有一天兩者會(huì)“會(huì)師”，屆時(shí)主要問題將是調(diào)節(jié)比例和解決 sim to real gap。

岑峰： 會(huì)師的時(shí)候是不是就是您之前提到的，真機(jī)數(shù)據(jù)普及化的具身智能的 ImageNet 時(shí)刻？

李弘揚(yáng)： 是的。具身智能目前還遠(yuǎn)遠(yuǎn)沒到自動(dòng)駕駛的下半場(chǎng)（以真車數(shù)據(jù)為主）。實(shí)現(xiàn) ImageNet 時(shí)刻需要滿足的條件是硬件穩(wěn)定性與形態(tài)的統(tǒng)一，具身智能本體形態(tài)差異極大，從五六個(gè)自由度的機(jī)械臂到幾十個(gè)自由度的人形機(jī)器人。只有等到硬件形態(tài)、靈巧手、視觸覺等達(dá)到相對(duì)統(tǒng)一，真機(jī)數(shù)據(jù)才會(huì)有用。只有硬件的穩(wěn)定性得到保障，形成了持久的影響力，才能被稱為 ImageNet 時(shí)刻。

04

數(shù)據(jù)服務(wù)模式創(chuàng)新、仿真與訓(xùn)練整合的平臺(tái)化

岑峰：楊總，在具身智能的領(lǐng)域，您認(rèn)為仿真技術(shù)最終會(huì)發(fā)展成獨(dú)立的一個(gè)產(chǎn)業(yè)鏈，還是成為一個(gè)標(biāo)準(zhǔn)化的工具，賦能所有的具身智能公司？光輪在這樣的一個(gè)趨勢(shì)下會(huì)怎么看？會(huì)做怎樣的一個(gè)布局？

楊海波：我覺得仿真肯定是越來越受到重視了。相較于自動(dòng)駕駛，具身智能對(duì)于仿真的需求更為迫切，要求也更高。這主要是由于具身智能面臨著數(shù)據(jù)嚴(yán)重短缺和多樣性場(chǎng)景獲取困難等根本性問題，這些挑戰(zhàn)可能只有通過仿真才能有效地解決。。

在現(xiàn)階段，光輪仍主要根據(jù)客戶的具體需求，提供定制化的仿真合成數(shù)據(jù)服務(wù)。同時(shí)，我們正致力于構(gòu)建一個(gè)“仿真與算力相結(jié)合的平臺(tái)”，旨在通過提供標(biāo)準(zhǔn)化的接口，直接服務(wù)于模型的訓(xùn)練過程。我們?yōu)槭裁纯梢宰鲞@個(gè)平臺(tái)底層？是因?yàn)槲覀円呀?jīng)在仿真這塊構(gòu)建了很多 Benchmark ，定義了很多具身仿真的事實(shí)標(biāo)準(zhǔn)。

例如，我們提出了一個(gè)名為 “LW Ready”（光輪就緒仿真完備）的資產(chǎn)和場(chǎng)景標(biāo)準(zhǔn)。這不僅僅要求資產(chǎn)達(dá)到物理真實(shí)性（Physical Ready），還要求其能支持遙操作，并滿足強(qiáng)化學(xué)習(xí)（RL Ready）的需求?；谶@些積累的行業(yè)認(rèn)知、經(jīng)驗(yàn)和規(guī)范，我們正逐步構(gòu)建這一仿真平臺(tái)。未來，我們的服務(wù)模式可能將從單純的“購(gòu)買數(shù)據(jù)”轉(zhuǎn)向“在我方平臺(tái)進(jìn)行訓(xùn)練”，即提供算力與數(shù)據(jù)整合的服務(wù)。，這是我們持續(xù)演進(jìn)的方向，盡管目前仍處于為客戶提供定制化數(shù)據(jù)解決方案的階段。

岑峰： 您提到的這種模式是類似于云計(jì)算這樣的整合平臺(tái)模式嗎？

楊海波： 是的，可以類比。

岑峰： 光輪的仿真合成數(shù)據(jù)與世界模型生成的數(shù)據(jù)，兩者之間存在怎樣的關(guān)系？它們分別發(fā)揮著何種作用？以及光輪將如何規(guī)劃其數(shù)據(jù)產(chǎn)品布局？

楊海波： 這是一個(gè)行業(yè)普遍關(guān)注的焦點(diǎn)。我們的仿真合成數(shù)據(jù)實(shí)際上也服務(wù)于世界模型開發(fā)企業(yè)，這些世界模型在生成數(shù)據(jù)時(shí)往往缺乏物理信息真實(shí)，因此它們需要我們的數(shù)據(jù)來彌補(bǔ)這種物理信息的缺失，從某種意義上說，它們也是我們的客戶。

剛才李老師也提到了數(shù)據(jù)金字塔，關(guān)于具身數(shù)據(jù)金字塔，我們的理解是：

塔底（量大價(jià)低）： 例如視覺模型生成數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，主要用于預(yù)訓(xùn)練，目標(biāo)是覆蓋更廣泛的多樣性。

中間層： 仿真遙操合成數(shù)據(jù)，質(zhì)量和成本適中。

塔尖（量少質(zhì)高）： 真機(jī)數(shù)據(jù)，質(zhì)量最高，主要用于后續(xù)的微調(diào)（Finetuning）。

我們致力于成為一個(gè)以仿真合成數(shù)據(jù)為中心，提供全要素?cái)?shù)據(jù)解決方案的供應(yīng)商。這意味著我們不僅提供核心的仿真合成數(shù)據(jù)，其邊界也將向上和向下擴(kuò)展：向下延伸至服務(wù)視覺模型生成的數(shù)據(jù)，向上則會(huì)涉及真機(jī)數(shù)據(jù)。

岑峰： 光輪將重點(diǎn)關(guān)注數(shù)據(jù)金字塔的哪一個(gè)部分呢？

楊海波： 我們關(guān)注所有部分，但我們重點(diǎn)的技術(shù)和能力演進(jìn)方向在于仿真合成數(shù)據(jù)這一層。雖然我們一定會(huì)涉獵真機(jī)數(shù)據(jù)等，但我們的中心始終聚焦于中間層，即仿真合成數(shù)據(jù)。

05

數(shù)據(jù)飛輪的構(gòu)建：硬件演進(jìn)與虛實(shí)融合

岑峰： 請(qǐng)教一下高總，您認(rèn)為未來的硬件，比如說像傳感器、計(jì)算芯片的發(fā)展，會(huì)如何影響數(shù)據(jù)采集與處理的方向？艾歐是否已經(jīng)針對(duì)這些趨勢(shì)調(diào)整自己的一些工具鏈？

高飆： 硬件無(wú)疑是具身智能這座大廈的基石，其演進(jìn)必將深刻地影響整個(gè)行業(yè)的數(shù)據(jù)范式。未來的硬件發(fā)展將體現(xiàn)在以下幾個(gè)方面：

首先，新型傳感器將提升數(shù)據(jù)的維度和保真度。例如，更高分辨率的視觸覺傳感器、柔性電子皮膚等的出現(xiàn)，使得機(jī)器人能夠獲得更接近人類的感知能力。這些傳感器不僅能捕捉觸覺、滑動(dòng)、材質(zhì)等細(xì)微信號(hào)，還具備高動(dòng)態(tài)響應(yīng)能力。這意味著我們采集到的數(shù)據(jù)將不再是簡(jiǎn)單的動(dòng)作和圖像，而是包含越來越多豐富的物理交互的多模態(tài)數(shù)據(jù)流。我們正在持續(xù)更新工具鏈，以支持這些新的模態(tài)數(shù)據(jù)，包括時(shí)間同步、數(shù)據(jù)預(yù)處理等功能，以及針對(duì)觸覺、力控信息的數(shù)據(jù)可視化和標(biāo)注工具，幫助研究者和客戶更好地理解和利用這些提升后的數(shù)據(jù)。

其次，隨著傳感器硬件的成熟，其成本下降和普及也將是一個(gè)必然過程。例如，平價(jià)激光雷達(dá)的出現(xiàn)，使得終端機(jī)器人也具備了 3D 環(huán)境感知能力。這種傳感器的普及要求我們的采集系統(tǒng)具備更大帶寬的存儲(chǔ)和數(shù)據(jù)處理能力。

第三，邊緣計(jì)算能力的提升使得“邊采集邊處理”成為可能。例如，我們?cè)谧匝械膭?dòng)捕服中集成了端側(cè)預(yù)處理模塊，能夠在采集數(shù)據(jù)的過程中實(shí)時(shí)完成姿態(tài)解算、傳感器抗干擾和系統(tǒng)監(jiān)測(cè)等功能。這些硬件能力的提升，不僅提高了數(shù)據(jù)質(zhì)量，也顯著加快了后續(xù)數(shù)據(jù)后處理的效率，讓數(shù)據(jù)采集本身更高效、更閉環(huán)。這是推動(dòng)具身真機(jī)數(shù)據(jù)成本逐漸降低，并最終迎來李老師所說的 ImageNet 時(shí)刻的必備條件。隨著具身行業(yè)硬件的推陳出新，我們的工具鏈也在不斷地成長(zhǎng)和完善。

岑峰： 在具身智能的數(shù)據(jù)飛輪這樣一個(gè)過程中，合成數(shù)據(jù)如果要成為獨(dú)立的一個(gè)商業(yè)化產(chǎn)品，艾歐作為全鏈路的服務(wù)商將會(huì)扮演怎樣的一個(gè)角色？

高飆： 我們判斷，在未來相當(dāng)長(zhǎng)的一段時(shí)間里，具身智能的發(fā)展將依賴于真實(shí)數(shù)據(jù)與合成數(shù)據(jù)的協(xié)同驅(qū)動(dòng)。純粹依賴真機(jī)采集成本高、速度慢；而單純依賴合成數(shù)據(jù)則會(huì)面臨 "Sieem to Real Gap"（仿真與真實(shí)世界的差距）和物理真實(shí)性等挑戰(zhàn)。我們認(rèn)為更可行的路徑是構(gòu)建一個(gè)虛實(shí)融合的高效數(shù)據(jù)閉環(huán)：用少量高質(zhì)量真實(shí)數(shù)據(jù)冷啟動(dòng)，通過合成數(shù)據(jù)進(jìn)行大規(guī)模增廣，在仿真環(huán)境中驗(yàn)證策略，最終再回到真實(shí)環(huán)境部署并收集反饋，形成持續(xù)迭代的數(shù)據(jù)飛輪。

在這個(gè)閉環(huán)中，艾歐希望扮演一個(gè)類似于連接器的角色。我們看到了幾個(gè)核心機(jī)會(huì)點(diǎn)：

第一，將真實(shí)世界的采集能力遷移到仿真環(huán)境。目前很多模型依賴強(qiáng)化學(xué)習(xí)在仿真中試錯(cuò)，效率較低，且獎(jiǎng)勵(lì)函數(shù)難以覆蓋復(fù)雜的長(zhǎng)尾任務(wù)。艾歐積累的遙操作和多模態(tài)數(shù)據(jù)采集工具鏈，可以復(fù)用到仿真環(huán)境中，讓人類操作員在虛擬世界中遙控仿真機(jī)器人執(zhí)行任務(wù)，生成高質(zhì)量的專家示教數(shù)據(jù)。這種“人在環(huán)路”的仿真數(shù)據(jù)生成方式，能夠在合成數(shù)據(jù)中保留人類真實(shí)操作的動(dòng)作和決策邏輯。我們正與光輪等伙伴合作推進(jìn)，打通動(dòng)捕遙操作系統(tǒng)與高保真仿真引擎，構(gòu)建虛實(shí)結(jié)合的數(shù)據(jù)生成流水線。

第二，成為合成數(shù)據(jù)的質(zhì)量驗(yàn)證方。當(dāng)合成數(shù)據(jù)成熟到可以 API 形式對(duì)外服務(wù)時(shí)，如何評(píng)估其質(zhì)量將成為關(guān)鍵。我們認(rèn)為，真實(shí)世界采集的高質(zhì)量人類示范數(shù)據(jù)或真機(jī)行為數(shù)據(jù)，應(yīng)該成為衡量合成數(shù)據(jù)可信度的標(biāo)準(zhǔn)。艾歐長(zhǎng)期積累的不同機(jī)器人構(gòu)型、多模態(tài)、多任務(wù)真實(shí)數(shù)據(jù)集，可用于構(gòu)建 Benchmark，評(píng)估不同合成數(shù)據(jù)源在任務(wù)成功率、行為合理性及物理一致性等方面的性能。未來，我們計(jì)劃開源更大規(guī)模的數(shù)據(jù)集，共同推動(dòng)具身行業(yè)的發(fā)展。

岑峰： 從艾歐的視角上看，要突破哪些目前被忽視但是又很關(guān)鍵的問題？

高飆： 在達(dá)到通用智能體這個(gè)終極目標(biāo)之前，還有很長(zhǎng)的路要走。我們認(rèn)為，當(dāng)前被忽視但又很關(guān)鍵的問題是：找到一個(gè)能讓“商業(yè)閉環(huán)”和“數(shù)據(jù)閉環(huán)”同時(shí)存在的落地方式。

目前，單純?yōu)榱瞬杉瘮?shù)據(jù)而搭建數(shù)據(jù)采集場(chǎng)的模式，成本極高，很難通過這種模式達(dá)到 ImageNet 時(shí)刻。我們認(rèn)為，需要有一個(gè)商業(yè)閉環(huán)的過程，讓機(jī)器人首先在真實(shí)環(huán)境中“用起來”。

舉例來說，即使機(jī)器人在工廠擰螺絲的效率（如 70%）暫時(shí)不如人類工人，但它在工作中同時(shí)產(chǎn)生真實(shí)場(chǎng)景的數(shù)據(jù)。這些數(shù)據(jù)對(duì)于模型公司和本體公司而言，是極有價(jià)值的資產(chǎn)。機(jī)器人在當(dāng)前工作效率不及人類時(shí)，其產(chǎn)生的數(shù)據(jù)價(jià)值加上其工作價(jià)值，可能超過一個(gè)單純的人類崗位所產(chǎn)生的價(jià)值。

通過這種方式，讓機(jī)器人在真實(shí)環(huán)境中先運(yùn)行起來，積累數(shù)據(jù)，進(jìn)而在一些垂直場(chǎng)景跑通具身小模型（如商超模型、醫(yī)院模型）。通過真實(shí)的商業(yè)閉環(huán)和數(shù)據(jù)的反哺，不斷迭代，這才是最終通向通用智能體出現(xiàn)的前置階段。

06

觀眾問答：長(zhǎng)尾數(shù)據(jù)與服務(wù)場(chǎng)景的挑戰(zhàn)

岑峰： 有觀眾提問，具身智能領(lǐng)域應(yīng)如何解決數(shù)據(jù)長(zhǎng)尾問題？

高飆： 數(shù)據(jù)長(zhǎng)尾問題在技術(shù)和學(xué)術(shù)層面尚未獲得根本性解決，即便是已進(jìn)入下半場(chǎng)的自動(dòng)駕駛行業(yè)亦是如此。長(zhǎng)尾問題涉及地面低矮障礙物、各種不規(guī)則的掉落物等難以窮舉的場(chǎng)景。

鑒于長(zhǎng)尾問題在根本上難以消除，我們只能通過工程化策略和落地實(shí)踐來緩解。主要的解決途徑包括：

數(shù)據(jù)層面的增強(qiáng)： 以真實(shí)數(shù)據(jù)為基礎(chǔ)，利用仿真技術(shù)進(jìn)行數(shù)據(jù)增廣，特別是在真實(shí)環(huán)境難以模擬的情況下，可完全采用合成數(shù)據(jù)來生成長(zhǎng)尾場(chǎng)景，以增加數(shù)據(jù)量。

主動(dòng)探索與失敗注入： 在真實(shí)數(shù)據(jù)采集中，不僅要記錄成功的案例，更要主動(dòng)設(shè)計(jì)和誘導(dǎo)異常、失敗案例。例如，在一個(gè)收拾玩具的任務(wù)中，故意誘導(dǎo)機(jī)器人抓取失敗，然后記錄其從失敗中恢復(fù)并重新拾取的完整動(dòng)作，這種“失敗數(shù)據(jù)注入”能有效緩解長(zhǎng)尾問題。

模型學(xué)習(xí)方法創(chuàng)新： 引入小樣本學(xué)習(xí)（Few-shot Learning）或元學(xué)習(xí)（Meta-Learning）等新方法，使模型具備快速適應(yīng)和舉一反三的能力，例如通過一到兩次的人類示范，快速啟動(dòng)新的長(zhǎng)尾任務(wù)。

解決長(zhǎng)尾問題需要數(shù)據(jù)和模型學(xué)習(xí)方法兩個(gè)維度共同努力，構(gòu)建一個(gè)持續(xù)收集長(zhǎng)尾數(shù)據(jù)并反哺模型的飛輪。從學(xué)術(shù)角度根本解決此問題，仍需長(zhǎng)期努力。

岑峰： 楊總，您對(duì)于長(zhǎng)尾問題有何補(bǔ)充？自動(dòng)駕駛的 Corner Case 與具身智能的長(zhǎng)尾數(shù)據(jù)有何異同？光輪如何應(yīng)對(duì)這些挑戰(zhàn)？

楊海波： 在自動(dòng)駕駛領(lǐng)域，我們主要通過合成數(shù)據(jù)解決角點(diǎn)案例（Corner Case）。合成數(shù)據(jù)的核心優(yōu)勢(shì)之一就是處理這些罕見且關(guān)鍵的案例。鑒于我們已大規(guī)模服務(wù)于國(guó)內(nèi)外頭部車企，我們認(rèn)為這在自動(dòng)駕駛中是行之有效的解法。

不過，我傾向于將其稱為“長(zhǎng)尾場(chǎng)景數(shù)據(jù)”而非“角點(diǎn)案例”，因?yàn)楹笳叱＝o人以稀少的感覺，而實(shí)際上它是一個(gè)非常龐大的長(zhǎng)尾分布。對(duì)于具身智能而言，當(dāng)前仍處于發(fā)展早期階段，數(shù)據(jù)積累不足，因此探討長(zhǎng)尾問題尚為時(shí)過早，長(zhǎng)尾現(xiàn)象通常在模型進(jìn)入后續(xù)訓(xùn)練（Finetuning）階段才會(huì)顯現(xiàn)。

岑峰： 具身智能在服務(wù)業(yè)有巨大需求。艾歐如何看待并實(shí)現(xiàn)類似護(hù)工這類需要與人互動(dòng)的垂直場(chǎng)景？

高飆： 在當(dāng)前階段，單純依靠 AI 模型來處理護(hù)工與人的互動(dòng)是比較困難的。用戶期望機(jī)器人具備人類情感，但目前大語(yǔ)言模型的交互效果與公眾預(yù)期仍存在差距。

從我們的實(shí)踐來看，一種更為落地的方案是采用人機(jī)協(xié)同的遠(yuǎn)程遙操作。即機(jī)器人背后由真人控制，通過攝像頭和麥克風(fēng)與病人實(shí)時(shí)交互。這種模式能讓患者感知到機(jī)器背后有真人的存在，從而在接受護(hù)理服務(wù)時(shí)更為安心。

盡管目前市場(chǎng)上也有利用 AI 模型進(jìn)行情感陪伴的產(chǎn)品，但多數(shù)大型語(yǔ)言模型的用戶數(shù)據(jù)顯示，將其用于情感交流和傾訴的比例很低。目前 AI 陪護(hù)應(yīng)用更適合心智尚未成熟的兒童，例如 AI 陪伴玩具，這是 AI 完成陪護(hù)任務(wù)中較為落地的場(chǎng)景。

岑峰： 楊總，對(duì)于具身智能在服務(wù)業(yè)的落地，您如何從數(shù)據(jù)角度實(shí)現(xiàn)閉環(huán)？

楊海波： 在這個(gè)問題上，仿真和合成數(shù)據(jù)是放大器和加速器。當(dāng)一個(gè)預(yù)訓(xùn)練模型需要進(jìn)入特定服務(wù)場(chǎng)景進(jìn)行后續(xù)訓(xùn)練時(shí)，傳統(tǒng)方法是直接在真實(shí)場(chǎng)景中采集數(shù)據(jù)。

我們更傾向于采用 “Real to 2Sim”（真實(shí)到仿真）再到 “Sim to 2Real”（仿真到真實(shí)）的路徑：

Real to 2Sim： 將目標(biāo)服務(wù)場(chǎng)景（例如醫(yī)院病房）在仿真環(huán)境中重建出來。

Sim Training： 模型首先在仿真環(huán)境中高效地進(jìn)行大規(guī)模訓(xùn)練。

Sim to 2Real： 模型訓(xùn)練成熟后，再部署到真實(shí)環(huán)境進(jìn)行微調(diào)。

這種方式能極大地加速和提高效率。同時(shí)，我也認(rèn)同高總的觀點(diǎn)，在模型尚不穩(wěn)定的現(xiàn)階段，一定程度的遙操作是必要的，它既能保障操作安全，也能在實(shí)踐中持續(xù)收集高質(zhì)量數(shù)據(jù)，從而驅(qū)動(dòng)數(shù)據(jù)飛輪高效運(yùn)轉(zhuǎn)。

岑峰： 感謝兩位嘉賓們的深入討論。最后，請(qǐng)嘉賓用一句話總結(jié)今天的討論，并展望具身智能數(shù)據(jù)的未來。

楊海波： 仿真合成數(shù)據(jù)是通往具身智能的必經(jīng)之路。

高飆： 具身智能的未來不在于誰(shuí)擁有最多的數(shù)據(jù)，而在于誰(shuí)能夠最快地讓數(shù)據(jù)飛輪轉(zhuǎn)起來。艾歐智能愿意成為推動(dòng)數(shù)據(jù)飛輪轉(zhuǎn)動(dòng)的第一推手。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。