邁向智能化時(shí)代的進(jìn)程中，不僅需要AI技術(shù)，還需要與AI匹配的一系列計(jì)算、感知、連接等技術(shù)。其中，3D感知尤為關(guān)鍵?？v觀當(dāng)下最受關(guān)注的幾大領(lǐng)域，智能機(jī)器人、自動(dòng)駕駛汽車(chē)、XR（包含VR、AR、MR），還有今年最火的元宇宙，都需要3D感知。

然而，在很長(zhǎng)一段時(shí)間，3D機(jī)器視覺(jué)主要應(yīng)用于智慧城市的監(jiān)控當(dāng)中，沒(méi)能在更多領(lǐng)域應(yīng)用。原因有很多，包括成本、技術(shù)的成熟度、使用3D視覺(jué)芯片的門(mén)檻等。

銀牛微電子聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官白逸告訴雷峰網(wǎng)：“激光雷達(dá)、紅外輔助等方式獲取的2D信息有限，難以進(jìn)行進(jìn)一步的計(jì)算、判斷、控制等功能。要從2D轉(zhuǎn)向3D，實(shí)現(xiàn)獲取信息質(zhì)量和數(shù)量的飛躍，需要跨越巨大的技術(shù)鴻溝。只有擁有了成熟的3D機(jī)器視覺(jué)產(chǎn)品，這些市場(chǎng)才有可能快速規(guī)模應(yīng)用3D機(jī)器視覺(jué)。”

全球唯一一款集成3D深度感知+SLAM（實(shí)時(shí)定位與建圖）+AI功能的單芯片，在中國(guó)市場(chǎng)的推廣應(yīng)用，將加速3D機(jī)器視覺(jué)的爆發(fā)。 

3D機(jī)器視覺(jué)為什么難普及？

著名心理學(xué)家赤瑞特拉（Treicher）曾經(jīng)驗(yàn)證過(guò)一組數(shù)據(jù)，人類(lèi)獲取的信息83%來(lái)自視覺(jué)，11%來(lái)自聽(tīng)覺(jué)。顯然，要實(shí)現(xiàn)機(jī)器智能，邁向智能化時(shí)代，視覺(jué)信息非常關(guān)鍵，特別是3D視覺(jué)。

比如今年最火的元宇宙，要將現(xiàn)實(shí)世界在虛擬世界實(shí)現(xiàn)映射，需要與3D視覺(jué)密切相關(guān)的XR。VR在2015年迎來(lái)了投資熱潮，隨后的2016年，被稱(chēng)為“VR元年”。

當(dāng)時(shí)VR設(shè)備的眩暈感以及內(nèi)容不夠豐富等原因，讓2016年沒(méi)能成為“VR元年”。直到2021年，Meta售出了1000萬(wàn)臺(tái)VR頭盔Oculus Quest 2，被業(yè)界認(rèn)為XR又迎來(lái)了新的爆發(fā)期。

自動(dòng)駕駛汽車(chē)和智能機(jī)器人也是典型需要3D視覺(jué)的領(lǐng)域，但也各自面臨挑戰(zhàn)。自動(dòng)駕駛汽車(chē)領(lǐng)域，采用純2D視覺(jué)方案，無(wú)論是攝像頭還是激光雷達(dá)，需要海量數(shù)據(jù)，成本挑戰(zhàn)巨大。機(jī)器人中所需的3D視覺(jué)技術(shù)，也因?yàn)榧夹g(shù)和開(kāi)發(fā)難度限制難以大量應(yīng)用。

擁有3D視覺(jué)領(lǐng)域豐富經(jīng)驗(yàn)的銀牛微電子聯(lián)合創(chuàng)始人兼副總裁何火高指出，“3D視覺(jué)不只是單純和芯片或算法的問(wèn)題，還涉及到相關(guān)的光學(xué)、結(jié)構(gòu)、散熱等問(wèn)題，加上芯片、算法構(gòu)成的復(fù)雜技術(shù)系統(tǒng)，使3D視覺(jué)的芯片和解決方案有非常高的技術(shù)門(mén)檻，需要投入更多時(shí)間、技術(shù)、人才。”

“一個(gè)好的技術(shù)和一個(gè)成功的產(chǎn)品最終能否推動(dòng)整個(gè)生態(tài)去發(fā)展，中間有巨大的鴻溝，這個(gè)鴻溝可能90%是軟件的工作量?！卑滓葸M(jìn)一步表示，“只有提供完整的系統(tǒng)級(jí)解決方案，才能滿(mǎn)足市場(chǎng)需求。我們也相信雙目3D視覺(jué)會(huì)把整個(gè)人工智能機(jī)器視覺(jué)的成本降低?！?/p>

技術(shù)的高門(mén)檻，也讓這一領(lǐng)域只有少數(shù)擁有極強(qiáng)技術(shù)和產(chǎn)品實(shí)力的公司，這阻礙了3D視覺(jué)技術(shù)的快速普及。一個(gè)很好的例子就是蘋(píng)果以3.6億美元收購(gòu)了以色列3D芯片公司PrimeSense，并申請(qǐng)了專(zhuān)利，在iPhone上實(shí)現(xiàn)了3D人臉識(shí)別Face ID功能，其它廠商由于沒(méi)有類(lèi)似的技術(shù)和產(chǎn)品供應(yīng)商，很難在手機(jī)上實(shí)現(xiàn)如同蘋(píng)果的3D識(shí)別功能。

在XR、自動(dòng)駕駛汽車(chē)和智能機(jī)器人領(lǐng)域，市場(chǎng)上迎來(lái)了一款融合多種功能的3D視覺(jué)感知AI芯片，可能帶動(dòng)3D視覺(jué)在這些領(lǐng)域的爆發(fā)。

全球獨(dú)一無(wú)二的3D感知AI芯片

2012年，3D芯片的開(kāi)創(chuàng)者，前PrimeSense CTO Dor Zepeniuk和有38年半導(dǎo)體設(shè)計(jì)經(jīng)驗(yàn)的連續(xù)成功創(chuàng)業(yè)者Shlomo Gadot在以色列創(chuàng)立了Inuitive，并吸引了一群經(jīng)驗(yàn)豐富的人才，他們的專(zhuān)業(yè)領(lǐng)域涵蓋八大學(xué)科，人均有20年以上的經(jīng)驗(yàn)。

這群有理想，有超前設(shè)計(jì)理念的創(chuàng)業(yè)者，并不滿(mǎn)足于推出一款只是超越市場(chǎng)上已有的3D芯片，他們想再次突破，挑戰(zhàn)難度更大的異構(gòu)3D視覺(jué)芯片。最終，Inuitive在2019年推出了全球唯一一款能在單芯片中同時(shí)實(shí)現(xiàn)3D深度感知、高精度姿態(tài)跟蹤、SLAM實(shí)時(shí)定位建圖引擎與AI算力于一體的異構(gòu)芯片NU4000。 

想要在單顆芯片上同時(shí)集成這些功能難度很大，因?yàn)橐瑫r(shí)集成計(jì)算機(jī)視覺(jué)、人工智能、光學(xué)、系統(tǒng)架構(gòu)、嵌入式系統(tǒng)軟件、邊緣計(jì)算及芯片設(shè)計(jì)等眾多技術(shù)。擁有Inuitive獨(dú)有3D感知技術(shù)，加上SLAM，以及異步時(shí)間扭曲技術(shù)（如果視頻幀率不足能夠產(chǎn)生中間幀，減少畫(huà)面抖動(dòng)，減少眩暈感，可以實(shí)現(xiàn)從動(dòng)作到畫(huà)面反應(yīng)延遲小于1毫秒），融合AI的NU4000一經(jīng)推出，就獲得了市場(chǎng)的認(rèn)可。

銀牛微電子在2020年11月成功收購(gòu)了已經(jīng)量產(chǎn)全球獨(dú)一無(wú)二的3D感知AI芯片的Inuitive。銀牛微電子董事長(zhǎng)兼CEO曲冠誠(chéng)說(shuō)：“這可能是有史以來(lái)速度最快的國(guó)際并購(gòu)，我們用4.5個(gè)工作日就達(dá)成了并購(gòu)。這離不開(kāi)我們雙方并購(gòu)前構(gòu)建的良好基礎(chǔ)，以及我過(guò)去的經(jīng)驗(yàn)，再加上各方的支持，最終才如此迅速達(dá)成收購(gòu)?！?/p>

達(dá)成并購(gòu)不是最大的挑戰(zhàn)，更大的難度來(lái)自于并購(gòu)后的融合。白逸說(shuō)，“收購(gòu)?fù)瓿芍?，我們有一系列措施維護(hù)和穩(wěn)定以色列原團(tuán)隊(duì)的核心管理層和研發(fā)團(tuán)隊(duì)，因?yàn)樗麄兪钦麄€(gè)公司寶貴的財(cái)富。目前，員工流失率極低，核心員工沒(méi)有流失。中國(guó)和以色列團(tuán)隊(duì)正在積極融合，重點(diǎn)關(guān)注雙目立體3D感知，共同規(guī)劃產(chǎn)品路線(xiàn)圖和開(kāi)發(fā)產(chǎn)品?！?/p>

其中有一個(gè)重要舉措，銀牛微電子絕對(duì)控股Inuitive，但曲冠誠(chéng)并沒(méi)有收購(gòu)創(chuàng)始團(tuán)隊(duì)的股份，通過(guò)與創(chuàng)始團(tuán)隊(duì)保持合作的關(guān)系，能夠更好的共同推動(dòng)3D機(jī)器視覺(jué)在中國(guó)以及全球的規(guī)模應(yīng)用。

雷峰網(wǎng)注意到，雖然Inuitive的團(tuán)隊(duì)有各個(gè)領(lǐng)域豐富的經(jīng)驗(yàn)，但核心專(zhuān)利數(shù)只有25項(xiàng)。曲冠誠(chéng)解釋?zhuān)癐nuitive只申請(qǐng)了最核心的專(zhuān)利，因?yàn)樗麄兩暾?qǐng)的都是美國(guó)發(fā)明專(zhuān)利，不僅申請(qǐng)流程復(fù)雜，維護(hù)費(fèi)用也很貴，大量申請(qǐng)專(zhuān)利的主要是產(chǎn)品公司，Inuitive是研發(fā)型創(chuàng)業(yè)公司。接下來(lái)，我們將會(huì)在國(guó)內(nèi)申請(qǐng)數(shù)百個(gè)專(zhuān)利?！?/strong>

未來(lái)兩年，銀牛微電子的3D感知AI芯片的工藝會(huì)從12nm向7nm甚至5nm演進(jìn)，中國(guó)團(tuán)隊(duì)也會(huì)不斷參與到產(chǎn)品的研發(fā)中，實(shí)現(xiàn)更好融合。

“今年的一個(gè)重要任務(wù)就是把基于NU4000芯片的3D模組在中國(guó)實(shí)現(xiàn)量產(chǎn)?！卑滓萁榻B，“NU4000已經(jīng)有很多參考設(shè)計(jì)，但量產(chǎn)的第一個(gè)模組產(chǎn)品是最新發(fā)布的C158，特為中國(guó)客戶(hù)設(shè)計(jì)調(diào)優(yōu)，主要目標(biāo)市場(chǎng)是智能機(jī)器人，也可以應(yīng)用于XR / 3D交互、3D掃描、高端無(wú)人機(jī)等領(lǐng)域?！?/p>

曲冠誠(chéng)強(qiáng)調(diào)，中國(guó)客戶(hù)有不同的設(shè)計(jì)和更多樣化的需求，銀牛微電子要做好本地產(chǎn)業(yè)供應(yīng)鏈的管理，更好適合本土化需求，客戶(hù)的響應(yīng)時(shí)間會(huì)在24小時(shí)之內(nèi)。

“未來(lái)幾年，可以看到3D機(jī)器視覺(jué)在三個(gè)領(lǐng)域大量落地，包括低速輔助駕駛、智能機(jī)器人和AR/VR?！鼻谡\(chéng)說(shuō)。 

智能機(jī)器人3D視覺(jué)將率先爆發(fā)

“再好的技術(shù)，成本太高或沒(méi)有市場(chǎng)著力點(diǎn)，也無(wú)法落地。”曲冠誠(chéng)進(jìn)一步表示，“之所以在中國(guó)市場(chǎng)先推出機(jī)器人模組，一方面是因?yàn)橐咔椋袌?chǎng)對(duì)服務(wù)機(jī)器人的需求呈現(xiàn)爆發(fā)性增長(zhǎng)。另一方面，市場(chǎng)行業(yè)龍頭的戰(zhàn)略調(diào)整，也給了我們很大的機(jī)會(huì)?！?/strong>

《中國(guó)機(jī)器人產(chǎn)業(yè)發(fā)展報(bào)告(2021年)》數(shù)據(jù)顯示，2021年，全球機(jī)器人市場(chǎng)規(guī)模預(yù)計(jì)將達(dá)到335.8億美元，其中，2021年中國(guó)服務(wù)機(jī)器人市場(chǎng)規(guī)模將達(dá)到302.6億元，高于全球服務(wù)機(jī)器人市場(chǎng)增速；到2023年，隨著視覺(jué)引導(dǎo)機(jī)器人、陪伴服務(wù)機(jī)器人等新興場(chǎng)景和產(chǎn)品的快速發(fā)展，中國(guó)服務(wù)機(jī)器人市場(chǎng)規(guī)模有望突破600億元。

白逸解釋?zhuān)拔覀兺瞥龅腃158模組可以理解為是通用芯片加上專(zhuān)用模組，它適合智能機(jī)器人領(lǐng)域的絕大部分客戶(hù)需求，其它領(lǐng)域的客戶(hù)需要專(zhuān)用的模組。由于我們NU4000芯片的通用性，基于通用芯片模組的迭代周期只需要幾個(gè)月，比芯片迭代周期短很多。因此，我們通過(guò)不斷迭代模組不僅能更好滿(mǎn)足同一市場(chǎng)的需求，也能拓展新市場(chǎng)?！?/p>

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))了解到，銀牛微電子明年至少會(huì)拓展120-150人的軟件團(tuán)隊(duì)支撐不斷增長(zhǎng)的客戶(hù)需求。整個(gè)公司軟件團(tuán)隊(duì)的人數(shù)可能會(huì)是硬件團(tuán)隊(duì)人數(shù)的2倍或更多。

至于銀牛微電子是否會(huì)直接出售芯片，白逸表示，這是一個(gè)商業(yè)考量問(wèn)題。

“未來(lái)的兩三年，3D機(jī)器視覺(jué)還處于起步階段，生態(tài)的成熟度和解決方案的成熟度都決定了客戶(hù)很難直接使用這么復(fù)雜的芯片。3D視覺(jué)模組實(shí)際上可以降低客戶(hù)的使用門(mén)檻和成本，加速3D機(jī)器視覺(jué)的落地。隨著3D機(jī)器視覺(jué)的發(fā)展，未來(lái)也可能直接出售芯片。”

具體的性能，C158深度分辨率可達(dá)1280 x 800 @60fps，感知距離在6米以?xún)?nèi)時(shí)，精度誤差僅為1%，能以0.5w實(shí)現(xiàn)5-6 TOPS算力，內(nèi)置的通用型Arm內(nèi)核，支持系統(tǒng)獨(dú)立性，使系統(tǒng)可以同時(shí)兼顧協(xié)處理器和主控系統(tǒng)。同時(shí)，C158搭載豐富接口和系統(tǒng)支持，使其無(wú)論是模組或外設(shè)皆可實(shí)現(xiàn)USB即插即用的效果。

值得一提的是，得益于基于高集成度的NU4000芯片，C158模組的尺寸為125mm x 40mm x 27mm，支持120fps的2路攝像頭以及6自由度坐標(biāo)的重定位，能實(shí)現(xiàn)實(shí)時(shí)高精度姿態(tài)跟蹤。

寫(xiě)在最后 

任何一種新技術(shù)的成熟和大規(guī)模應(yīng)用，都需要各種因素的共同作用。技術(shù)的成熟度以及成本是兩個(gè)關(guān)鍵，過(guò)去，3D機(jī)器視覺(jué)產(chǎn)品由于產(chǎn)品集成度不夠高，使用難度大，大規(guī)模應(yīng)用面臨巨大挑戰(zhàn)。

隨著銀牛微電子基于獨(dú)一無(wú)二的集成實(shí)現(xiàn)3D深度感知、高精度姿態(tài)跟蹤、SLAM實(shí)時(shí)定位建圖引擎與AI算力芯片的模組推向中國(guó)市場(chǎng)，國(guó)內(nèi)的智能機(jī)器人公司和機(jī)構(gòu)新增了一個(gè)選擇，如果這一產(chǎn)品被市場(chǎng)廣泛接受，將會(huì)推動(dòng)3D機(jī)器視覺(jué)在智能機(jī)器人領(lǐng)域的快速應(yīng)用。

在可以預(yù)見(jiàn)的3-5年，3D機(jī)器視覺(jué)也將在低速輔助駕駛、VR/AR等領(lǐng)域大規(guī)模應(yīng)用，與其它計(jì)算、感知和連接技術(shù)一起，推動(dòng)3D機(jī)器視覺(jué)的爆發(fā)，邁向更加智能的時(shí)代。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。