編者按:本文原標(biāo)題為?3D audio is the secret to Hololens's convincing holograms?。以下雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可不得轉(zhuǎn)載。

微軟總部門前，一排排高大的冷杉樹聳立兩旁。微軟員工們坐著小巴穿越過這片繁盛的樹林，眼簾中映入幾十座看起來并不起眼的建筑。在華盛頓州雷德蒙德市這片 500 英畝的土地上，一座由混凝土和玻璃構(gòu)建而成的 99 號大樓坐落其間——這就是著名的微軟研究院。Ivan Tashev 穿過安靜的大廳走向他的實(shí)驗(yàn)室，走向他為 HoloLens 設(shè)計(jì)空間音效的地方。

微軟研究院是世界第二大計(jì)算機(jī)科學(xué)機(jī)構(gòu)，Tashev 是該研究院音頻小組的負(fù)責(zé)人。他和他的團(tuán)隊(duì)現(xiàn)在致力于為 HoloLens（一臺把數(shù)字影像疊加在現(xiàn)實(shí)世界中的設(shè)備）研發(fā) 3D 音頻系統(tǒng)，以使人們戴上它之后的體驗(yàn)更生動，更貼近現(xiàn)實(shí)感覺。

和虛擬現(xiàn)實(shí)一樣，混合現(xiàn)實(shí)的視覺表現(xiàn)力也為人們所稱道。當(dāng)你第一次戴上 HoloLens 頭顯時(shí)，逼真的全息影像會立刻吸引你所有的注意力：你會在射擊游戲《 RoboRaid 》中看到外星人從墻壁中爬出來，或體驗(yàn)美國宇航員 Buzz Aldrin 漫步在火星表面的感覺。帶上頭顯，你能看到逼真的虛擬影像，但真正騙過你的大腦，讓你誤以為所見為真的其實(shí)是空間音頻——在敵人破墻而出之前，你能聽到他們的動靜； Buzz Aldrin 漫步于紅色星球時(shí)，你能聽到他在講話。

“聽到四周發(fā)出的聲音能讓你更加確信自己身處全息圖像中，” 微軟音頻創(chuàng)新部門總監(jiān) Matthew Lee Johnston 表示道，“全息音頻越真實(shí)，身臨其境的而效果就越好?！?/p>

該聽覺系統(tǒng)的設(shè)計(jì)，其實(shí)是在模仿人類大腦處理聽覺信息的過程?！翱臻g聽覺是我們感知生活的基礎(chǔ)之一。我們總是在不斷地接收環(huán)境中的聲音，并時(shí)刻給它們定位，”Johnston 說道。

我們的耳朵負(fù)責(zé)處理和解釋聲音，而大腦則根據(jù)耳朵輸入的線索更精確地定位聲源。比如，當(dāng)你走在大街上注意到一輛公交車是從你的右側(cè)駛過，這是因?yàn)槁曇魰钕鹊竭_(dá)離它最近的耳朵，即你的右耳，所以右耳聽到的聲音會比左耳要大。大腦就是根據(jù)這些微小的線索給聲音做精準(zhǔn)定位。

除此之外，影響聲音感知方式的還有另一個(gè)物理因素。

聲波在進(jìn)入耳道之前會與外耳部、頭部、甚至是頸部產(chǎn)生相互作用。因?yàn)槿梭w各部位的形狀、大小和位置都會對接收到的聲波產(chǎn)生影響，它們在不同個(gè)體間的差異會使每個(gè)人聽到的聲音都略有不同。這種效果被稱為頭相關(guān)變換函數(shù)（HRTF）。

而這些微小的差異正是空間聽覺體驗(yàn)最重要的部分。要使大腦相信空間音效是真實(shí)的，就必須給它輸入這些線索，而且還要精確?！皼]有一勞永逸的解決方案，通用過濾器也使所有人的需求得到滿足，” Tashev 指出，“讓虛擬現(xiàn)實(shí)達(dá)到想要的效果，我們就得讓設(shè)備學(xué)會‘因人而異’?！?/p>

因此，Ivan Tashev 的團(tuán)隊(duì)就開始在微軟實(shí)驗(yàn)室收集各種各樣的音頻數(shù)據(jù)。他們采集了上百人的頭相關(guān)變換函數(shù)，并給每個(gè)人建立聽覺曲線。聲學(xué)測量和頭部 3D 精準(zhǔn)掃描使 HoloLens 的設(shè)計(jì)更加科學(xué)，而及時(shí)和準(zhǔn)確的校對則可匹配最適合個(gè)體的空間音效。

8 月下旬一個(gè)陽光明媚的清晨，Tashev 再次回到 99 號建筑，來到微軟總部的實(shí)驗(yàn)室中。他身著黑色褲子和鉑金灰色襯衫，這和他的發(fā)型很搭。拉開實(shí)驗(yàn)室沉重的大門，Tashev 走進(jìn)一個(gè)隱蔽的房間中，這就是他進(jìn)行聲學(xué)測量的地方。房間墻壁上大面積的泡沫楔子使之與建筑物中的其他部分隔離開來。地板底部有一層吸聲器和一層金屬絲網(wǎng)——這樣的結(jié)構(gòu)能吸收所有聲音和震動，創(chuàng)造出一個(gè)消音室，也就是一個(gè)沒有回音的空間。

但只要在這個(gè)房間待上幾分鐘，你就會開始感到不適。你能聽到血液流過心臟的聲音，感覺到愈加頻繁的呼吸聲。在消音室中有這種表現(xiàn)很正常，幾十年前就已經(jīng)如此——早在 1943 年，為了測試廣播和揚(yáng)聲器，哈佛電聲實(shí)驗(yàn)室的主任 Leo Beranek 博士建立了世界上第一間消音室，并于二戰(zhàn)期間用它來改善噪音控制。從那時(shí)起，人們就開始設(shè)計(jì)類似的消音室用于測試麥克風(fēng)以及多方向音頻系統(tǒng)的頭相關(guān)變換函數(shù)。

在微軟的這間消音室中間擺著一張黑色皮椅，Tashev 的這張椅子已經(jīng)測量過 350 個(gè)人的頭相關(guān)變換函數(shù)。測試者戴上一對很小的桔色耳機(jī)后，配有 60 個(gè)揚(yáng)聲器的黑色機(jī)組就會從背部慢慢升起。當(dāng)該設(shè)備在測試者面前成弧度移動時(shí)，它會稍作停頓，播放連續(xù)、刺耳、像是激光一樣的聲音。

通過在測試者周圍播放聲音，研究團(tuán)隊(duì)能夠從左右耳 400 個(gè)不同的方向收集精準(zhǔn)的聲音線索。 這個(gè)方法使頭相關(guān)變換函數(shù)過濾出每一個(gè)聲源?！叭绻覀冎肋^濾的方向來自哪里，我們就能建立一個(gè)專屬個(gè)人的空間聽覺，”  Tashev 說道，“我們能騙過你的大腦，讓它以為聲音是從特定方向傳過來的?！?/p>

為了讓用戶以為全息圖來自于一個(gè)特定空間，我們要用到相應(yīng)的音頻濾波器。當(dāng) HoloLens 播放這些特定聲音時(shí)，頭相關(guān)變換函數(shù)就能讓大腦實(shí)時(shí)感覺到聲音的源頭。

盡管這種技術(shù)已能產(chǎn)生相當(dāng)逼真的效果，但它仍無法代替立體聲和環(huán)繞聲系統(tǒng)。因?yàn)?，除了精?zhǔn)的聲學(xué)測量，系統(tǒng)還需要持續(xù)不斷地對頭部進(jìn)行追蹤。頭部所處的方向直接決定聲音到達(dá)耳朵的方式。當(dāng)一輛公交車朝你的方向駛來，你把頭扭向一邊和盯著它看所得到的聽覺效果顯然截然不同。

不過 HoloLens 的團(tuán)隊(duì)無需為解決此問題絞盡腦汁，因?yàn)槿⒁曈X已經(jīng)解決了這個(gè)問題——設(shè)備配有 6 個(gè)攝像頭，有 1 個(gè)專門用來監(jiān)控頭部運(yùn)動。聽覺系統(tǒng)只需對這些信息進(jìn)行分析即可。

創(chuàng)建個(gè)人音頻系統(tǒng)的公司，并非只微軟一家。他們中大多數(shù)人都會采用頭相關(guān)變換函數(shù)，或通過專門的研究實(shí)驗(yàn)室創(chuàng)建 VR 3D 聽覺體驗(yàn)。過去幾年里，美國普林斯頓大學(xué)，機(jī)械和航天工程教授 Edgar Choueiri一直在使用入耳式耳機(jī)技術(shù)；一家基于馬里蘭大學(xué)研究實(shí)驗(yàn)室的公司 VisiSonics 也一直在測量頭相關(guān)變換函數(shù)，并建立了自己的數(shù)據(jù)庫。

雖然有競爭對手，但微軟并不擔(dān)心，因?yàn)樗凶约邯?dú)特的工程技術(shù)——音頻校準(zhǔn)。

第一次使用設(shè)備時(shí)，設(shè)備會指導(dǎo)你完成眼部校準(zhǔn)。為了測量瞳孔之間的距離，你需要閉上一只眼睛，抬起手指點(diǎn)擊面前的投影圖像；接著換另一只眼睛做同樣的動作。系統(tǒng)則通過這樣的方法計(jì)算瞳孔之間的距離。在這個(gè)過程中，系統(tǒng)還同時(shí)通過算法進(jìn)行另一項(xiàng)工作：Tashev 已在此前的實(shí)驗(yàn)中掃描和測量了數(shù)百個(gè)測量者眼距和耳距之間的關(guān)系，并建立了一個(gè)通用的平均值。因此，結(jié)合實(shí)驗(yàn)結(jié)果與佩戴者的實(shí)際情況，就能通過一個(gè)人的眼距推算出耳距。

研究團(tuán)隊(duì)則希望信息收集的過程越隱秘越好?！拔蚁胛覀冏龅搅?，”  Tashev 說，“用戶在使用 HoloLens 時(shí)甚至不知道 HRTFs 的個(gè)性化設(shè)置究竟從何時(shí)開始，又是如何進(jìn)行的?！?/p>

想要全方位模擬現(xiàn)實(shí)場景，研究人員不僅要在軟件上下功夫，還要考慮硬件配置?！安痪煤笪覀兙鸵庾R到除了要聽到全息圖像中的聲音，用戶還希望能聽到所處實(shí)際環(huán)境中的聲響。所以我們需要一些在耳朵外部，但是靠近耳朵的揚(yáng)聲器，以確保聲音能以某種程度到達(dá)耳朵。”

Strande 表示，早期 HoloLens 配有小型管道，能把空氣導(dǎo)入耳道中。另一種想法是把管道換成了耳機(jī)。但團(tuán)隊(duì)最終選用了一對輕薄的紅色揚(yáng)聲器。

“大多數(shù)人都不知道那有一個(gè)揚(yáng)聲器，” Strande 說道，“用戶第一次佩戴設(shè)備聽到環(huán)境中的聲音時(shí)，他們會以為聲音來自于房間中的揚(yáng)聲器。所以用這種方法模擬環(huán)境很管用?！?/p>

除了 HoloLens，微軟還把空間音頻嵌入到操作系統(tǒng)中，因此，該技術(shù)可兼容所有使用 Windows 10 的設(shè)備。在 10 月舉辦的Surface發(fā)布會上，微軟還為其 Windows 系統(tǒng)發(fā)布了新的 VR 頭顯?？赡芤院?，空間音頻技術(shù)將從全息混合現(xiàn)實(shí)轉(zhuǎn)移到完全沉浸式的虛擬空間中。

Strande 說：“音頻在混合現(xiàn)實(shí)和虛擬現(xiàn)實(shí)中都很重要，因?yàn)樗陀脩趔w驗(yàn)直接相關(guān)。但游戲和軟件開發(fā)商不夠足夠重視該問題。如果沒有音頻，用戶就會立刻懷疑體驗(yàn)的真實(shí)性。因此為了讓體驗(yàn)變得更真實(shí)生動，必須要加入空間音頻這一因素，特別是當(dāng)用戶看到不斷移動的全息圖像的時(shí)候。”

 via：engadget

延伸閱讀：

微軟降低VR門檻：2000元VR頭顯只需3000多的電腦就能驅(qū)動

與 Pinterest 合作，HoloLens 能讓你從網(wǎng)上找素材設(shè)計(jì)廚房

未來已來 微軟Hololens 全息眼鏡開箱圖賞

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。