近年來，遷移學習、風格遷移、聲碼器、聲學模型等方面的最新進展，為低資源語音克隆的提供了潛在的解決方案。愛奇藝聯(lián)合西北工業(yè)大學音頻語音與語言處理研究組、新加坡國立大學、清華大學深圳國際研究生院、起源智能、希爾貝殼在ICASSP2021舉辦了多說話人多風格音色克隆大賽——M2VoC。

M2VoC挑戰(zhàn)賽旨在提供一個通用的數(shù)據(jù)集以及一個公平的測試平臺，對語音克隆任務進行研究。作為2021年聲學、語音和信號處理國際會議（ICASSP2021）信號處理挑戰(zhàn)旗艦任務之一，吸引了多支學術界和工業(yè)界的研究人員加入了挑戰(zhàn)。 

本周，在ICASSP2021峰會上，M2VoC挑戰(zhàn)賽順利落幕，并公布了比賽成果。共153只隊伍注冊參賽了本次挑戰(zhàn)賽，其中有多家學術機構和互聯(lián)網(wǎng)公司共同參與其中，學術機構包括北京大學，清華大學，浙江大學，上海交通大學，國立臺灣大學，哈工大，University of Crete，中科院自動化所，University of Tsukuba，Nagoya University，復旦大學，香港中文大學，中科院大學，電子科技大學等；參與互聯(lián)網(wǎng)公司包括虎牙，微軟，滴滴，騰訊，網(wǎng)易等。

愛奇藝多說話人多風格音色克隆大賽分為少樣本賽道和極少樣本賽道兩大任務。在少樣本賽道方面，主辦方針對每個說話人提供100句不同說話風格的訓練樣本；在極少樣本賽道方面，主辦方針對每個說話人提供5句不同說話風格的訓練樣本；同時，主辦方提供了兩個基礎庫，分別包含5000句不同說話風格的訓練樣本，供參賽者訓練基礎模型。最終，主辦方經(jīng)過“說話人相似度、語音質(zhì)量、風格/表現(xiàn)力、發(fā)音準確率”四大標準加權作為比賽評判標準。

針對提交成果，愛奇藝組委會進行了兩輪主觀評估：第一輪包括所有團隊的提交，第二輪則對幾個得分最高的團隊進行了進一步評估。每個賽道的最終獲勝者是根據(jù)兩輪比賽的綜合結(jié)果選出的?？紤]到在短時間內(nèi)對質(zhì)量、風格和相似度進行主觀評價的巨大成本，組委會采用了抽樣評價方法。第一輪和第二輪主觀聽力測試分別有66名和30名專業(yè)聽測人員參加。所有的聽測人員都是以漢語為母語，由語言學專業(yè)的大學生和專業(yè)的語音注釋員組成。

 

圖：賽道一提交的MOS

圖：賽道二提交的MOS

比賽匯集了業(yè)內(nèi)頂尖團隊，作為業(yè)內(nèi)首個多說話人多風格音色克隆比賽，體現(xiàn)了當前業(yè)內(nèi)和學界最高水平。本次挑戰(zhàn)賽共收錄18篇相關論文，其中，6篇論文被ICASSP2021收錄。

圖：ICASSP 2021本次挑戰(zhàn)賽收錄論文

參賽隊伍在Acoustic model、Speaker representation、Vocoder、Speaker adaptation strategy等多個方面都提出了創(chuàng)新，并取得了很好的效果。相關成果應用于APP口播、UGC配音、有聲書、風格化語音合成等多個應用場景，能夠滿足不斷變化的聲音定制場景，特別是基于多風格低質(zhì)量語料場景下的聲音的定制。

 

圖：各賽道第一輪評估中所有提交的MOS

本次愛奇藝多說話人多風格音色克隆大賽（M2VoC）是世界上第一個小資源音色克隆挑戰(zhàn)賽，旨在為語音克隆任務的研究提供一個通用的數(shù)據(jù)集和一個公平的測試平臺。挑戰(zhàn)展示了當前語音克隆技術的性能：隨著深度學習的進步，少樣本語音克隆已經(jīng)取得了相當好的性能，但單樣本語音克隆仍然是一個未解決的問題。在現(xiàn)實世界的語音克隆應用中，低質(zhì)量（嘈雜）音頻和訓練/適應/推理的時間/成本限制也是不可忽視的重要因素。

愛奇藝也在ICASSP2021發(fā)布了相關論文，總結(jié)本次大賽的情況。希望通過本次大賽的成果，為音色克隆、語音識別等前沿技術的創(chuàng)新探索提供更多機會，進一步拓寬人工智能技術的應用空間，為視聽行業(yè)發(fā)展提供新的可能。

福利：在愛奇藝技術產(chǎn)品團隊微信公眾號，后臺回復“papers”，獲取18篇挑戰(zhàn)賽論文合集。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。