0
作者 | 蔣寶尚
編輯 | 賈偉
全世界約有6900種語言，但大多數(shù)并沒有英語這種數(shù)據(jù)規(guī)模，這也導(dǎo)致大多數(shù)的NLP基準僅限于英文任務(wù)，這大大制約了自然語言處理的多語言發(fā)展。
從語言學(xué)的角度，值得注意的一點是，不同語言或許有相同的來源，例如英語的“desk”和德語的“ Tisch”都來自拉丁語“ discus”。
如何利用語言之間的這種“共享結(jié)構(gòu)”來克服數(shù)據(jù)不足問題，是當(dāng)前學(xué)術(shù)界嘗試多語言研究的方向之一。
近日，谷歌聯(lián)合CMU、DeepMind推出的《XTREME：評估跨語言泛化的大規(guī)模、多語言、多任務(wù)基準》（XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization）極大的鼓勵了多語言研究。
（雷鋒網(wǎng)）
這篇研究涵蓋了40種類型多樣的語言（涵蓋12種語系），還包括9項需要共同對不同級別的句法或語義進行推理的任務(wù)。
正如谷歌論文的標題，XTREME是一個基準，用來評估跨語言遷移學(xué)習(xí)的好壞，在多樣化和具有代表性的任務(wù)和語言上，其選擇構(gòu)成基準的任務(wù)和語言主要考慮的原則包括：任務(wù)的難度、任務(wù)的多樣性、以及訓(xùn)練的效率、多語言性、充足的單語數(shù)據(jù)等等。
1、任務(wù)難度足夠有挑戰(zhàn)性，使得跨語言的表現(xiàn)低于人的表現(xiàn)；
2、任務(wù)應(yīng)該要求語言模型在不同的層次上傳遞不同的意義，例如，分類任務(wù)需要句子級的意義轉(zhuǎn)移，而序列標記任務(wù)，如語音部分（POS）標記或命名實體識別（NER）則需要測試模型在詞級的意義轉(zhuǎn)移能力；
3、考慮到資源有限，任務(wù)要求在一個GPU上就能夠訓(xùn)練，而且訓(xùn)練時間不能超過一天；
4、首先考慮涵蓋多語言和語系的任務(wù)；
5、任務(wù)的使用是獲得許可的，能夠允許用于研究，以及以此為目的數(shù)據(jù)再分配。
（雷鋒網(wǎng)）
XTREME包含9個任務(wù)，共有4個類別，可以在不同的意義層次上進行推理。任務(wù)概述如上表所示。
XNLI：FAIR 和紐約大學(xué)合作開發(fā)，作為一個新的自然語言推斷語料庫，其將MultiNLI 的測試集和開發(fā)集擴展到 15 種語言，包括斯瓦西里語和烏爾都語等低資源語言。
PAWS-X：是在 PAWS 數(shù)據(jù)集基礎(chǔ)上, 擴展了包含另外6 種不同類型語言的釋義識別對抗性數(shù)據(jù)集, 支持語言包括: 法語、西班牙語、德語、漢語、日語和韓語。PAWS-X 數(shù)據(jù)集則包含23 659組由人工判斷而得的PAWS 擴展句子對, 以及296 406 組由機器翻譯的訓(xùn)練對。
POS：作者使用了通用依存關(guān)系中數(shù)據(jù)庫中的POS標簽數(shù)據(jù)，并使用英語訓(xùn)練數(shù)據(jù)進行訓(xùn)練，并在目標語言的測試集上進行了評估。
NER：對于NER，作者使用了Wikiann數(shù)據(jù)集，并用知識庫屬性、跨語言、錨鏈接、自我訓(xùn)練和數(shù)據(jù)選擇相結(jié)合的方法，對維基百科中的命名實體進行了IOB2格式的LOC、PER和ORG標簽的自動注釋。
XQuAD：是一個更全面的跨語言基準測試，包括由專業(yè)翻譯人員翻譯成十種語言的240段和1190對問題回答。
MLQA：這是一個類似于XQuAD的多語言問題回答數(shù)據(jù)集，能夠用于評估跨語言問答性能的基準。其由SQuAD格式的超過5K提取QA實例（英語為12K）組成，使用7種語言-英語，阿拉伯語，德語，西班牙語，北印度語，越南語和簡體中文。
（雷鋒網(wǎng)）XTREME基準測試中支持的任務(wù)
TyDiQA-GoldP：TyDiQA是一個涵蓋了 11 種不同類型語言的問答語料庫，TyDiQA-GoldP是其簡化版，并排除了一些無法回答的問題。它類似于XQuAD和MLQA，但比這兩個分別少了三倍和兩倍的的詞法重疊度。另外，作者使用使用英語訓(xùn)練數(shù)據(jù)在目標語言的測試集上進行訓(xùn)練和評估。
BUCC：該數(shù)據(jù)集為每種語言提供了訓(xùn)練和測試分詞，為了簡化，作者直接對測試集上的表征進行評估，沒有進行微調(diào)，但使用了余弦相似度公式計算相似度。
Tatoeba：該數(shù)據(jù)集包含了多達1000個覆蓋122種語言的英語句子對，在該數(shù)據(jù)集上，作者使用余弦相似度找到近鄰（ nearest neighbour），并計算錯誤率。
綜上，XTREME中包含的任務(wù)涵蓋了一系列范式，包括句子分類，結(jié)構(gòu)化預(yù)測，句子檢索和問題解答。
由于英語是多語言表征中最常用的評估設(shè)置，并且多數(shù)任務(wù)中僅有英語訓(xùn)練數(shù)據(jù)，所以谷歌在評估設(shè)置上采用英語作為源語言的zero-shot跨語言遷移。雖然英語并非所有目標語言的跨語言遷移的最佳源語言，但這是目前實踐中最擁有的設(shè)置。
為了使用XTREME評估模型性能，首先需要使用引起跨語言學(xué)習(xí)的目標語言在多語言文本上對模型進行預(yù)訓(xùn)練，接著在指定任務(wù)的英語數(shù)據(jù)上對模型進行微調(diào)。隨后，XTREME 在目標語言上評估模型的zero-shot跨語言遷移性能。
下圖展示了從預(yù)訓(xùn)練到微調(diào)再到zero-shot遷移的三大流程：
模型的跨語言遷移學(xué)習(xí)過程：1、針對多語言文本的預(yù)訓(xùn)練；2、使用英語對下游任務(wù)進行微調(diào)；3、使用 XTREME 進行 zero-shot 評估。
實踐中，這種zero-shot設(shè)置的好處之一是能夠提升計算效率，即預(yù)訓(xùn)練模型僅需要針對每個任務(wù)在英語數(shù)據(jù)上進行微調(diào)，便可以在其他語言上直接進行評估。
針對在其他語言中也有標注數(shù)據(jù)的任務(wù)，作者也比較了模型在這些語言上進行微調(diào)后的性能，最終獲得了 9 個XTREME任務(wù)的zero-shot得分，得出了綜合分數(shù)。
在基準測試方面，谷歌研究者選擇幾種當(dāng)前最先進的多語言模型進行試驗，包括多語言BERT 模型 （mBERT），多語言BERT 模型的大型版本XLM和XLM-R 以及大型多語言機器翻譯模型 M4。這些模型的共同特點，就是它們已經(jīng)在來自不同語言的大量數(shù)據(jù)上進行了預(yù)訓(xùn)練。
在方法上，主要采用的是通過自監(jiān)督或借助譯文來學(xué)習(xí)多語言表征。
圖注：基于翻譯的基準對句子檢索沒有意義。在有目標語言訓(xùn)練數(shù)據(jù)的情況下，作者提供了語言內(nèi)基準。
實驗結(jié)果如上圖所示，XLMR是表現(xiàn)最好的模型，總體上比mBERT有明顯的改進，但是在結(jié)構(gòu)化預(yù)測任務(wù)上的改進較小。MMTE在大多數(shù)任務(wù)上的性能與mBERT相當(dāng)，在XNLI、POS和BUCC上的性能更強。
對于有語內(nèi)訓(xùn)練數(shù)據(jù)（ in-language training data）的任務(wù)，使用語內(nèi)數(shù)據(jù)訓(xùn)練的多語言模型要優(yōu)于zero-shot遷移模型。但是，只要有更多的英語樣本，zero-shot遷移模型就會好于只訓(xùn)練了1000個復(fù)雜QA任務(wù)的語言內(nèi)示例的多語言模型。
對于結(jié)構(gòu)化預(yù)測任務(wù)，1,000個語內(nèi)實例能使模型達到與在完整的標簽化數(shù)據(jù)集上訓(xùn)練的性能。
最后，在Translate-train和In-language設(shè)置上的多任務(wù)學(xué)習(xí)一般都比單一語言訓(xùn)練有所改善。
對于一些有代表性的模型，作者研究了跨語言轉(zhuǎn)移差距，即在英語測試集上的表現(xiàn)與所有其他語言之間的差距。
如上圖所示，雖然在XQuAD和MLQA等具有挑戰(zhàn)性的任務(wù)上，XLM-R等強大的模型與mBERT相比，可以顯著縮小差距，但它們在句法結(jié)構(gòu)化預(yù)測任務(wù)上的影響不盡相同。
在分類任務(wù)上，轉(zhuǎn)移學(xué)習(xí)的差距最小，說明在這些任務(wù)上的進步空間可能較小。
機器翻譯的使用雖然縮小了所有任務(wù)之間的差距?？傮w而言，所有方法都存在很大的差距，這表明跨語言遷移工作的潛力很大。
作者進行了一系列的分析，研究了當(dāng)前能夠達到SOTA的跨語言模型的局限性。具體分析包括五個部分：
圖注：XLM-R在XTREME任務(wù)中所有語言在各個任務(wù)中的表現(xiàn)概述
最佳zero-shot模式分析：如上圖所示，這部分主要說明為什么在不同的任務(wù)和語言中評估通用的多語言表征非常重要。
與訓(xùn)練前數(shù)據(jù)大小的相關(guān)性：如上圖模型性能與各語言中維基百科文章數(shù)量的皮爾森相關(guān)系數(shù)ρ，表明除了結(jié)構(gòu)化預(yù)測任務(wù)的任務(wù)外，多數(shù)任務(wù)的相關(guān)系數(shù)都很高。這意味著當(dāng)前的模型無法充分利用從預(yù)訓(xùn)練數(shù)據(jù)中提取的信息來轉(zhuǎn)移到句法任務(wù)。
語言特點分析：如上圖，根據(jù)不同語系和編寫腳本分析結(jié)果。對于mBERT，印歐語系的分支(如日耳曼語、羅曼語和斯拉夫語)的遷移性能最佳。相比之下，尼日爾-剛果和克拉-傣語等低資源語系的跨語言遷移表現(xiàn)仍然較低。另外，不同的流行腳本，如拉丁文和表意文字，在句法任務(wù)上的表現(xiàn)是不同的。
跨語言的錯誤：因為對于其他測試集是從英語翻譯過來的XNLI和XQuAD，這部分作者分析了這些方法在源語言和目標語言中是否會犯同樣類型的錯誤。更為具體一些是探討了英語中正確和錯誤預(yù)測的例子是否在其他語言中被正確預(yù)測。結(jié)果是在XNLI和XQuAD數(shù)據(jù)集上有不同答案。
推廣到不可見的標簽組合和實體：這部分主要分析了結(jié)構(gòu)化預(yù)測任務(wù)遷移不成功的原因。結(jié)論是該模型可能難以推廣到更具目標語言特征的實體。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
