微軟研究院在IJCAI2016的Tutorial上講述了自己將深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于不同場景的情況，之前第二部分提到了深度學(xué)習(xí)在統(tǒng)計(jì)機(jī)器翻譯和會(huì)話中的應(yīng)用，本文為第三部分—選中自然語言處理任務(wù)的連續(xù)表達(dá)。

聯(lián)合編譯：Blake、章敏、陳圳

選中自然語言處理任務(wù)的連續(xù)表達(dá)

l  針對信息檢索和個(gè)人排序的深度語義相似模型（DSSM）

l  在連續(xù)語義自然語言處理任務(wù)環(huán)境中進(jìn)行深度強(qiáng)化學(xué)習(xí)

l  針對字幕與視覺問題回答的多元語義學(xué)習(xí)&推理

對自然語言學(xué)習(xí)連續(xù)語義表達(dá)，例如：從原始語句到一個(gè)抽象語義矢量

在許多自然語言處理任務(wù)中Sent2Vec非常重要，它可以處理包括網(wǎng)頁搜索、廣告選取、文本排序、在線推薦、機(jī)器翻譯、知識(shí)架構(gòu)、問題回答、個(gè)性化推薦、圖片搜索、圖標(biāo)注釋等問題。

監(jiān)督問題：

雖然

l  需要學(xué)習(xí)的文本語義是隱藏的

l  且沒有明確的目標(biāo)學(xué)習(xí)模型

l  另外不知如何反向傳播？

但是幸運(yùn)的是

l  我們一般知道倆個(gè)文本是否“相似”

l  這就是語義表達(dá)學(xué)習(xí)的信號(hào)

深度架構(gòu)語義模型

深度架構(gòu)語義模型/深度語義相似模型，將整個(gè)句子轉(zhuǎn)換成連續(xù)語義空間。例如：句子變成矢量

DSSM基于字符（非詞匯）建立實(shí)為了其可拓展性和普適性

DSSM被訓(xùn)練來優(yōu)化相似驅(qū)動(dòng)對象

在字符級(jí)別進(jìn)行編碼，即詞匯散列。

在字符級(jí)別建立的DSSM，將任意詞匯分解成一系列相關(guān)字符，傾向于處理大規(guī)模自然語言任務(wù)。

DSSM：一個(gè)相似驅(qū)動(dòng)Sent2Vec模型

初始化：神經(jīng)網(wǎng)絡(luò)使用隨機(jī)權(quán)重進(jìn)行初始化

訓(xùn)練：在語義矢量之間計(jì)算余弦相似度

運(yùn)行時(shí)間

訓(xùn)練目標(biāo)：基于余弦相似度的損失

使用網(wǎng)頁搜索作為示例：

查詢q與一系列文檔D

目標(biāo)：給定查詢后點(diǎn)擊文檔的可能性

在DSSM中使用卷曲神經(jīng)網(wǎng)絡(luò)

在卷曲層對本地文本進(jìn)行建模

在匯聚層對全局文本進(jìn)行建模

模型在卷曲層捕捉本地本文相關(guān)詞的意義，并學(xué)習(xí)了每個(gè)本地文本相關(guān)詞的嵌入矢量。

CDSSM:在最大匯聚層發(fā)生了什么？

將本地主題聚集起來形成全局化

識(shí)別最大聚集層的主要詞匯/短語

在最大聚集層獲得最活躍的神經(jīng)元詞匯

針對學(xué)習(xí)檢索的DSSM，訓(xùn)練數(shù)據(jù)組搜索記錄中的語義相關(guān)文本組。

實(shí)驗(yàn)設(shè)定

卷曲深度語義模型取得最佳結(jié)果。

語義匹配示例

卷積DSSM:

在卷積隱層一個(gè)接一個(gè)就行編碼

隱層在最后一個(gè)詞匯對整句進(jìn)行語義編碼

通過余弦相似驅(qū)動(dòng)目標(biāo)來訓(xùn)練模型

使用長短期記憶（LSTM）結(jié)果：

LSTM比常規(guī)RNN學(xué)得快得多

LSTM能有效代表使用矢量句子的語義信息

DSSM與Seq2Seq對比

給出一個(gè)特別用戶的文章跨度代表利益實(shí)體，并尋找實(shí)體的補(bǔ)充文件。

學(xué)習(xí)DSSM的語境實(shí)體次序

從網(wǎng)頁瀏覽日志提取標(biāo)簽對，超鏈接指向維基百科P`時(shí)，P`中的H的錨文本，環(huán)境詞匯，文本

語境實(shí)體搜索——實(shí)驗(yàn)設(shè)置：

1.訓(xùn)練/驗(yàn)證數(shù)據(jù)是維基頁面中18M的用戶點(diǎn)擊量

2.評估數(shù)據(jù)：首先采樣10k的網(wǎng)頁文件作為源文件，然后使用文檔中被命名的實(shí)體作為查詢；第三保留100個(gè)返回文件作為目標(biāo)文件，最后手動(dòng)標(biāo)記是否每一個(gè)目標(biāo)文件都可以完好的描述實(shí)體。其中總共有870k標(biāo)簽對。

語境實(shí)體搜索的結(jié)果

一些相關(guān)的工作：

深度CNN文本輸入（文章中主要的分級(jí)任務(wù)）

序列到序列的學(xué)習(xí)；段落矢量（學(xué)習(xí)段落的矢量）

遞歸NN（樹狀結(jié)構(gòu)如分解）

張量積代表（樹狀代表）

樹狀結(jié)構(gòu)LSTM網(wǎng)絡(luò)（樹狀結(jié)構(gòu)LSTM）

強(qiáng)化學(xué)習(xí)的模型——包括環(huán)境狀態(tài)設(shè)置S；行動(dòng)設(shè)置A，以及狀態(tài)之間的轉(zhuǎn)換規(guī)則；狀態(tài)轉(zhuǎn)換的即時(shí)獎(jiǎng)勵(lì)規(guī)則和代理觀察規(guī)則。

Q-learning用于學(xué)習(xí)RL的政策（代理在給定的當(dāng)前狀態(tài)選擇行動(dòng)時(shí)必須遵循的規(guī)則）。其目的是找到MDP的最優(yōu)政策，方法是：學(xué)習(xí)一個(gè)行動(dòng)-價(jià)值函數(shù)，a.k.a。Q-函數(shù)：用于計(jì)算在訓(xùn)練收斂之后的狀態(tài)上，所采取行動(dòng)的期待效用。

最近的成就：深度Q網(wǎng)絡(luò)在玩五個(gè)Atari游戲時(shí)，達(dá)到了人類級(jí)別的性能。其中使用了卷積神經(jīng)網(wǎng)絡(luò)計(jì)算Q（s，a），并利用大的行動(dòng)空間，忽略小的行動(dòng)空間。

最近的成就（續(xù)）：機(jī)器人AlphaGO打敗了世界圍棋冠軍。它與深度Q網(wǎng)絡(luò)設(shè)置類似，忽略小的行動(dòng)空間，它的模型中建立了兩個(gè)CNNs網(wǎng)絡(luò)（policy網(wǎng)絡(luò)和value網(wǎng)絡(luò)）。

語言理解的強(qiáng)化學(xué)習(xí)：以文本串的形式描述狀態(tài)和行動(dòng)，代理通過文本串做出相應(yīng)正確的行動(dòng)（正確指最大化長期獎(jiǎng)勵(lì)）。然后，環(huán)境狀態(tài)轉(zhuǎn)換到新的狀態(tài)，代理也得到即時(shí)獎(jiǎng)勵(lì)。

行動(dòng)空間和狀態(tài)空間都非常的巨大，而且行動(dòng)的特征由無界神經(jīng)語言描述確定。

在NLP任務(wù)中，行動(dòng)空間的特征由神經(jīng)語言決定，它是離散的且近乎于無邊界。我們提出了深度強(qiáng)化相關(guān)網(wǎng)絡(luò)，將狀態(tài)和空間都規(guī)劃到連續(xù)的空間中，其中Q-函數(shù)是狀態(tài)矢量和行為矢量的相關(guān)函數(shù)。

學(xué)習(xí)連續(xù)空間的視覺化，圖2表示了：嵌入狀態(tài)矢量和相關(guān)行動(dòng)矢量后200,400,600訓(xùn)練片段的文本PCA項(xiàng)目。狀態(tài)指：當(dāng)你向前移動(dòng)時(shí)。你周圍的人臉上露出了恐怖的表情，并逃離街道。行動(dòng)1（好的選擇）：向上看，行動(dòng)2（不好的選擇）：無視他人的警告繼續(xù)前進(jìn)。

DRRN和DQN在兩個(gè)文本游戲上的測試結(jié)果（學(xué)習(xí)曲線）

表展示了聚集后Q函數(shù)的示例值，且DRNN很好的概括了無法看見的行為。

人類學(xué)習(xí)處理文本，圖像和聯(lián)合的信息。

圖像側(cè)卷積網(wǎng)絡(luò)實(shí)現(xiàn)過程

語言側(cè)卷積網(wǎng)絡(luò)實(shí)現(xiàn)過程

圖像說明，通過深度學(xué)習(xí)模式檢測圖像中的關(guān)鍵概念，MELE從圖像檢測中產(chǎn)生解釋。檢測單詞后，對其進(jìn)行重新排列組成句子。

CaptionBot示例

說明到回答問題的過程

堆積注意模式推理工程：問題模式，圖像模式，多水平注意模式，回答預(yù)測器。

SAN圖像模式

SAN中問題模式

回答示例

總結(jié)：

本部分主要介紹通過DSSM學(xué)習(xí)Sent2Vec，在連續(xù)空間內(nèi)對NLP任務(wù)進(jìn)行強(qiáng)化學(xué)習(xí)以及視覺語言聯(lián)合表達(dá)學(xué)習(xí)等概念。具體包括：

通過DSSM學(xué)習(xí)Sent2Vec：

DSSM把整個(gè)句子放在連續(xù)的空間內(nèi)

基于特征字符級(jí)別建立DSSM

DSSM直接優(yōu)化目標(biāo)函數(shù)的語義相似度

在連續(xù)空間內(nèi)對NLP任務(wù)進(jìn)行強(qiáng)化學(xué)習(xí)：

使用深度神經(jīng)網(wǎng)絡(luò)把狀態(tài)和行動(dòng)（無邊界NL決定）放入連續(xù)語義空間

在連續(xù)語義空間計(jì)算Q函數(shù)

視覺語言聯(lián)合表達(dá)學(xué)習(xí)：

圖像解釋——CaptopnBot示例

視覺問題回答——關(guān)鍵在于推理

PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

via Microsoft IJCAI2016

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。