國(guó)內(nèi)首次零樣本學(xué)習(xí)算法大賽開(kāi)啟報(bào)名，零樣本數(shù)據(jù)集免費(fèi)下載

本文作者：楊文

2018-03-22 10:05

導(dǎo)語(yǔ)：零樣本學(xué)習(xí)算法大賽開(kāi)啟報(bào)名

雷鋒網(wǎng) AI 研習(xí)社按：去年，由創(chuàng)新工場(chǎng)、搜狗、頭條聯(lián)合主辦的 AI Challenger（簡(jiǎn)稱(chēng) AIC）全球 AI 挑戰(zhàn)賽吸引了來(lái)自 65 個(gè)國(guó)家 8892 支團(tuán)隊(duì)參賽，經(jīng)過(guò)激烈的角逐，最終勝出的團(tuán)隊(duì)共同瓜分了大賽提供的百萬(wàn)獎(jiǎng)金。

2018，AIC 全新賽季開(kāi)啟預(yù)熱。3 月 22 日起，零樣本學(xué)習(xí)（zero-shot learning）競(jìng)賽正式在線開(kāi)啟比賽。

這次的零樣本學(xué)習(xí)競(jìng)賽同樣發(fā)布大規(guī)模圖像屬性數(shù)據(jù)集，包含 78017 張圖片、230 個(gè)類(lèi)別、359 種屬性。與目前主流的用于 zero-shot learning 的數(shù)據(jù)集相比，圖片量更大、屬性更豐富、類(lèi)別與 ImageNet 重合度更低。

零樣本學(xué)習(xí)（zero-shot learning）

什么是零樣本學(xué)習(xí)？簡(jiǎn)單來(lái)說(shuō)就是識(shí)別從未見(jiàn)過(guò)的數(shù)據(jù)類(lèi)別，即訓(xùn)練的分類(lèi)器不僅僅能夠識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類(lèi)別，還可以對(duì)于來(lái)自未見(jiàn)過(guò)的類(lèi)別的數(shù)據(jù)進(jìn)行區(qū)分。例如識(shí)別一張貓的圖片，但在訓(xùn)練時(shí)沒(méi)有訓(xùn)練到貓的圖片和對(duì)應(yīng)貓的標(biāo)簽。那么就可以通過(guò)比較這張貓的圖片和訓(xùn)練過(guò)程中的哪些圖片相近，進(jìn)而找到相近圖片的標(biāo)簽，再通過(guò)這些相近標(biāo)簽去找到貓的標(biāo)簽。本質(zhì)上，零樣本學(xué)習(xí)屬于遷移學(xué)習(xí)的一種。

零樣本學(xué)習(xí)的意義也顯而易見(jiàn)：在傳統(tǒng)圖像識(shí)別任務(wù)中，訓(xùn)練階段和測(cè)試階段的類(lèi)別是相同的，但每次為了識(shí)別新類(lèi)別的樣本需要在訓(xùn)練集中加入這種類(lèi)別的數(shù)據(jù)。一些類(lèi)別的樣本收集代價(jià)大，即使收集到足夠的訓(xùn)練樣本，也需要對(duì)整個(gè)模型進(jìn)行重新訓(xùn)練。這都會(huì)加大識(shí)別系統(tǒng)的成本，零樣本學(xué)習(xí)方法便能很好的解決這個(gè)問(wèn)題。

零樣本學(xué)習(xí)研究現(xiàn)狀

早期的零樣本學(xué)習(xí)研究可以追溯到 2008 年。那時(shí)，Larochelle 等人針對(duì)字符分類(lèi)問(wèn)題提出了零樣本學(xué)習(xí)（zero shot learning）方法，并且識(shí)別準(zhǔn)確率達(dá)到了 60%。

2009 年 Lampert 等人提出了 Animals with Attributes 數(shù)據(jù)集和經(jīng)典的基于屬性學(xué)習(xí)的算法，才算真正打開(kāi)零樣本學(xué)習(xí)的關(guān)注度。

2013 年，發(fā)表在 NIPS 上的論文《DeViSE: A Deep Visual-Semantic Embedding Model》，解決了如何將已有的圖像分類(lèi)模型應(yīng)用到訓(xùn)練中未涉及到的圖像分類(lèi)中。

2014 年，在 ICLR 2014 上的發(fā)表的《Zero-Shot Learning by Convex Combination of Semantic Embeddings》繼承了前人研究方法中的主要思想（CNN+word2vec），但使用了更簡(jiǎn)單的方法，從而保留了整個(gè) CNN 結(jié)構(gòu)，且不需要 linear transformation。

之后，發(fā)表在 ICCV 2015 上的《Objects2action: Classifying and localizing actions without any video example》將零樣本學(xué)習(xí)研究又向前推動(dòng)了一步。

如果讀了上面提到的三篇論文，大概會(huì)對(duì)零樣本學(xué)習(xí)的研究方法有所了解。但最經(jīng)典的零樣本學(xué)習(xí)方法是Lampert發(fā)表在CVPR 2009上的一篇論文《Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer 》提出的直接屬性預(yù)測(cè)模型(DAP)。

國(guó)內(nèi)首次零樣本學(xué)習(xí)算法大賽開(kāi)啟報(bào)名，零樣本數(shù)據(jù)集免費(fèi)下載

模型中屬性訓(xùn)練是在傳統(tǒng)特征提取的基礎(chǔ)上的進(jìn)行的，首先使用顏色直方圖、局部自相似直方圖、SIFT 和 PHOG 等 6 種方法來(lái)提取樣本圖像的底層特征，這幾種特征包含了圖像的顏色、形狀和紋理等方面，所以通過(guò)這種特征提取方法得到的特征可以良好的表達(dá)圖像中的信息。這幾種圖像特征不僅適用與線性分類(lèi)器，而且在非線性分類(lèi)器中也能達(dá)到良好的表現(xiàn)。在 DAP 方法中，通過(guò)上述的特征提取方法得到樣本的圖像特征后，將特征用于屬性分類(lèi)器的訓(xùn)練，然后將訓(xùn)練得出的模型用于屬性的預(yù)測(cè)，最后采用貝葉斯方法推算測(cè)試樣本的類(lèi)別。近年來(lái)深度特征的使用大幅提高了零樣本識(shí)別的準(zhǔn)確率。

零樣本學(xué)習(xí)潛在應(yīng)用場(chǎng)景

零樣本學(xué)習(xí)是希望借助輔助知識(shí)（如屬性、詞向量、文本描述等）學(xué)習(xí)從未見(jiàn)過(guò)的新概念。因此，在一些場(chǎng)景下，如細(xì)粒度物體識(shí)別、任意語(yǔ)言之間的翻譯等，難以獲得足夠的有標(biāo)注的數(shù)據(jù)來(lái)訓(xùn)練識(shí)別或預(yù)測(cè)模型可以嘗試使用零樣本學(xué)習(xí)來(lái)解決。

物體識(shí)別

例如，模型在「馬」、「?！沟阮?lèi)別上訓(xùn)練過(guò)，因此模型能夠準(zhǔn)確地識(shí)別「馬」、「?！沟膱D片。當(dāng)模型遇到「象」這個(gè)新類(lèi)別，由于從未見(jiàn)過(guò)，模型無(wú)法作出判斷。傳統(tǒng)解決方案是收集大量「象」的圖片，與原數(shù)據(jù)集一起重新訓(xùn)練。這種解決方案的代價(jià)高、速度慢。然而，人類(lèi)能夠從描述性知識(shí)中快速學(xué)習(xí)一個(gè)新概念。例如，一個(gè)兒童即使沒(méi)有見(jiàn)過(guò)「象」，當(dāng)提供他文本描述「象是一種的大型食草類(lèi)動(dòng)物，有長(zhǎng)鼻和長(zhǎng)牙」。兒童能夠根據(jù)描述快速學(xué)會(huì)「象」這一新類(lèi)別，并能在第一次見(jiàn)到「象」時(shí)識(shí)別出來(lái)。零樣本學(xué)習(xí)與之類(lèi)似，在沒(méi)有任何訓(xùn)練樣本的情況下，借助輔助知識(shí)（如屬性、詞向量、文本描述等）學(xué)習(xí)一些從未見(jiàn)過(guò)的新概念（類(lèi)別）。

語(yǔ)言翻譯

比如說(shuō)要進(jìn)行三種語(yǔ)言之間的翻譯，按照傳統(tǒng)的方法需要分別訓(xùn)練六個(gè)網(wǎng)絡(luò)，在日語(yǔ)和韓語(yǔ)之間沒(méi)有那么多樣本的情況下，訓(xùn)練英語(yǔ)→特征空間→日語(yǔ)，韓語(yǔ)→特征空間→英語(yǔ)這兩個(gè)網(wǎng)絡(luò)，那么就可以自動(dòng)學(xué)會(huì)韓語(yǔ)→特征空間→日語(yǔ)這個(gè)翻譯過(guò)程。

圖像合成

近年來(lái)，對(duì)抗網(wǎng)絡(luò) GAN 被用于圖像合成，取得了以假亂真的效果。但傳統(tǒng)圖像合成僅能合成見(jiàn)過(guò)的類(lèi)別的圖像。零樣本圖像合成希望模型能夠合成從未見(jiàn)過(guò)的類(lèi)別的圖像。目前已有一些算法通過(guò)條件 GAN 網(wǎng)絡(luò)實(shí)現(xiàn)了零樣本圖像合成。

圖像哈希

傳統(tǒng)圖像哈希算法利用一些訓(xùn)練樣本來(lái)學(xué)習(xí)針對(duì)某些類(lèi)別的哈希算法。但這些學(xué)習(xí)到的哈希算法無(wú)法用于新類(lèi)別。零樣本圖像哈希，希望在已知類(lèi)別上學(xué)到哈希算法能夠運(yùn)用到新的未知類(lèi)別上。目前，一些基于屬性的零樣本哈希算法已經(jīng)被提出。

零樣本學(xué)習(xí)競(jìng)賽

最后，歡迎對(duì)零樣本學(xué)習(xí)有研究的同學(xué)們來(lái)參加此次比賽。

國(guó)內(nèi)首次零樣本學(xué)習(xí)算法大賽開(kāi)啟報(bào)名，零樣本數(shù)據(jù)集免費(fèi)下載