由中國(guó)人工智能協(xié)會(huì)、深圳羅湖區(qū)人民政府主辦的「CCAI 2018 中國(guó)人工智能大會(huì)」于 7 月 28-29 日在深圳召開(kāi)。

作為第二天的大會(huì)嘉賓，美國(guó)伊利諾伊大學(xué)香檳分校（UIUC）計(jì)算機(jī)系教授韓家煒圍繞《基于海量文本數(shù)據(jù)的結(jié)構(gòu)化知識(shí)抽取：數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和自然語(yǔ)言處理的融合技術(shù)》分享了他在數(shù)據(jù)挖掘領(lǐng)域的相關(guān)研究。

韓家煒認(rèn)為要想將現(xiàn)有的無(wú)結(jié)構(gòu)的 Big Data 變成有用的 Knowledge，首先要做的就是將數(shù)據(jù)結(jié)構(gòu)化。他提出兩種結(jié)構(gòu)化數(shù)據(jù)的形式，一種是異質(zhì)網(wǎng)絡(luò)（Heterogeneous Network），另一種是多維文本立方體（Multi-dimensional Text Cube）。由這種結(jié)構(gòu)化數(shù)據(jù)生成 Knowledge 已經(jīng)證明是很強(qiáng)大的，但是如何將原始無(wú)結(jié)構(gòu)的數(shù)據(jù)變成有結(jié)構(gòu)的數(shù)據(jù)（Network 或 Text Cube）則是非常困難的。

在 Network/Text Cube 到 Knowledge 的問(wèn)題上，韓家煒等人已經(jīng)做了很多研究工作，也已經(jīng)由此獲得了很多獎(jiǎng)項(xiàng)；在無(wú)結(jié)構(gòu)文本數(shù)據(jù)到有結(jié)構(gòu) Network/Text Cube 的路上他們也做出了許多嘗試和成果。

會(huì)后，雷鋒網(wǎng) AI 科技評(píng)論與韓家煒教授進(jìn)行了一次交流，圍繞他的治學(xué)理念及對(duì)數(shù)據(jù)挖掘做了探討。

韓家煒，美國(guó)伊利諾伊大學(xué)香檳分校（UIUC）計(jì)算機(jī)系教授，IEEE 和 ACM Fellow，曾任美國(guó) ARL 資助的信息網(wǎng)絡(luò)聯(lián)合研究中心主任。曾擔(dān)任 KDD、SDM 和 ICDM 等國(guó)際知名會(huì)議的程序委員會(huì)主席，創(chuàng)辦了 ACM TKDD 學(xué)報(bào)并任主編。在數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)和信息網(wǎng)絡(luò)領(lǐng)域發(fā)表論文 600 余篇。出版了數(shù)據(jù)挖掘?qū)Ｖ禗ata Mining: Concepts and Techniques》，成為數(shù)據(jù)挖掘國(guó)內(nèi)外經(jīng)典教材。曾獲 IEEE ICDM 2002 杰出貢獻(xiàn)獎(jiǎng)、ACM SIGKDD 2004 最佳創(chuàng)新獎(jiǎng)、 2009 年 IEEE 麥克道爾獎(jiǎng)（the McDowell Award）。在谷歌學(xué)術(shù)的 H-index 中，名列全球計(jì)算機(jī)科學(xué)領(lǐng)域高引作者前三。

以下是雷鋒網(wǎng) AI 科技評(píng)論與韓家煒教授的訪談內(nèi)容整理。本文得到了韓家煒先生的親自指正，在此致以衷心感謝。同時(shí)，特別鳴謝賈偉對(duì)本文做出的貢獻(xiàn)。

數(shù)據(jù)挖掘這個(gè)領(lǐng)域本身比較廣泛，主要體現(xiàn)在如下幾個(gè)方面。

第一，數(shù)據(jù)的類型非常多。數(shù)據(jù)里面有結(jié)構(gòu)化的、比較簡(jiǎn)單的數(shù)據(jù)，也有非結(jié)構(gòu)化的數(shù)據(jù)，如文本數(shù)據(jù)。而不同的數(shù)據(jù)，不同應(yīng)用，需要不同的方法來(lái)挖它，所以可用的方法也非常多，數(shù)據(jù)挖掘本身就發(fā)明了很多算法，然后還要應(yīng)用一些統(tǒng)計(jì)的方法，或者是機(jī)器學(xué)習(xí)的方法。

第二，數(shù)據(jù)挖掘的相關(guān)課題比較多，屬于比較開(kāi)放的領(lǐng)域，而應(yīng)用的方法也比較廣泛。也就是說(shuō)，我們主要考慮方法的適用性和它的有效性，就是對(duì)大量的數(shù)據(jù)，挖掘的效率是不是能夠比較快。因此我們并不拘泥某些固定的方法，只要將有效數(shù)據(jù)抓取出來(lái)，就是最有效的方法。

數(shù)據(jù)挖掘從某種程度上，可以幫助我們更好地重新理解，或者說(shuō)認(rèn)識(shí)這個(gè)世界。但比較大的區(qū)別之處在于，有些研究可能只要做一兩個(gè)實(shí)驗(yàn)就可以把一些規(guī)律找到；而數(shù)據(jù)挖掘是在假設(shè)這個(gè)數(shù)據(jù)量非常大的前提下做研究的，而且那個(gè)規(guī)律并不是非常明顯，那么我們就從里面尋找一些相應(yīng)的規(guī)律。

目前數(shù)據(jù)挖掘領(lǐng)域有很多值得研究的方向，但可能從我們團(tuán)隊(duì)的角度來(lái)說(shuō)，要解決的是一些比較大一點(diǎn)、比較通用的問(wèn)題，所以我們最近的方向，就是從無(wú)結(jié)構(gòu)文本里面挖掘相應(yīng)的結(jié)構(gòu)。

我是 1979 年中美剛建交的時(shí)候去美國(guó)讀研究生，當(dāng)時(shí)國(guó)內(nèi)基本沒(méi)有大學(xué)有計(jì)算機(jī)系，去海外留學(xué)的中國(guó)人基本都是從零開(kāi)始學(xué)計(jì)算機(jī)。當(dāng)時(shí)我學(xué)的是數(shù)據(jù)庫(kù)方面的東西。

從整個(gè)大環(huán)境來(lái)看，數(shù)據(jù)庫(kù)當(dāng)時(shí)是一個(gè)非常熱門(mén)的研究方向，很多公司都在用它，而且從工藝上來(lái)說(shuō)，關(guān)系數(shù)據(jù)庫(kù)已經(jīng)是一個(gè)比較成熟的、產(chǎn)品化的系統(tǒng)。

而從研究層面來(lái)看，我主要的研究方向是用 expert knowledge 去擴(kuò)展數(shù)據(jù)庫(kù)，當(dāng)時(shí)叫做 deductive database（演繹數(shù)據(jù)庫(kù)），應(yīng)用專家給出相應(yīng)的 rule，發(fā)展 deductive database 的方法去找一些新的知識(shí)。如果要將數(shù)據(jù)變成知識(shí)，或是將數(shù)據(jù)變得真正有用，人工智能的作用還是非常重要的，因此我在 PhD 時(shí)的研究方向?qū)嶋H上做的就是數(shù)據(jù)庫(kù)（database）和 AI 的結(jié)合。

但是我后來(lái)發(fā)現(xiàn)，由于 rule 都是專家來(lái)定義或制定的，實(shí)際上存在它的局限性，無(wú)法真正從數(shù)據(jù)中挖掘相應(yīng)的信息，因此產(chǎn)生了「從數(shù)據(jù)中尋找 rule」的研究方向轉(zhuǎn)變的想法，并在畢業(yè)后任教期間考慮從數(shù)據(jù)挖掘的角度來(lái)尋找相應(yīng)的知識(shí)和 pattern。

當(dāng)時(shí)剛開(kāi)始意識(shí)到數(shù)據(jù)挖掘重要性的時(shí)候，關(guān)注的人不是特別多。原來(lái)做數(shù)據(jù)庫(kù)的人，還有原來(lái)做機(jī)器學(xué)習(xí)的人，都還在自己原來(lái)的領(lǐng)域里做研究。當(dāng)時(shí)最早的除了我，還有 Rakesh Agrawal 和 Christos Faloutsos，這幾個(gè)人也就是當(dāng)時(shí)比較中堅(jiān)的力量。

最早的 KDD workshop 要從 1989 年開(kāi)始，當(dāng)時(shí)是 IJCAI 旗下的一個(gè) workshop，去的也就 20 至 30 個(gè)人，工業(yè)界和學(xué)術(shù)界各一半。一天的會(huì)下來(lái)，大家都覺(jué)得數(shù)據(jù)挖掘是一個(gè)非常好、非常重要的方向。后來(lái)再開(kāi)這個(gè) workshop，參與的人就越來(lái)越多了，最終我們決定在 1995 年舉辦第一屆 KDD（KDD95）。

我自己的一個(gè)親身感受是，在 90 年代早期，中國(guó)乃至整個(gè)亞洲的論文幾乎沒(méi)能被頂級(jí)會(huì)議錄用，能有一篇、兩篇文章就很不錯(cuò)了。但如今的情況已經(jīng)很不一樣，即使是來(lái)自北美或是歐洲的論文，很多也是中國(guó)學(xué)生寫(xiě)的。只過(guò)了 20、30 年，情況已經(jīng)今非昔比。中國(guó)人在科研力量中所起的作用，已經(jīng)變成了重要力量。

這一轉(zhuǎn)變主要是因?yàn)橹袊?guó)每年有很多學(xué)生去留學(xué)。一個(gè)國(guó)家的發(fā)展，必須和世界各國(guó)進(jìn)行交流，學(xué)習(xí)對(duì)方先進(jìn)的東西。在美國(guó)高校做科研的中國(guó)學(xué)生也都比較聰明和勤奮，對(duì)于美國(guó)的科研其實(shí)是增加了很大的力量；同時(shí)在學(xué)成之后，也有很多中國(guó)留學(xué)生在北美和歐洲任教或做科研，不時(shí)回到國(guó)內(nèi)交流或是講學(xué)，這個(gè)交流本身就促進(jìn)了新一代學(xué)生的培養(yǎng)。

不過(guò)，中國(guó)學(xué)生和美國(guó)學(xué)生的不同之處在于，前者可能有更多就業(yè)和未來(lái)規(guī)劃的考慮，而美國(guó)學(xué)生更多是基于興趣去念的 PhD，他們大部分還是真正對(duì)技術(shù)有鉆研精神的。

我自己在輔導(dǎo)學(xué)生中，總結(jié)了一個(gè)「Three R」（三個(gè)真實(shí)）給學(xué)生們。什么叫「Three R」呢？

第一個(gè)是 real data。好多人只是抓的小量 data 在做。我和學(xué)生們說(shuō)，如果要解決真正的問(wèn)題，你要找大量的、真實(shí)的數(shù)據(jù)來(lái)做，這樣你做出來(lái)的算法，才有影響力。

第二個(gè)是 real problem。就是找不少人或?qū)嵺`中認(rèn)為是重要的問(wèn)題去做，而不是你自己坐在書(shū)桌前拍腦袋想出來(lái)的、不實(shí)際的問(wèn)題。

第三個(gè)是 real solution。做的工作要真正 work 才有意義。

所以學(xué)生們?nèi)绻苷嬲凑铡窽hree R」去找 research topic，最后的工作都算是比較成功，就是他們確確實(shí)實(shí)用的真實(shí)數(shù)據(jù)，別人一看，也覺(jué)得這些數(shù)據(jù)和問(wèn)題是非常重要的，不是自己憑空瞎編出來(lái)的。

而從研究的角度來(lái)看，也是同樣的道理。

首先，你還是要找到真正的、沒(méi)有被解決的問(wèn)題。比如拿不到 facebook 或其它 social network 的真實(shí)數(shù)據(jù)，卻要做 social network 的數(shù)據(jù)挖掘研究，那么這個(gè)工作即不真實(shí)，也沒(méi)有什么用處。

其次，我最不喜歡的就是跟風(fēng)研究。我對(duì)學(xué)生講，別人能做，不見(jiàn)得你就一定能做。有的人跟在別人后面做研究，可能看到這個(gè)論文寫(xiě)得不錯(cuò)，就照著同一個(gè)論文來(lái)做。還是用 facebook 的例子來(lái)說(shuō)，相比之下，公司里頭有一群頂級(jí) PhD 在做 social network，又有數(shù)據(jù)，又有人力，你怎么做得過(guò)人家？

沒(méi)有真正的 data，沒(méi)有真正的問(wèn)題，一個(gè)人在學(xué)校做這樣的研究，純粹是浪費(fèi)時(shí)間。但有一些其他問(wèn)題，公司不能通過(guò)解決這個(gè)問(wèn)題去賺錢(qián)，可能他們不會(huì)去做，但并不見(jiàn)得這個(gè)問(wèn)題就不重要，就沒(méi)有研究?jī)r(jià)值。比如醫(yī)學(xué)領(lǐng)域，我們之前就從 PubMed（一個(gè)醫(yī)學(xué)文獻(xiàn)庫(kù)）中抓取了「心血管疾病」相關(guān)的十年的數(shù)據(jù)，大約有 50 萬(wàn)篇論文。圍繞這 50 萬(wàn)篇論文、6 類心臟病以及醫(yī)學(xué)教授們列出的 250 種蛋白質(zhì)，我們很快就得到了針對(duì)每一類心臟病的相關(guān)蛋白質(zhì)排序，可以給醫(yī)生們提供重要的線索，讓他們集中精力針對(duì)這些蛋白質(zhì)去做臨床試驗(yàn)，這大大地促進(jìn)了他們的研究。這就是有價(jià)值、有意義的工作。

近幾年來(lái)我們一直在從無(wú)結(jié)構(gòu)文本中挖掘結(jié)構(gòu)，從真實(shí)的數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)，再到有用的知識(shí)，這仍然是一條很長(zhǎng)的路。確實(shí)這還是一個(gè)比較大的問(wèn)題。目前的機(jī)器學(xué)習(xí)需要依賴大量的 label，不可能每個(gè)領(lǐng)域都找到相應(yīng)的專家去做標(biāo)記，這個(gè)問(wèn)題是一定要解決的。

標(biāo)注數(shù)據(jù)的終究是人。無(wú)可避免地，它有主觀和偏見(jiàn)的成分在。但人標(biāo)注出來(lái)的數(shù)據(jù)，真的有意義嗎？現(xiàn)在用大量的人力做標(biāo)注，要花多少錢(qián)？你從那么多文本里面總結(jié)，不用經(jīng)過(guò)標(biāo)注，你也能知道特朗普是美國(guó)總統(tǒng)。你花了錢(qián)，讓人力去做這樣的數(shù)據(jù)標(biāo)注，純粹是 waste time，waste money。文本那么多，學(xué)科那么龐雜，特別是有些偏門(mén)學(xué)科，根本找不到人來(lái)標(biāo)注，或者成本特別高，因此用人力來(lái)標(biāo)注不可能滿足所有的情況。

仔細(xì)想想，我們有那么多的文本，用數(shù)據(jù)挖掘也能把現(xiàn)在的標(biāo)簽推導(dǎo)出來(lái)，而且有時(shí)候還能呈現(xiàn)不同的百分比和概率，準(zhǔn)確率甚至比人工標(biāo)注還強(qiáng)。

所以我就和學(xué)生講，不要迷信那些標(biāo)注，如果可以從你的 data 中把數(shù)據(jù)標(biāo)注出來(lái)，那么人工的標(biāo)注是沒(méi)有用的。與其用一個(gè)可能會(huì)有偏差的人工標(biāo)注，不如就從大量的數(shù)據(jù)中，用一個(gè)科學(xué)的方法去標(biāo)注這些數(shù)據(jù)，可能更有價(jià)值一些。

深度學(xué)習(xí)在今天有它的意義所在，但我覺(jué)得不要迷信某一個(gè)「時(shí)髦」的算法。第一，不要拒絕任何新的東西，人家的工作做得好，你就應(yīng)該學(xué)它，把好的內(nèi)容拿來(lái)用。第二，不要迷信某一個(gè)東西。如果想真正解決一個(gè)問(wèn)題，自己就要先想，如果我要解決這個(gè)問(wèn)題，我要用什么樣的方法。想完了，你再看別人的論文用的是什么方法，這樣下來(lái)，你就能夠以一個(gè)比較批判的態(tài)度來(lái)看論文，而不是隨便就把人家的論文奉成神了，說(shuō)不定，你的辦法比他的還好，那就又有一篇 paper 可以發(fā)了（笑）。

雷鋒網(wǎng)AI科技評(píng)論獨(dú)家報(bào)道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。