0
雷鋒網按：本文作者xyzh，本文整理自作者在知乎問題《各種機器學習的應用場景分別是什么？》下的回答， 雷鋒網獲其授權發(fā)布。
關于這個問題我今天正好看到了這個文章，講的正是各個算法的優(yōu)劣分析，很中肯。
正好14年的時候有人做過一個實驗[1]，比較在不同數(shù)據(jù)集上（121個），不同的分類器（179個）的實際效果。
論文題為：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
實驗時間有點早，我嘗試著結合我自己的理解、一些最近的實驗，來談一談吧。主要針對分類器(Classifier)。
寫給懶得看的人：
沒有最好的分類器，只有最合適的分類器。
隨機森林平均來說最強，但也只在9.9%的數(shù)據(jù)集上拿到了第一，優(yōu)點是鮮有短板。
SVM的平均水平緊隨其后，在10.7%的數(shù)據(jù)集上拿到第一。
神經網絡（13.2%）和boosting（~9%）表現(xiàn)不錯。
數(shù)據(jù)維度越高，隨機森林就比AdaBoost強越多，但是整體不及SVM[2]。
數(shù)據(jù)量越大，神經網絡就越強。
典型的例子是KNN，它的思路就是——對于待判斷的點，找到離它最近的幾個數(shù)據(jù)點，根據(jù)它們的類型決定待判斷點的類型。
它的特點是完全跟著數(shù)據(jù)走，沒有數(shù)學模型可言。
適用情景：
需要一個特別容易解釋的模型的時候。
比如需要向用戶解釋原因的推薦算法。
典型的例子是Naive Bayes，核心思路是根據(jù)條件概率計算待判斷點的類型。
是相對容易理解的一個模型，至今依然被垃圾郵件過濾器使用。
適用情景：
需要一個比較容易解釋，而且不同維度之間相關性較小的模型的時候。
可以高效處理高維數(shù)據(jù)，雖然結果可能不盡如人意。
決策樹 (Decision tree)
決策樹的特點是它總是在沿著特征做切分。隨著層層遞進，這個劃分會越來越細。
雖然生成的樹不容易給用戶看，但是數(shù)據(jù)分析的時候，通過觀察樹的上層結構，能夠對分類器的核心思路有一個直觀的感受。
舉個簡單的例子，當我們預測一個孩子的身高的時候，決策樹的第一層可能是這個孩子的性別。男生走左邊的樹進行進一步預測，女生則走右邊的樹。這就說明性別對身高有很強的影響。
適用情景：
因為它能夠生成清晰的基于特征(feature)選擇不同預測結果的樹狀結構，數(shù)據(jù)分析師希望更好的理解手上的數(shù)據(jù)的時候往往可以使用決策樹。
同時它也是相對容易被攻擊的分類器[3]。這里的攻擊是指人為的改變一些特征，使得分類器判斷錯誤。常見于垃圾郵件躲避檢測中。因為決策樹最終在底層判斷是基于單個條件的，攻擊者往往只需要改變很少的特征就可以逃過監(jiān)測。
受限于它的簡單性，決策樹更大的用處是作為一些更有用的算法的基石。
隨機森林 (Random forest)
提到決策樹就不得不提隨機森林。顧名思義，森林就是很多樹。
嚴格來說，隨機森林其實算是一種集成算法。它首先隨機選取不同的特征(feature)和訓練樣本(training sample)，生成大量的決策樹，然后綜合這些決策樹的結果來進行最終的分類。
隨機森林在現(xiàn)實分析中被大量使用，它相對于決策樹，在準確性上有了很大的提升，同時一定程度上改善了決策樹容易被攻擊的特點。
適用情景：
數(shù)據(jù)維度相對低（幾十維），同時對準確性有較高要求時。
因為不需要很多參數(shù)調整就可以達到不錯的效果，基本上不知道用什么方法的時候都可以先試一下隨機森林。
SVM (Support vector machine)
SVM的核心思想就是找到不同類別之間的分界面，使得兩類樣本盡量落在面的兩邊，而且離分界面盡量遠。
最早的SVM是平面的，局限很大。但是利用核函數(shù)(kernel function)，我們可以把平面投射(mapping)成曲面，進而大大提高SVM的適用范圍。
提高之后的SVM同樣被大量使用，在實際分類中展現(xiàn)了很優(yōu)秀的正確率。
適用情景：
SVM在很多數(shù)據(jù)集上都有優(yōu)秀的表現(xiàn)。
相對來說，SVM盡量保持與樣本間距離的性質導致它抗攻擊的能力更強。
和隨機森林一樣，這也是一個拿到數(shù)據(jù)就可以先嘗試一下的算法。
邏輯斯蒂回歸這個名字太詭異了，我就叫它LR吧，反正討論的是分類器，也沒有別的方法叫LR。顧名思義，它其實是回歸類方法的一個變體。
回歸方法的核心就是為函數(shù)找到最合適的參數(shù)，使得函數(shù)的值和樣本的值最接近。例如線性回歸(Linear regression)就是對于函數(shù)f(x)=ax+b，找到最合適的a,b。
LR擬合的就不是線性函數(shù)了，它擬合的是一個概率學中的函數(shù)，f(x)的值這時候就反映了樣本屬于這個類的概率。
適用情景：
LR同樣是很多分類算法的基礎組件，它的好處是輸出值自然地落在0到1之間，并且有概率意義。
因為它本質上是一個線性的分類器，所以處理不好特征之間相關的情況。
雖然效果一般，卻勝在模型清晰，背后的概率學經得住推敲。它擬合出來的參數(shù)就代表了每一個特征(feature)對結果的影響。也是一個理解數(shù)據(jù)的好工具。
判別分析 (Discriminant analysis)
判別分析主要是統(tǒng)計那邊在用，所以我也不是很熟悉，臨時找統(tǒng)計系的閨蜜補了補課。這里就現(xiàn)學現(xiàn)賣了。
判別分析的典型例子是線性判別分析(Linear discriminant analysis)，簡稱LDA。
（這里注意不要和隱含狄利克雷分布(Latent Dirichlet allocation)弄混，雖然都叫LDA但說的不是一件事。）
LDA的核心思想是把高維的樣本投射(project)到低維上，如果要分成兩類，就投射到一維。要分三類就投射到二維平面上。這樣的投射當然有很多種不同的方式，LDA投射的標準就是讓同類的樣本盡量靠近，而不同類的盡量分開。對于未來要預測的樣本，用同樣的方式投射之后就可以輕易地分辨類別了。
使用情景：
判別分析適用于高維數(shù)據(jù)需要降維的情況，自帶降維功能使得我們能方便地觀察樣本分布。它的正確性有數(shù)學公式可以證明，所以同樣是很經得住推敲的方式。
但是它的分類準確率往往不是很高，所以不是統(tǒng)計系的人就把它作為降維工具用吧。
同時注意它是假定樣本成正態(tài)分布的，所以那種同心圓形的數(shù)據(jù)就不要嘗試了。
神經網絡現(xiàn)在是火得不行啊。它的核心思路是利用訓練樣本(training sample)來逐漸地完善參數(shù)。還是舉個例子預測身高的例子，如果輸入的特征中有一個是性別（1:男；0:女），而輸出的特征是身高（1:高；0:矮）。那么當訓練樣本是一個個子高的男生的時候，在神經網絡中，從“男”到“高”的路線就會被強化。同理，如果來了一個個子高的女生，那從“女”到“高”的路線就會被強化。
最終神經網絡的哪些路線比較強，就由我們的樣本所決定。
神經網絡的優(yōu)勢在于，它可以有很多很多層。如果輸入輸出是直接連接的，那它和LR就沒有什么區(qū)別。但是通過大量中間層的引入，它就能夠捕捉很多輸入特征之間的關系。卷積神經網絡有很經典的不同層的可視化展示(visulization)，我這里就不贅述了。
神經網絡的提出其實很早了，但是它的準確率依賴于龐大的訓練集，原本受限于計算機的速度，分類效果一直不如隨機森林和SVM這種經典算法。
使用情景：
數(shù)據(jù)量龐大，參數(shù)之間存在內在聯(lián)系的時候。
當然現(xiàn)在神經網絡不只是一個分類器，它還可以用來生成數(shù)據(jù)，用來做降維，這些就不在這里討論了。
Rule-based methods
這個我是真不熟，都不知道中文翻譯是什么。
它里面典型的算法是C5.0 Rules，一個基于決策樹的變體。因為決策樹畢竟是樹狀結構，理解上還是有一定難度。所以它把決策樹的結果提取出來，形成一個一個兩三個條件組成的小規(guī)則。
使用情景：
它的準確度比決策樹稍低，很少見人用。大概需要提供明確小規(guī)則來解釋決定的時候才會用吧。
接下來講的一系列模型，都屬于集成學習算法(Ensemble Learning)，基于一個核心理念：三個臭皮匠，頂個諸葛亮。
翻譯過來就是：當我們把多個較弱的分類器結合起來的時候，它的結果會比一個強的分類器更
典型的例子是AdaBoost。
AdaBoost的實現(xiàn)是一個漸進的過程，從一個最基礎的分類器開始，每次尋找一個最能解決當前錯誤樣本的分類器。用加權取和(weighted sum)的方式把這個新分類器結合進已有的分類器中。
它的好處是自帶了特征選擇（feature selection），只使用在訓練集中發(fā)現(xiàn)有效的特征(feature)。這樣就降低了分類時需要計算的特征數(shù)量，也在一定程度上解決了高維數(shù)據(jù)難以理解的問題。
最經典的AdaBoost實現(xiàn)中，它的每一個弱分類器其實就是一個決策樹。這就是之前為什么說決策樹是各種算法的基石。
使用情景：
好的Boosting算法，它的準確性不遜于隨機森林。雖然在[1]的實驗中只有一個擠進前十，但是實際使用中它還是很強的。因為自帶特征選擇（feature selection）所以對新手很友好，是一個“不知道用什么就試一下它吧”的算法。
同樣是弱分類器組合的思路，相對于Boosting，其實Bagging更好理解。它首先隨機地抽取訓練集（training set），以之為基礎訓練多個弱分類器。然后通過取平均，或者投票(voting)的方式決定最終的分類結果。
因為它隨機選取訓練集的特點，Bagging可以一定程度上避免過渡擬合(overfit)。
在[1]中，最強的Bagging算法是基于SVM的。如果用定義不那么嚴格的話，隨機森林也算是Bagging的一種。
使用情景：
相較于經典的必使算法，Bagging使用的人更少一些。一部分的原因是Bagging的效果和參數(shù)的選擇關系比較大，用默認參數(shù)往往沒有很好的效果。
雖然調對參數(shù)結果會比決策樹和LR好，但是模型也變得復雜了，沒事有特別的原因就別用它了。
這個我是真不知道中文怎么說了。它所做的是在多個分類器的結果上，再套一個新的分類器。
這個新的分類器就基于弱分類器的分析結果，加上訓練標簽(training label)進行訓練。一般這最后一層用的是LR。
Stacking在[1]里面的表現(xiàn)不好，可能是因為增加的一層分類器引入了更多的參數(shù)，也可能是因為有過渡擬合(overfit)的現(xiàn)象。
使用情景：
@莊巖提醒說stacking在數(shù)據(jù)挖掘競賽的網站kaggle上很火，相信參數(shù)調得好的話還是對結果能有幫助的。
這篇文章很好地介紹了stacking的好處。在kaggle這種一點點提升就意味著名次不同的場合下，stacking還是很有效的，但是對于一般商用，它所帶來的提升就很難值回額外的復雜度了。）
最近這個模型還挺流行的，主要是用來合并神經網絡的分類結果。我也不是很熟，對神經網絡感興趣，而且訓練集異質性（heterogeneity）比較強的話可以研究一下這個。
講到這里分類器其實基本說完了。講一下問題里面其他一些名詞吧。
最大熵模型本身不是分類器，它一般是用來判斷模型預測結果的好壞的。
對于它來說，分類器預測是相當于是：針對樣本，給每個類一個出現(xiàn)概率。比如說樣本的特征是：性別男。我的分類器可能就給出了下面這樣一個概率：高（60%），矮（40%）。
而如果這個樣本真的是高的，那我們就得了一個分數(shù)60%。最大熵模型的目標就是讓這些分數(shù)的乘積盡量大。
LR其實就是使用最大熵模型作為優(yōu)化目標的一個算法[4]。
就像最大熵模型一樣，EM不是分類器，而是一個思路。很多算法都是基于這個思路實現(xiàn)的。
@劉奕馳 已經講得很清楚了，我就不多說了。
隱馬爾科夫 (Hidden Markov model)
這是一個基于序列的預測方法，核心思想就是通過上一個（或幾個）狀態(tài)預測下一個狀態(tài)。
之所以叫“隱”馬爾科夫是因為它的設定是狀態(tài)本身我們是看不到的，我們只能根據(jù)狀態(tài)生成的結果序列來學習可能的狀態(tài)。
適用場景：
可以用于序列的預測，可以用來生成序列。
條件隨機場 (Conditional random field)
典型的例子是linear-chain CRF。
具體的使用@Aron有講，我就不獻丑了，因為我從來沒用過這個。
[1]: Do we need hundreds of classifiers to solve real world classification problems.
Fernández-Delgado, Manuel, et al. J. Mach. Learn. Res 15.1 (2014)
[2]: An empirical evaluation of supervised learning in high dimensions.
Rich Caruana, Nikos Karampatziakis, and Ainur Yessenalina. ICML '08
[3]: Man vs. Machine: Practical Adversarial Detection of Malicious Crowdsourcing Workers
Wang, G., Wang, T., Zheng, H., & Zhao, B. Y. Usenix Security'14
[4]: http://www.win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
