0
| 本文作者： camel | 2019-09-11 20:22 |
雷鋒網(wǎng)AI科技評論按：近日，聯(lián)邦學(xué)習(xí)概念的提出者之一 Blaise Agu?ray Arcas 在韓國針對全球做了一個關(guān)于聯(lián)邦學(xué)習(xí)的在線workshop。
Blaise Agu?ray Arcas是2014年加入的谷歌，在此之前在微軟任杰出工程師。加入谷歌后，Blaise領(lǐng)導(dǎo)了谷歌設(shè)備端on-device機器智能（Machine Intelligence）項目，同時負責(zé)基礎(chǔ)研究與新產(chǎn)品研發(fā)工作。
聯(lián)邦學(xué)習(xí)的概念最初是由Blaise等人于2017年在Google AI Blog上發(fā)表的一篇博文中首次提出的。這個概念提出至今不過兩年時間，但對它的研究已然甚囂塵上，幾乎每天都至少會發(fā)布一篇相關(guān)論文，甚至在18年底在港科大楊強教授等人的推動下聯(lián)邦學(xué)習(xí)進入了IEEE國際標準。
聯(lián)邦學(xué)習(xí)之所以能夠在如此短的時間里迅速由一個構(gòu)想變?yōu)橐婚T學(xué)科，主要原因在于聯(lián)邦學(xué)習(xí)技術(shù)作為一種學(xué)習(xí)范式，能夠在確保用戶數(shù)據(jù)隱私的同時解決“數(shù)據(jù)孤島”問題。
不過不同于國內(nèi)主要關(guān)注企業(yè)之間針對“數(shù)據(jù)孤島”的聯(lián)邦學(xué)習(xí)，Blaise 等人（或許也在某種程度上代表谷歌）關(guān)注更多的則是設(shè)備上的聯(lián)邦學(xué)習(xí)，這也是聯(lián)邦學(xué)習(xí)概念被提出之初的應(yīng)用場景。
Blaise五年前加入谷歌后不久，便開始了聯(lián)邦學(xué)習(xí)的研究。直到2017年，當他們?nèi)〉昧艘欢ǖ某晒?，才在博文中進行公布。
一開始，聯(lián)邦學(xué)習(xí)只是一個概念，但很快它便被開發(fā)成人工智能領(lǐng)域中的一個學(xué)科?，F(xiàn)在已經(jīng)有數(shù)千篇的文章在討論聯(lián)邦學(xué)習(xí)。在今年12月份在溫哥華舉行的機器學(xué)習(xí)頂會 NeurIPS上也將會有一個專題專門討論聯(lián)邦學(xué)習(xí)。另一方面，現(xiàn)在也有很多公司也在以此為基礎(chǔ)構(gòu)建他們的模型。這說明整個人工智能社區(qū)已經(jīng)開始重視這種技術(shù)了。
那么為什么聯(lián)邦學(xué)習(xí)能夠如此快速地被整個社區(qū)重視呢？
大家應(yīng)該知道，目前人工智能已經(jīng)發(fā)展到了這樣一個節(jié)點：我們希望能夠用少量的數(shù)據(jù)做更多的工作。這也是當前人工智能的核心話題之一。
神經(jīng)網(wǎng)絡(luò)可以做很多的認知，語言處理、語音合成、圖像識別，甚至還可以下圍棋，這些都能達到人類甚至超越人類的水平，這是過去幾年我們?nèi)〉玫某删?。但是目前的神?jīng)網(wǎng)絡(luò)相比人類還欠缺一點，就是學(xué)習(xí)的效率，它需要大量的數(shù)據(jù)進行訓(xùn)練。所以一些大公司，如谷歌、微軟、亞馬遜等開始提供人工智能服務(wù)時需要收集大量的數(shù)據(jù)，才能去訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)。這也是一直以來，整個社區(qū)所做的事情。
對于設(shè)備端（例如手機）的智能應(yīng)用，通常情況下的模式是，用戶在設(shè)備上產(chǎn)生的數(shù)據(jù)會被上傳到服務(wù)器中，然后由部署在服務(wù)器上的神經(jīng)網(wǎng)絡(luò)模型根據(jù)收集到的大量數(shù)據(jù)進行訓(xùn)練得到一個模型，服務(wù)商根據(jù)這個模型來為用戶提供服務(wù)。隨著用戶設(shè)備端數(shù)據(jù)的不斷更新并上傳到服務(wù)器，服務(wù)器將根據(jù)這些更新數(shù)據(jù)來更新模型。很明顯這是一種集中式的模型訓(xùn)練方法。
然而這種方式存在幾個問題：1）無法保證用戶的數(shù)據(jù)隱私，用戶使用設(shè)備過程中產(chǎn)生的所有數(shù)據(jù)都將被服務(wù)商所收集；2）難以克服網(wǎng)絡(luò)延遲所造成的卡頓，這在需要實時性的服務(wù)（例如輸入法）中尤其明顯。
Blaise等人便想，是否可以通過做一個大型的分布式的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練框架，讓用戶數(shù)據(jù)不出本地（在自己的設(shè)備中進行訓(xùn)練）的同時也能獲得相同的服務(wù)體驗。
解決之道便是：上傳權(quán)重，而非數(shù)據(jù)。
我們知道神經(jīng)網(wǎng)絡(luò)模型是由不同層的神經(jīng)元之間連接構(gòu)成的，層與層之間的連接則是通過權(quán)重實現(xiàn)的，這些權(quán)重決定了神經(jīng)網(wǎng)絡(luò)能夠做什么：一些權(quán)重是用來區(qū)分貓和狗的；另一組則可以區(qū)分桌子和椅子。從視覺識別到音頻處理都是由權(quán)重來決定的。神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練本質(zhì)上就是在訓(xùn)練這些權(quán)重。
那么Blaise提出的設(shè)備端聯(lián)邦學(xué)習(xí)，不再是讓用戶把數(shù)據(jù)發(fā)送到服務(wù)器，然后在服務(wù)器上進行模型訓(xùn)練，而是用戶本地訓(xùn)練，加密上傳訓(xùn)練模型（權(quán)重），服務(wù)器端會綜合成千上萬的用戶模型后再反饋給用戶模型改進方案。
舉例來說，輸入法是典型的智能推薦應(yīng)用。當人們使用Google鍵盤Gboard給家人朋友發(fā)信息的時候，傳統(tǒng)來說你敲擊鍵盤的數(shù)據(jù)會被上傳到谷歌的服務(wù)器，他們通過收集大量數(shù)據(jù)來訓(xùn)練一個更加符合用戶習(xí)慣的智能推薦。但在應(yīng)用聯(lián)邦學(xué)習(xí)后，用戶敲擊鍵盤的數(shù)據(jù)將永遠保留在本地。用戶的手機中有一個不斷更新的模型會根據(jù)這些數(shù)據(jù)進行學(xué)習(xí)和更新，并將更新的權(quán)重加密上傳到服務(wù)器。服務(wù)器收到大量用戶的模型后，會根據(jù)這些模型進行綜合訓(xùn)練，并反饋給用戶進行模型更新和迭代。
這里或許值得強調(diào)，這種在設(shè)備端上的模型是經(jīng)壓縮過的，而非像服務(wù)器中那種大型神經(jīng)網(wǎng)絡(luò)模型。因此模型訓(xùn)練的耗能是非常小的，幾乎檢測不到。此外，Blaise講了一個非常形象的比喻，即人會在睡覺的時候通過做夢來更新自己的大腦認知系統(tǒng)；同樣設(shè)備終端的系統(tǒng)也可以通過閑置時進行模型訓(xùn)練和更新。所以整體上，這并不會對用戶的使用體驗造成任何影響。
我們將設(shè)備上聯(lián)邦學(xué)習(xí)的過程總結(jié)一下：1）設(shè)備端下載當前版本的模型；2）通過學(xué)習(xí)本地數(shù)據(jù)來改進模型；3）把對模型的改進，概括成一個比較小的更新；4）該更新被加密發(fā)送到云端；5）與其他用戶的更新即時整合，作為對共享模型的改進。
整個過程有三個關(guān)鍵環(huán)節(jié)：1）根據(jù)用戶使用情況，每臺手機在本地對模型進行個性化改進；2）形成一個整體的模型修改方案；3）應(yīng)用于共享的模型。該過程會不斷循環(huán)。
其優(yōu)點是顯而易見的。
首先，我們不必將數(shù)據(jù)上傳到云端，服務(wù)提供商就看不到用戶的數(shù)據(jù)，這可以提高用戶數(shù)據(jù)的隱私性。因此，通過這種方式，我們不必在隱私和功能之間進行權(quán)衡，可以兩者兼有。這一點在當下數(shù)據(jù)隱私越來越受到重視的情況下特別重要。
其次，是降低了延時。盡管5G時代即將到來，但并不是在任何情況下任何地點的網(wǎng)速都能得到保障。如果將用戶所有的數(shù)據(jù)都上傳到云端，且服務(wù)本身也是從云端進行的反饋，那么在網(wǎng)速較慢的環(huán)境下，網(wǎng)絡(luò)延時將會極大降低用戶體驗。而聯(lián)邦學(xué)習(xí)加持下的服務(wù)則不會出現(xiàn)這種情況，因為服務(wù)本身就來自于本地。
當然，或許還有一個好處是，在傳統(tǒng)的方法下，用戶只是人工智能的旁觀者——我使用，但我沒參與。而在聯(lián)邦學(xué)習(xí)場景下，每個人都是“馴龍高手”，每個人都是人工智能發(fā)展的參與者。
聯(lián)邦學(xué)習(xí)的這種思想，事實上并不僅僅適用于設(shè)備用戶數(shù)據(jù)的隱私保護和模型更新。我們將設(shè)備用戶抽象來看，視作數(shù)據(jù)的擁有者，可以是手機持有者，也可以是公司、醫(yī)院、銀行等；而服務(wù)器或云端視作模型共享綜合平臺。
因此，聯(lián)邦學(xué)習(xí)更是一種新的學(xué)習(xí)范式，它有以下特點：
· 在聯(lián)邦學(xué)習(xí)的框架下，各參與者地位對等，能夠?qū)崿F(xiàn)公平合作；
· 數(shù)據(jù)保留在本地，避免數(shù)據(jù)泄露，滿足用戶隱私保護和數(shù)據(jù)安全的需求；
· 能夠保證參與各方在保持獨立性的情況下，進行信息與模型參數(shù)的加密交換，并同時獲得成長；
· 建模效果與傳統(tǒng)深度學(xué)習(xí)算法建模效果相差不大；
· 聯(lián)邦學(xué)習(xí)是一個「閉環(huán)」的學(xué)習(xí)機制，模型效果取決于數(shù)據(jù)提供方的貢獻。
這樣的特點正中當前人工智能發(fā)展所面臨的困境。
當前，大多數(shù)應(yīng)用領(lǐng)域均存在數(shù)據(jù)有限且質(zhì)量較差的問題，在某些專業(yè)性很強的細分領(lǐng)域（如醫(yī)療診斷）更是難以獲得足以支撐人工智能技術(shù)實現(xiàn)的標注數(shù)據(jù)。
同時，在不同數(shù)據(jù)源之間存在難以打破的壁壘，除了少數(shù)幾家擁有海量用戶、具備產(chǎn)品和服務(wù)優(yōu)勢的「巨無霸」公司外，大多數(shù)企業(yè)難以以一種合理合法的方式跨越人工智能落地的數(shù)據(jù)鴻溝，或者對于他們來說需要付出巨大的成本來解決這一問題。
此外，隨著大數(shù)據(jù)的發(fā)展，重視數(shù)據(jù)隱私和安全已經(jīng)成為一種世界性的趨勢，而歐盟「數(shù)據(jù)隱私保護條例」（General Data Protection Regulation，GDPR）等一系列條例的出臺更是加劇了數(shù)據(jù)獲取的難度，這也給人工智能的落地應(yīng)用帶來了前所未有的挑戰(zhàn)。
從目前的研究進展來看，聯(lián)邦學(xué)習(xí)也是解決以上這些問題的唯一選擇。
雷鋒網(wǎng)注：關(guān)于聯(lián)邦學(xué)習(xí)在國內(nèi)的進一步發(fā)展，可以參考雷鋒網(wǎng)之前發(fā)表的文章《從概念到技術(shù)，再到國際標準和開源社區(qū)，聯(lián)邦學(xué)習(xí)只用兩年時間》。值得一提的是，關(guān)于「聯(lián)邦學(xué)習(xí)」的名字有一個故事：在早期國內(nèi)將「Federated Learning」大多翻譯為「聯(lián)合學(xué)習(xí)」，現(xiàn)多稱為「聯(lián)邦學(xué)習(xí)」。其中的區(qū)別是，如果用戶是個人，確實是把他們的模型「聯(lián)合」起來學(xué)習(xí)，正如Blaise 等人所做的工作；而如果用戶是企業(yè)、銀行、醫(yī)院等大數(shù)據(jù)擁有者，這種技術(shù)則更像是將諸多「城邦」結(jié)合起來，「聯(lián)邦」一詞則更為準確。這一名字的變化，也反映著聯(lián)邦學(xué)習(xí)的研究主體從理論轉(zhuǎn)向?qū)嶋H應(yīng)用的變化趨勢。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
