雷鋒網(wǎng) AI 開(kāi)發(fā)者按：作為聯(lián)邦學(xué)習(xí)全球首個(gè)工業(yè)級(jí)開(kāi)源框架，F(xiàn)ATE 在近日發(fā)布的 v1.1 版本中，不僅上線(xiàn)了橫向聯(lián)邦學(xué)習(xí)通用算法框架，增加了DNN、回歸等多個(gè)聯(lián)邦算法，并開(kāi)始支持多方縱向聯(lián)邦建模，支持spark引擎，支持FATEServing服務(wù)治理，支持secureboost在線(xiàn)預(yù)測(cè)等。

此外，F(xiàn)ATE 還聯(lián)合 VMware 中國(guó)研發(fā)開(kāi)放創(chuàng)新中心云原生實(shí)驗(yàn)室的團(tuán)隊(duì)一起搞了個(gè)「大事」——支持在公有云和私有云中部署及使用，全容器化云原生部署方案。

FATE 作為聯(lián)邦學(xué)習(xí)全球首個(gè)工業(yè)級(jí)開(kāi)源框架，支持聯(lián)邦學(xué)習(xí)架構(gòu)體系，為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)提供了高性能聯(lián)邦學(xué)習(xí)機(jī)制，F(xiàn)ATE 本身還支持多種多方安全計(jì)算協(xié)議，如同態(tài)加密、秘密共享、哈希散列等，具有友好的跨域交互信息管理方案。

在 10 月 31 日正式發(fā)布的 FATE v1.1 版本中，F(xiàn)ATE 聯(lián)合 VMware 中國(guó)研發(fā)開(kāi)放創(chuàng)新中心云原生實(shí)驗(yàn)室的團(tuán)隊(duì)一起搞了個(gè)「大事」——發(fā)布了 KubeFATE 項(xiàng)目，通過(guò)把 FATE 的所有組件用容器的形式封裝，實(shí)現(xiàn)了使用 Docker Compose 或 Kubernetes（Helm Charts）來(lái)部署。

現(xiàn)代應(yīng)用以 DevOps 方式開(kāi)發(fā)，基于容器部署應(yīng)用的優(yōu)勢(shì)相當(dāng)明顯，應(yīng)用不僅可以無(wú)差別地運(yùn)行在支持容器的平臺(tái)上，還可以按需靈活地實(shí)現(xiàn)多實(shí)例水平擴(kuò)展。目前主流的云平臺(tái)，如國(guó)外的 AWS，Azure，國(guó)內(nèi)的阿里云、騰訊云等，都有基于容器和 Kubernetes 的云原生服務(wù)，使得容器應(yīng)用的部署和運(yùn)行已經(jīng)標(biāo)準(zhǔn)化和商品化。

換句話(huà)說(shuō)，通過(guò) KubeFATE 項(xiàng)目，開(kāi)發(fā)者可以輕松地在公有云或私有云中部署和使用 FATE 項(xiàng)目。

該項(xiàng)目現(xiàn)已發(fā)布在GitHub：https://github.com/FederatedAI/KubeFATE 

另外，本次FATE v1.1版本在算法和功能基礎(chǔ)了進(jìn)行重大升級(jí)和提升：

不僅上線(xiàn)了橫向聯(lián)邦學(xué)習(xí)通用算法框架，增加了DNN、回歸等多個(gè)聯(lián)邦算法，并開(kāi)始支持多方縱向聯(lián)邦建模，支持spark引擎，支持FATEServing服務(wù)治理，支持secureboost在線(xiàn)預(yù)測(cè)等。

具體更新詳情如下文所示。

FederatedML：提供易擴(kuò)展的橫向算法框架支持橫向算法開(kāi)發(fā)

在新版本中，F(xiàn)ATE使開(kāi)發(fā)更加輕松，開(kāi)發(fā)者可以更關(guān)注于算法具體本身，而將更多通用的通信傳輸內(nèi)容交給框架。FATE v1.1提供易擴(kuò)展的橫向聯(lián)邦學(xué)習(xí)通用算法框架，支持Secure Aggregation，通過(guò)封裝橫向聯(lián)邦學(xué)習(xí)的主要流程，開(kāi)發(fā)者能夠簡(jiǎn)單地實(shí)現(xiàn)橫向聯(lián)邦學(xué)習(xí)算法。

在算法方面，F(xiàn)ATE新增了對(duì)橫向DNN、縱向線(xiàn)性回歸、縱向泊松回歸等聯(lián)邦算法的支持，以及更多算法支持多方聯(lián)邦建模，豐富了更多的建模場(chǎng)景，提升了FATE的實(shí)用性。

值得一提的是，線(xiàn)性回歸在預(yù)測(cè)連續(xù)標(biāo)簽等應(yīng)用場(chǎng)景上非常有力，而泊松回歸則能更好的協(xié)助開(kāi)發(fā)者預(yù)測(cè)次數(shù)與頻率，如在購(gòu)買(mǎi)保險(xiǎn)和評(píng)估意外發(fā)生風(fēng)險(xiǎn)等場(chǎng)景里，泊松回歸都能對(duì)頻率進(jìn)行預(yù)測(cè)。

 此外，從這一版本開(kāi)始，F(xiàn)ATE也正式開(kāi)始支持多方縱向聯(lián)邦建模，可以實(shí)現(xiàn)縱向場(chǎng)景下的多個(gè)數(shù)據(jù)提供方共同訓(xùn)練聯(lián)邦模型。

最后，F(xiàn)ATE也對(duì)連接Spark進(jìn)行了嘗試，F(xiàn)ATE v1.1支持已有Spark集群的開(kāi)發(fā)者直接復(fù)用現(xiàn)有資源，可以選擇Spark作為計(jì)算引擎，根據(jù)實(shí)際情況靈活配置。

更多可前往GitHub了解：https://github.com/FederatedAI/FATE/tree/master/federatedml

FATEFlow：高性能聯(lián)邦學(xué)習(xí)Pipeline生產(chǎn)服務(wù)

FATEFlow是聯(lián)邦學(xué)習(xí)建模Pipeline 調(diào)度和生命周期管理工具，為用戶(hù)構(gòu)建端到端的聯(lián)邦學(xué)習(xí)Pipeline生產(chǎn)服務(wù)。v1.1版本中，F(xiàn)ATEFlow主要在穩(wěn)定性及易用性上進(jìn)行了提升，例如：

• 上傳下載文件支持查看作業(yè)狀態(tài)，對(duì)于大文件和對(duì)接其他系統(tǒng)有較大幫助；

• 支持取消等待中的作業(yè)；

• 支持對(duì)作業(yè)設(shè)置超時(shí)時(shí)間；

• 優(yōu)化作業(yè)日志，統(tǒng)一存放于以作業(yè)ID命名的日志文件夾，提高排查問(wèn)題效率；

FATEBoard：簡(jiǎn)單高效，聯(lián)邦學(xué)習(xí)建模過(guò)程可視化

FATEBoard是聯(lián)邦學(xué)習(xí)建模的可視化工具，為終端用戶(hù)可視化和度量模型訓(xùn)練的全過(guò)程，幫助用戶(hù)更簡(jiǎn)單而高效地進(jìn)行模型探索和模型理解。新版本中，job工作流展示進(jìn)一步優(yōu)化，并支持組件數(shù)據(jù)與模型的輸入輸出端口分離，提供更直觀(guān)的數(shù)據(jù)傳輸與模型傳輸展示；

另外，現(xiàn)已支持模型訓(xùn)練過(guò)程中的評(píng)估結(jié)果可視化，便于實(shí)時(shí)關(guān)注與跟蹤中間訓(xùn)練過(guò)程和結(jié)果；更提供secureboost樹(shù)模型的可視化展示，不僅可以清晰地觀(guān)測(cè)模型中每顆決策樹(shù)，還能查看不同標(biāo)簽下的樹(shù)模型。

FATEServing：服務(wù)治理，重啟自動(dòng)恢復(fù)模型

在新版本中，模型加載成功后會(huì)在本地文件中保存，在重啟之后會(huì)從本地文件中恢復(fù)之前加載的模型。

此外，v1.1版本引入zookeeper作為注冊(cè)中心，提供了有限的服務(wù)治理功能，能夠動(dòng)態(tài)的注冊(cè)grpc接口，在某些機(jī)器宕機(jī)的情況下，能夠自動(dòng)的切換流量 。

KubeFATE：FATE部署能力升級(jí)

FATE v1.1版本提供打包好的Docker容器鏡像，大大降低FATE的使用門(mén)檻，避免開(kāi)發(fā)者“倒在起跑線(xiàn)上”。如果是企業(yè)開(kāi)發(fā)者，還可以發(fā)現(xiàn)離線(xiàn)部署FATE的能力也得到了提升，借助 Harbor 開(kāi)源容器鏡像倉(cāng)庫(kù)，可以自動(dòng)同步網(wǎng)上的鏡像，為運(yùn)維減壓。

KubeFATE主要提供了Docker compose和Kubernetes（Helm Chart）兩種部署方式。

• Docker-Compose可以將FATE的所有組件部署在單個(gè)節(jié)點(diǎn)中，并且支持多個(gè)合作方的部署。開(kāi)發(fā)者無(wú)需編譯代碼，可使用Docker compose迅速搭建測(cè)試環(huán)境。當(dāng)前Docker compose可將FATE部署在一個(gè)或多個(gè)節(jié)點(diǎn)中，有利于開(kāi)發(fā)者對(duì)FATE功能的熟悉和了解。

• Docker-Compose的單節(jié)點(diǎn)部署方式定位于測(cè)試。在生產(chǎn)環(huán)境中，往往需要多節(jié)點(diǎn)部署，此時(shí)采用Kubernetes的方式更佳。KubeFATE提供了Helm Charts來(lái)把FATE部署到Kubernetes方法，可在支持Kubernetes的云上直接部署FATE，并且可以按照需求定制部署的細(xì)節(jié)，例如把計(jì)算模塊部署在有GPU的節(jié)點(diǎn)上等等。

Harbor是開(kāi)源鏡像倉(cāng)庫(kù)，提供鏡像的訪(fǎng)問(wèn)控制、遠(yuǎn)程同步、安全漏洞掃描等強(qiáng)大能力，國(guó)內(nèi)的用戶(hù)絕大部分使用Harbor管理鏡像。KubeFATE項(xiàng)目將Harbor集成到其中，可提供本地鏡像管理能力，無(wú)需依賴(lài)Docker Hub等云服務(wù)，大大提高了效率和安全性。此外，Harbor還能復(fù)制遠(yuǎn)程的鏡像，可把鏡像在公有云或數(shù)據(jù)中心之間雙向復(fù)制，遇到故障可自動(dòng)恢復(fù)，從而簡(jiǎn)化運(yùn)維復(fù)雜度。 

總的來(lái)說(shuō)，F(xiàn)ATE v1.1版本增加了多個(gè)聯(lián)邦算法的支持，為聯(lián)邦學(xué)習(xí)建模帶來(lái)更豐富更強(qiáng)大的功能，同時(shí)聯(lián)合VMware推出KubeFATE，簡(jiǎn)化FATE使用門(mén)檻，對(duì)初接觸開(kāi)發(fā)者更為友好。團(tuán)隊(duì)也歡迎對(duì)聯(lián)邦學(xué)習(xí)有興趣的同仁一起貢獻(xiàn)代碼，提交 Issues 或者 Pull Requests。

詳情可查閱 FATE官網(wǎng)項(xiàng)目貢獻(xiàn)者指南：https://fate.fedai.org/contribute/

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。