雷鋒網(wǎng) AI 研習(xí)社按，上個(gè)月，Caffe2 代碼正式并入 PyTorch，就在今天，F(xiàn)acebook AI 系統(tǒng)與平臺(tái)部（AI Infra and Platform）副總 Bill Jia 發(fā)文表示，PyTorch 1.0 發(fā)布在即，全新的版本融合了 Caffe2 和 ONNX 支持模塊化、面向生產(chǎn)的功能，并保留了 PyTorch 現(xiàn)有的靈活、以研究為中心的設(shè)計(jì)。Caffe2 作者賈揚(yáng)清也在知乎表示，這篇文章是他對(duì)「如何看待 Caffe2 代碼并入 PyTorch」的最新回答。

雷鋒網(wǎng) AI 研習(xí)社將正文編譯整理如下：

縱觀人工智能的發(fā)展之路，從研究到生產(chǎn)涉及到多個(gè)步驟和工具，為了提高系統(tǒng)的準(zhǔn)確性和性能，需要不停測(cè)試新方法，不斷進(jìn)行部署和迭代，這一過程非常費(fèi)時(shí)和復(fù)雜。

為了加速和優(yōu)化這一流程，我們推出 PyTorch 1.0，它是 PyTorch 的最新版本。

PyTorch 1.0 結(jié)合了 Caffe2 和 ONNX 模塊化、面向生產(chǎn)的性能，并將這些性能與 PyTorch 現(xiàn)有的靈活、以研究為中心的設(shè)計(jì)結(jié)合在一起，為從研究原型設(shè)計(jì)到生產(chǎn)部署大量 AI 項(xiàng)目提供快速、無縫的路徑。

有了 PyTorch 1.0，AI 開發(fā)者可以通過混合前端在命令式和聲明式執(zhí)行模式之間無縫轉(zhuǎn)換，從而快速實(shí)驗(yàn)、優(yōu)化性能。

PyTorch 1.0 中的技術(shù)已經(jīng)為大量 Facebook 產(chǎn)品和服務(wù)賦能，包括每天 60 億次的文本翻譯。

我們將在未來幾個(gè)月內(nèi)推出 PyTorch 1.0 測(cè)試版，會(huì)發(fā)布一系列工具、庫(kù)、預(yù)訓(xùn)練模型、每個(gè)開發(fā)階段的數(shù)據(jù)集，使得社群能大規(guī)模地快速創(chuàng)建和部署新的 AI 產(chǎn)品。

從研究到生產(chǎn)之路

得益于 PyTorch 命令式前端靈活和高效的編程模型，大家可以更快速地進(jìn)行原型設(shè)計(jì)和實(shí)驗(yàn)。

PyTorch 初版在一年多前推出，它的速度、生產(chǎn)力和支持動(dòng)態(tài)圖等前沿 AI 模型的優(yōu)點(diǎn)，使它成為 AI 研究人員中流行和重要的開發(fā)工具。

它的下載量超過 110 萬次，是上個(gè)月在 arxiv 上引用次數(shù)排名第二的深度學(xué)習(xí)框架，加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家們?cè)鴮?PyTorch 的動(dòng)態(tài)圖功能用于他們矚目的 CycleGAN 圖像轉(zhuǎn)換研究中。

圖： 利用 PyTorch 實(shí)現(xiàn) CycleGAN 圖像轉(zhuǎn)換

盡管當(dāng)前版本的 PyTorch 為 AI 研究和開發(fā)提供了很大的靈活性，但考慮到它與 Python 的緊密耦合，在大規(guī)模生產(chǎn)上想要保持高性能是個(gè)挑戰(zhàn)。

我們經(jīng)常需要將研究代碼——訓(xùn)練腳本或訓(xùn)練好的模型——轉(zhuǎn)換成 Caffe2 中的圖表示，以便大規(guī)模生產(chǎn)。Caffe2 基于圖的 executor 為開發(fā)人員提供最先進(jìn)的優(yōu)化功能，如圖轉(zhuǎn)換、高效內(nèi)存重用和緊密的硬件接口集成。

Caffe2 項(xiàng)目于兩年前啟動(dòng)，旨在規(guī)范我們的 AI 生產(chǎn)工具?，F(xiàn)在 Facebook 的服務(wù)器正在用 Caffe2 運(yùn)行神經(jīng)網(wǎng)絡(luò)，此外，全球范圍內(nèi)有超過 10 億部手機(jī)（包括第八代 iPhone 和第 6 代 Android CPU）上都有用到 Caffe2。

今天，Caffe2 在所有模型上的預(yù)測(cè)量每天超過 200 萬億，無論模型大小，都能實(shí)現(xiàn)最優(yōu)的生產(chǎn)性能。

在過去，從 PyTorch 到 Caffe2 之間遷徙，進(jìn)行傳送和生產(chǎn)，是時(shí)間密集型的人工過程，容易出錯(cuò)。為了解決這個(gè)問題，我們與一些硬件和軟件公司合作推出了 ONNX（Open Neural Network Exchange），這是一種表示深度學(xué)習(xí)模型的開放格式。

有了 ONNX，開發(fā)人員可以在不同框架之間共享模型，例如，導(dǎo)出在 PyTorch 中構(gòu)建的模型，并將它們導(dǎo)入到 Caffe2 中。這使得 Facebook 能在大規(guī)模服務(wù)器和移動(dòng)端部署時(shí)更流暢地進(jìn)行 AI 研究、訓(xùn)練和推理。

我們已經(jīng)使用了這些工具（PyTorch、Caffe2 和 ONNX）來構(gòu)建和部署 Translate，Translate 已經(jīng)在大規(guī)模使用——幫助翻譯 Facebook 上 48 種最常用的語言。

另外還有 VR，這些工具已經(jīng)在 Oculus 的產(chǎn)品上應(yīng)用，在新研究的部署上起到至關(guān)重要的作用，可以使得虛擬化身更加真實(shí)。

盡管將這三種工具進(jìn)行組合很有效，但仍然存在一些極其復(fù)雜和耗時(shí)的人工步驟，我們?nèi)匀徊荒軣o縫將新的 AI 研究創(chuàng)新帶到生產(chǎn)中。

集研究和生產(chǎn)于一身的框架

PyTorch 1.0 融合了即時(shí)和圖執(zhí)行模式，支持靈活研究和生產(chǎn)性能優(yōu)化。更具體地說，PyTorch 1.0 提供了一個(gè)混合前端，使大家能夠無縫在即時(shí)模式的原型設(shè)計(jì)和圖執(zhí)行模式的生產(chǎn)間共享大部分代碼，而不是非得要開發(fā)人員重寫整套代碼，以從 Python 中優(yōu)化或遷移。

此外，ONNX 也與 PyTorch 1.0 進(jìn)行了融合，大家可以在 PyTorch 1.0 模型與其他 AI 框架間進(jìn)行互操作。

ONNX 還作為加速運(yùn)行或特定硬件庫(kù)的集成接口，這使得開發(fā)人員可以自由混合和匹配最好的 AI 框架和工具，而不需要使用資源密集型的定制工程。

Facebook 致力于讓 ONNX 支持新特征和功能，ONNX 仍然是一種強(qiáng)大的開放格式，也是運(yùn)用 PyTorch 1.0 進(jìn)行開發(fā)的重要部分。

構(gòu)建端到端深度學(xué)習(xí)系統(tǒng)

除了 PyTorch 1.0，我們還將開源許多我們目前頻繁使用的 AI 工具，包括 Translate——一個(gè) PyTorch 庫(kù)——用于快速、靈活的神經(jīng)機(jī)器翻譯，新一代 ELF——一個(gè)用于 AI 推理應(yīng)用的綜合游戲平臺(tái)。

開發(fā)人員還可以使用類似 Glow（一種機(jī)器學(xué)習(xí)編譯器，可以在不同硬件平臺(tái)上提升框架性能）的工具，還有 Tensor Comprehensions（從高級(jí)數(shù)學(xué)運(yùn)算中自動(dòng)生成高效 GPU 代碼的工具）。

我們也開源了其他庫(kù)，比如 Detectron，它用于對(duì)象檢測(cè)研究，可以輸出邊框和對(duì)象實(shí)例分割結(jié)果。

大家可以訪問 facebook.ai/developers（Facebook AI 開發(fā)者網(wǎng)站）查看完整開源名單，可以在 PyTorch 和 Caffe2 博客上了解更多關(guān)于 PyTorch 的信息。

接下來幾個(gè)月，我們將重構(gòu)和統(tǒng)一 Caffe2 與 PyTorch 0.4 的代碼庫(kù)，刪除重復(fù)組件、共享抽象。最終，將產(chǎn)生一個(gè)支持高效的圖模式執(zhí)行，包括性能分析、移動(dòng)端部署、廣泛集成等的統(tǒng)一框架。

與 ONNX 等其他開放 AI 項(xiàng)目一樣，我們也與其他公司和社群合作，為更多開發(fā)人員提供這種加速研究到生產(chǎn)的能力。

現(xiàn)在，微軟計(jì)劃在 Azure 云和開發(fā)者產(chǎn)品（包括 Azure Machine Learning 服務(wù)和 Data Science Virtual Machines）上支持 PyTorch 1.0。亞馬遜 Web Services 目前已經(jīng)支持最新版本的 PyTorch 并在 P3 GPU 實(shí)例上進(jìn)行了優(yōu)化，他們計(jì)劃在 PyTorch 1.0 可用之后盡快在其云產(chǎn)品（包括 Amazon Machine Image）上提供支持。

這僅僅是個(gè)開始，我們希望創(chuàng)建和共享更好的 AI 編程模型、接口和自動(dòng)優(yōu)化工具?，F(xiàn)今，AI 是 Facebook 的一項(xiàng)基礎(chǔ)性技術(shù)，它使現(xiàn)有的產(chǎn)品更好，是構(gòu)建全新體驗(yàn)的力量之源。大家可以在論文、代碼和模型上看到我們的工作，我們可以與所有的 AI 研究人員和實(shí)踐者一起研究，以更快地推進(jìn)最先進(jìn)的技術(shù)，并以全新的方式幫助應(yīng)用這些技術(shù)。

via：https://code.facebook.com

雷鋒網(wǎng) AI 研習(xí)社編譯整理。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。