AI 科技評論按：Facebook 對人工智能相關技術的長期大規模投入盡人皆知。這些技術不僅構成了 Facebook 獲得盈利的技術基礎，Facebook 也宣稱它們可以幫助 Facebook 成為一個更安全、更具包容性、更公平的平臺。Facebook 對 AI 方面的成果也相當慷慨，不僅秉持著學術研究成果全面開放的作風，他們開發的深度學習框架 PyTorch 也易用、親民，在工業級應用領域大有趕超谷歌 TensorFlow 之勢。
近日在 2019 年 Facebook 開發者大會「F8」上，Facebook 公佈了 PyTorch 的重大更新 1.1 版本，同時還發布並開源了其它多個開發工具，繼續降低機器學習/深度學習模型開發調試以及深度學習專用硬件設計的門檻。雷鋒網 AI 科技評論把更新主要內容介紹如下。
更新更強的 PyTorch v1.1
PyTorch 在設計之初就兼顧了科研需要的靈活性、模塊性，以及工業級應用部署需要的穩定性和後續支持，它也具有類似 Python 的快速執行特性以及靈活的網絡結構動態調整功能。隨著 PyTorch 1.0 版本在去年 12 月發佈，它也支持了基於圖（Graph）的運行、前後端模塊間的無縫混合運行、分佈式訓練、高效移動端部署等功能，此外還可以使用 PyTorch JIT（即時彙編）在圖模式和動態圖模式之間靈活切換。據 Facebook 介紹，許多企業已經把 AI 科研以及計算機視覺、對話系統、工業優化、自動駕駛等應用遷移到了 PyTorch 平臺上運行。
如今 Facebook 正式宣佈了 PyTorch v1.1 版本即將到來，包含性能提升、提升易用性的新的理解和視覺工具、新的 API 等。具體更新項目如下：
TensorBoard：TensorBoard 是一個web 應用套件，含有多種針對訓練過程以及圖的檢查理解工具。PyTorch 1.1 中提供了優秀的原生支持，可以把 TensorBoard 用於可視化以及模型 debug。由於是原生支持，只需要一句簡單的「from torch.utils.tensorboard import SummaryWriter」指令就可以調用。
JIT 編譯器：針對即時彙編進行了多項改進，包括多項 bug 修復，增加了 TorchScript 中的多項功能（比如支持辭典、用戶自定義類以及屬性）。
新的 API：支持布爾類型張量，以及對用戶自定義的循環神經網絡提供更好的支持。
分佈式訓練：提升了 CNN 之類常見模型的性能，增加了多設備模塊的支持，包括在使用分佈式數據並行化（DDP）的同時為不同的 GPU 指定不同的模型，而且開始支持並不是在每次迭代中都使用所有參數的模型（比如控制流、自適應 softmax 等等）
Facebook 也和機器學習社區內的多個機構合作，孵化更多幫助機器學習工程師們更高效地工作的項目，涉及的方面從提升理解模型的能力一直到用 AutoML 之類的方法自動調節模型。
更多生產和科研輔助工具
在宣佈 PyTorch v1.1 版本的同時，Facebook 也一併介紹了幾個新的開源工具。它們都是已經在 Facebook 大規模部署的成熟項目，有 Facebook 自己開發的工具，也有和谷歌等業界領路人一同開發的產品和服務，都為開放、合作式的機器學習大家庭貢獻了一份力量。其中最為重要的是 BoTorch 和 Ax，Facebook 有一篇單獨的介紹（https://ai.facebook.com/blog/open-sourcing-ax-and-botorch-new-ai-tools-for-adaptive-experimentation/）。
BoTorch：這是一個用於貝葉斯優化科研的基於 PyTorch 的開發庫。BoTorch 使用了模塊化設計，並且同時使用了基於蒙特卡洛的採集功能和 PyTorch 中的自動微分功能，可以極大提升開發效率。BoTorch 可以和任何 PyTorch 模型集成，這給同時使用貝葉斯優化和深度學習的科研帶來了極高的靈活性。另外，貝葉斯優化的樣本效率很高，很適合用於測試成本很高的黑盒功能的序列優化。
Ax：Ax 是一個便於使用、通用目的設計的適應性試驗平臺，它可以管理、部署、自動化機器學習試驗。Ax 會使用 BoTorch 中的最新功能，為開發者優化產品、優化技術基礎設施提供更多便捷。Ax 也降低了貝葉斯優化、多臂抽獎問題（multiarmed bandit）以及其他複雜試驗技巧的使用門檻，幫助研究人員們更好地把科研想法引入到生產中。
PyTorch-BigGraph：這是一個為含有數十億個節點、數千億個邊的超大規模圖生成嵌入的分佈式系統。它可以支持分片和逆向採樣，並且提供了基於維基百科數據嵌入的使用示例。
-
Google AI Platform Notebooks：這是一個基於谷歌雲平臺的新的託管 JupyterLab 服務。數據科學家們可以快速創建支持運行 JupyterLab 的虛擬機，其中還預安裝好了最新的 PyTorch。它也和 BigQuery、Cloud Dataproc、Could Dataflow、AI Factory 等 GCP 服務緊密整合，開發者幾乎不需要離開 JupyterLab 就可以運行完成的機器學習全流程。
更多 PyTorch 學習資源
隨著 PyTorch 漸入佳境，越來越多的教育平臺也開始提供基於 PyTorch 的學習資源；況且 PyTorch 靈活動態的編程環境以及大家熟悉的 Python 界面都讓它適合快速實驗上手。谷歌 Colab 如今已經提供了交互式的 Jupyter Notebook 環境，為 PyTorch 提供了原生支持，開發者們可以在免費的 CPU 和 GPU 資源上運行任何 PyTorch 教程。斯坦福自然語言處理小組（Stanford NLP）、加州大學伯克利分校計算機視覺小組、加州理工大學機器人課程中都開始把 PyTorch 作為機器學習編程教學平臺，MOOC 課程中更是讓成千上萬的 PyTorch 開發者得以快速學習。
和新版本、新工具一起，Facebook 宣佈他們和優達學城（Udacity）建立合作，將在其中的深度學習入門課程中加入 PyTorch 教學，Facebook 還會提供為繼續學習完整機器學習學位的參加者提供獎學金。Fast.ai 也將於今年 6 月提供新的使用 PyTorch 的深度學習課程。作為課程內容的一部分，fast.ai 還會更新包括 fastai.audio 庫在內的新庫作為 PyTorch 模塊。
via
https://ai.facebook.com/blog/pytorch-adds-new-dev-tools-as-it-hits-production-scale/
點擊閱讀原文，加入 PyTorch 技術交流小組與同行切磋交流
閱讀更多 AI科技評論 的文章
