TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard

邊策 乾明 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

大家又少了一個用TensorFlow的理由。

在一年一度的開發者大會F8上,Facebook放出PyTorch的1.1版本,直指TensorFlow“腹地”。

不僅宣佈支持TensorFlow的可視化工具TensorBoard,還正式向工業界邁進,為生產環境改進了PyTorch處理分佈式訓練的方式。

而且,根據Facebook介紹,開發這一版本的過程中谷歌還幫了不少忙。

科技媒體TechCrunch評論稱,雖然版本號只從1.0到1.1的變化,但依舊非常重要。


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


此外,圍繞著打造“開發和協作的AI社區”的願景,Facebook還介紹了5大開源工具。

同時,他們也分享了Facebook在自家程序中應用AI的情況,以及對AI研究的展望。

下面,我們一個個來看~

Pytorch大更新

與2018年12月正式發佈的Pytorch1.0相比,這次發佈的1.1版本提高了性能,並增加了新的模型理解和可視化工具,來提高可用性,還提供了新的API。


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


其中,最重要的功能是支持TensorBoard,它是谷歌為TensorFlow打造的可視化工具,能夠幫助開發人員評估和調試模型。

根據Facebook介紹,在開發這一功能的時候,他們與谷歌有非常密切的合作。

現在,Pytorch使用一個簡單的“from torch.utils.TensorBoard import SummaryWriter”命令來支持TensorBoard。

其他的更新還有:

  • Jit編譯器:改進了Just-in-time(JIT)編譯。包括各種錯誤的修復以及TorchScript中擴展的功能,例如對字典、用戶類和屬性的支持。
  • 新API:支持布爾張量,更好地支持自定義循環神經網絡。
  • 分佈式訓練:改進了常見模型(如CNN)的性能,增加了對多設備模塊的支持,包括在仍使用分佈式數據並行(DDP)的情況下跨GPU分割模型的能力,以及對並非所有參數都用於每次迭代的模塊的支持(如控制流,如自適應SoftMax等)。

關於本次更新,Pytorch在下面的GitHub文檔中進行了詳細的解釋,請收好傳送門:

https://github.com/pytorch/pytorch/releases/tag/v1.1.0

對於這次更新,PyTorch的產品經理Joe Spisa表示,他們並不是要將PyTorch變成金錢,而是希望PyTorch擁有一個社區。

他表示,現在這個社區正開始從一個以研究為中心的社區生產型的社區轉變,而且轉變速度也在快速增長。

PyTorch路線圖的下一步是,以更少的比特數運行神經網絡,實現更快的CPU和GPU性能,並支持AI從業者創建命名張量維數。

5大開源工具


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


為了更好地建設AI社區,今年的F8大會上,Facebook還開源了5大工具:Ax、BoTorch、idb、Memscout、Mvfst。

Ax


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


Ax是一個可訪問的通用自適應實驗平臺,用於管理、部署和自動化實驗。

該平臺利用BoTorch提供的最新進展,使開發人員更容易優化其產品和基礎設施。Ax還降低了貝葉斯優化(Bayesian optimization)、多臂老虎機(multiarmed bandit)和其他複雜實驗技術的門檻,幫助研究人員將想法從研究轉向生產。

地址:https://ax.dev/

BoTorch


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


BoTorch是PyTorch上的貝葉斯優化軟件庫,為Ax優化模型參數提供支持。

BoTorch將模塊化設計和PyTorch的自動微分特性基於蒙特卡羅的提取函數使用相結合,顯著提高了開發人員的效率。

BoTorch具有與任何PyTorch模型集成的能力,在貝葉斯優化和深度學習中實現高度靈活性、便利的研究。

地址:https://botorch.org/

以上兩種工具已經在Facebook內部大規模部署,Facebook用它們改善信息流推薦和視頻播放。

idb


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


idb(iOS development bridge)是自動化iOS模擬器和設備的命令行界面。它提供的簡單原始的API,輕鬆構建複雜的工作流。idb還有客戶機-服務器架構,可以更容易地在一組機器之間分配工作。

地址:https://github.com/facebook/idb

Memscout

Memscout是一個分析工具,它是jemalloc內存分配器的伴侶。Memscout為正在運行的流程的解釋jemalloc統計文件(JSON格式)原始數據,並突出顯示相關指標。

它會發現分配器的低效率,並提供對流程內存分配模式的深入觀察,然後提供可用於快速診斷與內存相關的性能問題的統計信息。

地址:https://github.com/facebookincubator/memscout

Mvfst


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


Mvfst是QUIC傳輸協議的實現。mvfst的目標是構建最靈活、高性能的傳輸協議,讓應用程序可以適應互聯網上和數據中心內的用例。

它的特性包括流多路複用、0-RTT連接的建立,更好的損失恢復、從頭開始的安全性以及靈活的擁塞控制。

地址:https://github.com/facebookincubator/mvfst

用AI改善用戶體驗

Facebook信息流可以說是國外的“朋友圈”,裡面有太多的假新聞和有害信息,扎克伯格也因此受到美國國會質詢。

所以Facebook的AI工具一個重要的用途就是用來識別和處理社交網絡上有害的言論、照片和視頻。

一個具體例子是新的“最近鄰”算法。Facebook用這種算法發現色情暴力圖片比以前快8.5倍。


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


另一個例子是開源工具包LASER。Facebook用它來訓練單一模型以理解大量不同語言,而不必為每一種語言使用不同的模型,它可以檢測用戶是否發佈違反社交網絡政策的言論。

在視頻中發現有害信息的難度比照片高出幾個數量級,Facebook的新技術能將其分解為短片段,去掉其中冗餘和不相關的內容。這種更有針對性的分析和訓練使得AI理解視頻更快,更準確。


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


One More Thing

目前,Facebook正在大力發展自監督學習技術,將未標記數據與少量標記數據結合使用,以提高機器學習的準確性。

所謂的“自監督學習”就是我們說的“無監督學習”。

Facebook首席AI科學家Yann LeCun說,把“自監督”說成“無監督”是具有誤導性的,因為自監督學習比監督學習使用更多的監督信號,並且遠遠超過強化學習。


TensorFlow尷尬了!PyTorch 1.1發佈,正式支持TensorBoard


自監督學習在自然語言處理方面取得了巨大成功。在LeCun看來,在圖像和視頻上使用這項技術是未來幾年ML和AI的最大挑戰。

— 完 —

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態


分享到:


相關文章: