何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN

銅靈 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

何愷明大神的團隊又有新研究了!

這一次,Facebook的陳鑫磊、何愷明等人,又從全新的角度,再次解決了實例分割任務中的難題:

他們提出一種通用的實例分割框架TensorMask,彌補了密集滑動窗口實例分割的短板。

在COCO數據集上進行測試實例分割結果可以發現,TensorMask的效果可以比肩Mask R-CNN。

這是種怎樣的新方法?


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


4D張量

在論文TensorMask: A Foundation for Dense Object Segmentation中,研究人員詳細介紹了通用框架TensorMask。

此前,實例分割的主流方法是Mask R-CNN。在這種方法中,模型先檢測物體的邊界框,然後進行裁剪和目標分割。

但是,密集滑動窗口的實例分割 (Dense Sliding-window Instance Segmentation)卻鮮少被人關注。在這種方法中,每個空間位置的輸出本身具有自己空間維度的幾何結構,與Mask R-CNN有本質上的區別。

為了形式化說明這一方法,研究人員將密集實例分割看作是4D張量(4D tensors)上的預測任務,並提出通用框架TensorMask獲取這種幾何結構。


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


TensorMask的核心變化是,用結構化的高維張量表示一組密集滑動窗口中的圖像內容。


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


TensorMask中包含兩部分,一是預測蒙版的Head,負責在滑動窗口中生成蒙版,二是進行分類的Head,負責預測目標的類別。


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


兩者分工明確,各司其職。

在COCO數據集上進行實例分割檢測可以發現,TensorMask在test-dev上的平均精度達到了35.5,與Mask R-CNN的36.8非常接近。


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


結果證明,在定量和定性上,TensorMask均接近Mask R-CNN。


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


中國少年×2

這項新研究的背後,少不了中國研究人員的足跡。

論文一作是中國少年陳鑫磊,目前就職於Facebook,一路走來其研究經歷閃閃發光。

陳鑫磊在浙江大學攻讀計算機科學專業學習時,師從蔡登教授。本科畢業後奔赴CMU攻讀博士,師從Abhinav Gupta教授,主要攻讀計算機視覺方向。


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


在博士畢業前,陳鑫磊在Google Cloud AI部門實習過,當時在李飛飛和李佳兩位大牛的項目組內。

在陳鑫磊的個人主頁上可以看到,其參與過的多篇論文都被頂會接收。


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


三作何愷明大家應該不陌生,作為Mask R-CNN的主要提出者,何愷明三次斬獲頂會最佳論文。


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


何愷明曾是廣東高考狀元,並保送了清華。本科畢業後,何愷明進入香港中文大學讀研。期間繼續在微軟亞洲研究院參與研究,現也就職於Facebook。

論文的二作Ross Girshick和四作Piotr Dollar陳鑫磊和何愷明在Facebook的同事,頂會論文Mask R-CNN、Focal Loss for Dense Object Detection等,都是三人曾合作開展的研究。

有友如此,甚好甚好。

傳送門

論文TensorMask: A Foundation for Dense Object Segmentation:

https://arxiv.org/abs/1903.12174


何愷明、陳鑫磊新研究:提出實例分割新方法,效果比肩Mask R-CNN


論文中表示,研究結果將於不久後開源~

值得期待。

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態


分享到:


相關文章: