圓栗子 編譯整理

量子位 出品 | 公眾號 QbitAI

大家可能還記得，今年2月Facebook發佈的，人體姿勢實時識別系統DensePose。

現在，代碼開源了。撒花。

100人也很輕鬆

DensePose，這項技術可以把2D圖像，轉換成3D人體模型，並已成功躋身今年CVPR的Oral環節。

Facebook和來自法國的INRIA研究所共同開發的AI，和傳統姿態估計系統很不一樣。

前人的姿勢識別，大多是著眼一組關節，比如手腕，比如肘部。

不過，Facebook團隊覺得，這樣的觀察方式，是沒有辦法深刻理解圖像的。

他們需要的是，人體表面的全方位觀察，把每個人變成UV貼圖，一片一片一片，一片。

系統可以覆蓋渾身上下超過5000個節點，比十幾個關節要細緻得多。

另外，DensePose每秒處理多幀畫面，而且，就算視頻裡同時出現100個人，也沒問題。

每一個被人體佔據的像素，盡收眼底。

這樣的任務，一個GPU可以完全搞定。2D轉3D的速度和準確度，有希望為AR/VR這樣的應用提供加持。

數據集叫COCO

這樣的成就，DensePose-COCO功勳卓著。

這是一個大規模的參考標準 (Ground Truth) 數據集。裡面包含了5萬人圖像 - 表面UV圖的一一對應。

隨機採樣的人類，千姿百態，還有各個身體部位分割開來的樣子。

萬事俱備，只是數據集還沒開源。

模型結構怎樣

DensePose-RCNN，深度神經網絡的結構，是團隊新建的。

他們是在Facebook自家的物體檢測平臺Detectron上面，搭起了這樣一個模型。

在全卷積處理之後，用了興趣區域池化層 (ROI Pooling) 。研究人員用三個輸出通道，擴增了這個網絡。

訓練好之後，AI可以把每一個像素，分配到不同的身體部位，給出U座標和V座標。

看著自家神經網絡茁壯成長，Facebook團隊還在博客裡致謝了被併到PyTorch裡的Caffe 2。

學習時間

現在，既然還不知道數據集裡面，有多少羞羞的姿勢，大家就先瞻仰一下代碼吧。

GitHub傳送門：

https://github.com/facebookresearch/DensePose

順便，CVPR正在鹽湖城開心地進行。6月22日，就要輪到DensePose團隊開講，當地時間早8點之前，沉迷學習的各位可以趁機複習一下論文。

論文傳送門：

https://arxiv.org/pdf/1802.00434.pdf

— 完 —

誠摯招聘

量子位正在招募市場運營實習生，參與線上/線下活動整體流程，幫助製作相關物料，運營社群等。工作地點在北京中關村。

期待有熱情的同學加入！簡歷歡迎投遞到[email protected]

具體細節，請在量子位公眾號(QbitAI)對話界面，回覆“實習生”三個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態