穿牆透視法!MIT讓WiFi追蹤人體看穿姿勢動作

高層速讀

關鍵信息

:MIT和波士頓大學等組成的團隊開發了一種可以穿透牆壁提供準確人體姿勢估計的系統,做RF-Pose,基於WiFi追蹤人體信號和反射人體的特性,通過跨形態的監督學習,該系統可以準確估計遮擋物背後的人體2D動作。

關鍵意義:在許多真實的場景,例如自動駕駛、搜索和救援中,透過障礙看到背後的場景可以提供戰術優勢。

穿牆透視法!MIT讓WiFi追蹤人體看穿姿勢動作

透過牆壁就可以看到人,可能聽起來像漫畫和超級英雄裡才會出現的場景,但是麻省理工學院、波士頓大學和德雷珀的一個團隊已經開發出了一種人工智能(AI)系統,可以做到這一點。

該系統叫做RF-Pose,可以穿過牆壁和遮擋物提供準確的人體姿勢估計。它利用了WiFi可以穿透牆壁,並反射人體的特性,用其來追蹤人體的動作,並使用跨模式監督的神經網絡來訓練這些無線電信號,以便更精確地估計人體2D姿勢。

該系統只通過一張照片,就可以進行人體姿態估計,將圖片中人的頭、手、腿等等位置的關鍵點標註出來,形成一個精準的“人體骨架”。

穿牆透視法!MIT讓WiFi追蹤人體看穿姿勢動作

該團隊的首席研究員在一份聲明中說:“在許多真實的場景中,例如自動駕駛導航,以及搜索和救援中,透過障礙看到背後的場景可以提供戰術優勢。”

穿牆透視法!MIT讓WiFi追蹤人體看穿姿勢動作

嚴格地說,這並不是第一個可以估計人體姿態的系統。

2017年1月,西安交通大學的研究人員開發了一種單像素相機,通過記錄從牆上散射的光強度來拍攝背後的物體;2017年10月,麻省理工學院計算機科學與人工智能實驗室(CSAIL)的科學家們發明了一種人工智能系統,該系統可以來檢測牆角附近是否有人或物體,甚至可以估計它的運動軌跡和速度,但這兩種技術都有相當嚴重的

侷限性

在重建一個場景之前,交通大學研究人員的相機需要至少5萬次捕捉光線,而麻省理工學院的算法只能檢測到視頻中的物體,相比之下,RF-Pose系統只需要使用一張普通的照片

穿牆透視法!MIT讓WiFi追蹤人體看穿姿勢動作

但當人體被牆壁等物體遮擋時應該怎麼辦呢?MIT 人工智能實驗室隊提出了一種富有創造力的解決方案:

使用WiFi。WiFi可以穿透牆壁,並且可以反射人體,是良好的人體追蹤器。

但是,WiFi雖能追蹤人體位置,但由於精度不夠高,很多關鍵點都是模糊的,不能應用到實際情況中。在精確度不高的情況下,常用的方法是對其進行神經網絡的訓練,用大量的數據提高它的精度。

但問題又來了,人們看不見WiFi信號,更無法提供通過WiFi檢測到的人體姿態估計的高精度數據。這時MIT博士生趙明民說道:我們的解決方法是跨形態的監督學習。同時採集圖片和WiFi信號,用基於圖片的視覺模型來訓練WiFi信號。

這就相當於一個是“老師”,一個是“學生”。圖片老師將圖片中的人體姿態數據教給學生,學生同時從WiFi信號中找到相同的數據。二者雖不在同一空間中,但接收到了實時的數據。並且,是學生將這些數據進行了統一整合,在穿透牆壁的情況下也可以估計人體姿態。

穿牆透視法!MIT讓WiFi追蹤人體看穿姿勢動作

實驗結果表明,當在可見的場景中進行測試時,基於WiFi的系統幾乎和用於訓練它的基於視覺的系統一樣精確。然而,與基於視覺的姿勢估計不同,基於WiFi的系統可以通過牆壁來估計2D的姿勢,儘管他們從未接受過這樣的場景訓練。

該系統在2018年國際計算機攝影大會(ICCP 2018)上 年被授予“最佳海報”獎,論文已被CVPR 2018收錄。


分享到:


相關文章: