機器視覺可以使用無線電波來穿透牆壁和黑暗

一種新算法,使用無線電波而不是可見光來探測人們在做什麼,並且不暴露他們的長相。

機器視覺有著令人印象深刻的各種記錄。它具有超強的識別人、面孔和物體的能力。它甚至可以識別許多不同類型的動作,儘管還不如人類。

但它的表現也有侷限。當人、臉或物體部分被遮擋時,機器會識別起來就會很困難。當光線水平下降得太厲害時,它們就會像人類被矇住雙眼一樣無法識別。

但是,電磁波譜的另一部分就不會受到這種限制無線電波充斥著我們的世界,無論是黑夜還是白天。它們很容易穿過牆壁,並通過人體傳播和反射。事實上,研究人員已經開發出各種利用Wi-Fi無線信號來觀察門後情況的方法

但是這些無線電視覺系統有一些缺點。它們的紅外分辨率很低圖像嘈雜

,充滿了讓人分心的反射,這使得很難理解發生了什麼

在這個意義上,無線電圖像可見光圖像具有互補的優點和缺點。這就有了利用一方的優勢來克服另一方的缺點的可能性。

麻省理工學院的李天紅和他的同事們找到了一種方法,通過可見光圖像訓練無線電視覺系統來識別人們的動作。新的無線電視覺系統可以在可見光成像失敗的情況下,在大範圍內看到人們在做什麼。李說,“我們引入了一個神經網絡模型,它可以通過牆壁和遮擋來檢測人類的行為,並且在光線不好的條件下也可以”。

這個團隊的方法使用了一個巧妙的技巧

其基本思想是利用可見光和無線電波記錄同一場景的視頻圖像機器視覺系統已經能夠從可見光圖像中識別人類行為。下一步是將這些圖像與同一場景的無線電圖像聯繫起來。

但難點在於確保學習過程關注的是人體動作,而不是其他特徵,比如背景。因此,李和同事引入了一箇中間步驟,在這個步驟中,機器生成三維簡筆畫模型,重現場景中人們的動作。

機器視覺可以使用無線電波來穿透牆壁和黑暗

“通過將輸入轉換成中間的基於骨架的表示,我們的模型可以從基於視覺和基於無線電頻率的數據集中學習,並允許這兩個任務互相幫助。”李在論文中表示。(文末有論文)

通過這種方式,系統學會在可見光下識別動作,然後利用無線電波識別在黑暗中或牆後發生的相同動作。研究人員說:“我們的研究表明,我們的模型在可視場景下達到了與基於視覺的動作識別系統相當的精度,但在人不可見的情況下仍然能夠準確工作。”

這是一項很有趣的工作,有很大的潛力。最明顯的應用是在可見光圖像在弱光條件下和關起門後出現故障的場景中。

但也有其他的應用。可見光圖像的一個問題是人們是可識別的,這就引發了隱私問題

但是無線電系統沒有面部識別的分辨率識別行為而不識別人臉不會引起同樣的隱私恐懼。“它可以將動作識別帶到人們的家中,並將其整合到智能家居系統中,”李說。例如,它可以用於監控老年人的住宅,並在摔倒時提醒相關服務部門。而且這樣做不會對隱私造成太大的風險。

這有效彌補了當今基於視覺系統的能力。


分享到:


相關文章: