可用於跟蹤新冠病毒傳播,微軟、華科聯合團隊重磅開源AI追蹤器


可用於跟蹤新冠病毒傳播,微軟、華科聯合團隊重磅開源AI追蹤器

強強聯手,由微軟亞研院和華中科技大學組成的團隊開源了項目Fair Multi-Object Tracking(FairMOT),基於AI技術的人/物多目標檢測器。

GitHub開源地址:https://github.com/ifzhang/FairMOT

如果產品化成果,它可以被用來跟蹤像COVID-19這樣的疾病傳播

多目標跟蹤(MOT)的目的是為了跟蹤視頻中多個目標的運動軌跡,它一直是計算機視覺的一個長期目標。這項技術具有廣泛的應用場景,包括動作識別、公共安全、運動視頻分析、養老、人機交互等。

可用於跟蹤新冠病毒傳播,微軟、華科聯合團隊重磅開源AI追蹤器

近年來,作為多目標跟蹤核心組件的目標檢測和重新識別取得了顯著進展。但是以往的方法通常需要兩個獨立的模型來解決多目標追蹤問題,很少有人關注在單個網絡中完成兩項任務以提高推理速度。

本次開源的FairMOT模型就致力於在單個網絡中同時實現目標檢測和識別任務,在30FPS時,它的性能明顯優於MOT挑戰數據集上的最新技術表現。

可用於跟蹤新冠病毒傳播,微軟、華科聯合團隊重磅開源AI追蹤器

單次多對象跟蹤的基準樣本

基於公共數據集,並根據MOT挑戰評估服務器的’私有檢測器”協議,FairMOT在2DMOT15,MOT17和最近發佈的(2020.02.29)MOT20的所有跟蹤器中排名第一。

它在IDF1指標(正確識別的檢測與平均真是樹和計算檢測數之比)方面,優於其他單次MOT跟蹤器10分以上,整個系統的跟蹤速度可以達到30FPS。

可用於跟蹤新冠病毒傳播,微軟、華科聯合團隊重磅開源AI追蹤器

研究人員在從六個公共語料庫收集的訓練數據集上對FairMOT進行了測試,以供人們檢測和搜索:ETH,CityPerson,CalTech,MOT17,CUHK-SYSU和PRW。(在兩張NVIDIA RTX 2080圖形卡上進行了30小時的培訓。)

在刪除重複的剪輯之後,他們針對2DMOT15,MOT16和MOT17等基準測試了經過訓練的模型。

可用於跟蹤新冠病毒傳播,微軟、華科聯合團隊重磅開源AI追蹤器

與僅有的同樣可以實現目標檢測和識別任務的兩個模型TrackRCNN和JDE相比,FairMOT的推理速度勝過一籌,在MOT16數據集上均

以“接近視頻速率”的推理速度勝過兩者。

“近年來,在目標檢測和識別任務方面取得了顯著進展,這是多目標跟蹤的核心組成部分。但是,很少有人關注在單個網絡中以提高推理速度完成兩項任務。”

可用於跟蹤新冠病毒傳播,微軟、華科聯合團隊重磅開源AI追蹤器

論文地址:https://arxiv.org/pdf/2004.01888.pdf

這項技術儘管應用很廣,但離達到真正能落地的地步仍有距離。

研究人員在描述FairMOT 的論文中總結道:“沿著這條路進行的最初嘗試最終導致了降級的結果,這主要是因為重新識別分支的學習不正確。我們發現在對象檢測和識別任務中使用錨點是導致沒有達到預期效果的主要原因。特別是,對應於對象不同部分的多個附近錨點可能負責估計相同的身份,從而導致網絡訓練的歧義。”


分享到:


相關文章: