「CVPR 2018不虛此行精英晚宴」
美國當地時間6月21日晚7:30-9:30@鹽湖城，將門攜眾好友——景馳、碼隆、迪英加、圖森、地平線一起搞事情啦！除了為大家提供充分的交流時間，我“門”還準備了各種走心的獎品，歡迎來玩耍！ 戳我來報名
隨著智能手機的迅速發展，移動端的人臉識別和分析越來越重要，而人臉追蹤是很多視覺應用的主要出發點。在移動場景下的移動追蹤面臨著光照、尺度、角度的劇烈變化和環境背景、遮擋以及目標的消失等挑戰。人臉追蹤十分重要但由於合適數據集的缺乏使得這一領域收到的關注較少。
為了幫助移動端人臉追蹤算法的開發和評測，帝國理工智能行為理解研究組（iBUG）提出了一個名為iBUG MobiFace benchmark的數據庫。最為第一個移動端的人臉追蹤基準，包含了50段智能手機在不受限環境下拍攝的影像、其中包括46個個體和50736幀。除了邊框標記之外，還提供了9個序列屬性標註。
研究人員還針對相關濾波和深度學習兩大方法、23種前沿算法進行了評測。作者表示數據集將在近日公佈在iBUG的網站上。
（編者注：iBUG網站上還有其他豐富的人類行為數據庫，包括3D人臉追蹤、人體姿態標註等等數據庫感興趣的小夥伴可以參看：https://ibug.doc.ic.ac.uk/resources）
1. 移動端人臉追蹤
人臉追蹤是指在視頻中定位隨時間變化的目標人臉。智能手機和移動設備的高速發展使得人臉追蹤算法扮演著越來越重要作用，從人臉解鎖到相機應用，從人臉識別到美顏工具，移動端的追蹤成為了手機應用的核心功能之一。人臉追蹤的目標是在給定目標初始位置的情況下，估計出接下來目標的位置和尺度。雖然目前的人臉追蹤算法取得了一系列進步，但在移動端還面臨著嚴峻的挑戰。業界提出了移動端數據集和物體追蹤數據集，但對於移動端的人臉追蹤還沒有細分的適合的數據集供研究人員開發和測評算法。
雖然與目標追蹤很相似，但移動端的目標追蹤算法卻在以下方面有著獨特的不同：
由於設備的旋轉和移動使得目標的尺度變化劇烈；
相機和目標都在同時運動，相機運動較為快速；
嚴重遮擋的人臉在人臉分析中沒有貢獻，不應該被追蹤；
移動端相機的視場較小、人臉很容易離開視場；
移動端算力有限；
照片受到捲簾快門的影響，造成不必要的扭曲和模糊。
一個優秀的移動人臉追蹤算法不僅僅需要克服諸如光照變化等傳統的挑戰、更需要高效地解決移動端如視角、運動等特殊的問題。
本文通過提出iBUG移動人臉追蹤數據庫作為測評基準，詳細分析OTB和VOT數據集上的23種前沿追蹤算法，並指出了深度學習和人臉相關算法結合具有潛在的提高空間。
2.人臉追蹤問題
人臉追蹤問題可以歸結為在初始位置給定後給出t幀中人臉的最優位置，表達式如下：
如果人臉無法觀測則為0，如果可以觀測則找到分數最大的區域r；其損失函數則可以定義為最小化幀序列中人臉位置的誤差：
目前針對視覺追蹤問題主要分為兩種思路，一種是利用相關濾波的方法實現；另一種則是利用深度學習的方法來解決。
相關濾波器近年來在VOT和OTB數據集上取得了驚人的表現，它可以被視為一種模板匹配的過程。在初始化過程中，相關濾波通過第一幀中的目標區域進行訓練，隨後在後續幀的候選窗中應用濾波器。最後在生成的空間執行度圖中選出最高的區域作為這一幀的預測輸出，同時對CF進行更新。相關濾波主要需要處理以下四個方面的問題，分別是如何從原始數據中抽取有效特徵、處理不同尺度的目標、邊界效應帶來的信息損失和長時間追蹤。
而基於深度學習的追蹤方法主要分為單個CNN追蹤、雙CNN追蹤法和基於RNN的追蹤方法，同時還有強化學習的方法也同樣用於移動端的人臉追蹤。
研究人員們對於算法進行了速度和準確率和評價，需要指出的是作者的電腦配置為Intel(R) Core(TM) i7-7700 3.60GHz CPU 、 GeForce GTX 1060 GPU 3GB memory。
從精度對比圖上可以發現幾乎所有的追蹤器在移動端人臉追蹤任務中都出現了一定程度的性能下降。在成功率圖中發現排名前五的算法都使用了深度特徵，這意味著好的特徵對於移動端人臉追蹤任務具有重要的意義。
同時文中還對針對數據集的不同屬性評價了23種算法，具體請參看文末鏈接的論文。結果顯示目前移動端的人臉追蹤算法相較於其他任務還有很大的差距。但可以看出基於深度網絡的特徵可能在未來扮演重要的作用，高效的在線學習策略可以幫助基於深度學習的追蹤器平衡速度和精度的要求。
參考
paper：https://arxiv.org/pdf/1805.09749.pdf
Lab：https://ibug.doc.ic.ac.uk
-The End-
將門是一家專注於發掘、加速並投資技術創新激活商業價值的創業公司的新型創投機構，旗下設有將門創新服務、將門技術社群以及將門投資基金。
將門創新服務專注於使創新的技術落地於真正的應用場景，激活和實現全新的商業價值，服務於行業領先企業和技術創新型創業公司。
將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容，使創新成為持續的核心競爭力。
將門投資基金專注於投資通過技術創新激活商業場景，實現商業價值的初創企業，關注技術領域包括機器智能、物聯網、自然人機交互、企業計算。在兩年的時間裡，將門投資基金已經投資了包括量化派、碼隆科技、禾賽科技、景馳科技、杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我“門”: [email protected]
點擊右上角，把文章朋友圈
將門創投
讓創新獲得認可！
閱讀更多 將門創投 的文章
