概述性說明熱與視覺合成與現有基於可見光的面部識別系統的互操作性
陸軍研究人員開發了一種人工智能和機器學習技術，通過在低光照或夜間條件下拍攝人臉熱圖像產生可見的人臉圖像。這種發展可能導致增強的實時生物特徵識別和後期任務取證分析，用於隱蔽的夜間操作。
像FLIR這樣的熱像儀或前視紅外傳感器主要用於高空和地面車輛，監視塔和檢查站以進行監視。最近，熱像儀正在變得可用作身體穿戴相機。使用這種熱成像攝像頭在夜間進行自動臉部識別的能力有助於通知士兵個人感興趣的人，例如可能在觀察名單上的人。
這項技術的動機 - 由Drs開發。來自美國陸軍研究實驗室的Benjamin S. Riggan，Nathaniel J. Short和Shuowen“Sean”Hu將增強自動和人工匹配能力。
研究科學家Riggan說：“這項技術可以在熱圖像和現有的僅包含可見面部圖像的生物識別人臉數據庫/觀察列表之間進行匹配。” “該技術為人類提供了一種方式，通過熱到可見的面部合成，在視覺上比較可見和熱面部圖像。”
他表示，在夜間和光線不足的情況下，傳統相機沒有足夠的光線捕捉面部圖像進行識別，而沒有主動照明，如閃光燈或聚光燈，這會放棄此類監控攝像頭的位置; 然而，捕獲活性皮膚組織自然產生的熱信號的熱攝像頭非常適合這種情況。
Riggan說：“當使用熱像儀捕獲面部圖像時，主要挑戰是捕獲的熱圖像必須與僅包含來自已知感興趣人員的傳統可見圖像的觀察列表或圖庫匹配。“因此，這個問題就變成了所謂的互譜或異質的人臉識別，在這種情況下，一種模式下獲取的面部探測圖像與使用不同成像模式獲取的圖庫數據庫相匹配。”
這種方法利用了基於深度神經網絡的先進的領域適應技術。基本方法由兩個關鍵部分組成：非線性迴歸模型，將給定的熱圖映射為相應的可見潛在表示，以及將潛在投影投影回圖像空間的優化問題。
這項工作的詳細內容在3月份的技術論文“Thermal to Visible Synthesis of Face Images using Multiple Regions”中被髮表在IEEE計算機視覺應用冬季會議或WACV在內華達州塔霍湖的技術會議上，該會議包括來自學術界，工業界和政府的學者和科學家。
在會議上，陸軍研究人員證明，將全局信息（例如整個臉部的特徵）與局部信息（例如來自識別性基準區域的特徵，例如眼睛，鼻子和嘴巴）相結合，增強了合成的可區分性圖像。他們展示了來自全局和局部區域的熱 - 可見映射表示如何可以結合使用來合成精緻的可見面部圖像。
合成圖像的優化問題試圖共同保留整個臉部的形狀和局部基準細節的外觀。使用合成的熱變圖像和現有的可見圖庫圖像，他們使用常見的開源深度神經網絡架構進行人臉驗證實驗，用於人臉識別。所使用的架構明確設計用於基於可見的人臉識別。最令人驚訝的結果是他們的方法比先前顯示照片般逼真屬性的生成對抗網絡方法取得了更好的驗證性能。
Riggan將這一結果歸因於GAN的遊戲理論目標立即尋求在動態範圍和類似於照片的外觀上產生足夠類似於訓練圖像的圖像，而有時忽略保留識別特徵的事實，他說。由ARL開發的方法保留了身份信息以增強可辨識性，例如，自動人臉識別算法和人體裁判的識別準確性提高。
作為論文演示的一部分，ARL研究人員展示了這項技術的近實時演示。概念驗證演示包括使用FLIR Boson 320熱成像攝像頭和幾乎實時運行算法的筆記本電腦。該演示向觀眾展示了一個人可以採集的熱圖像在現場生成合成的可見圖像。這項工作在會議的面孔/生物識別會議上獲得了最佳論文獎，其中有70多篇論文被提交。
裡格根說，他和他的同事們將繼續在國防取證和生物識別機構的贊助下擴大這項研究，為士兵開發強大的夜間人臉識別能力。
閱讀更多 耶特智能世界 的文章
