作者 | Video++極鏈科技AI實驗室張奕
整理 | 包包
背景
聲音和圖像是視頻中最重要的兩類基礎信息，能反映視頻中出現的主要內容。以往大量的視頻內容分析研究都是基於聲音和視覺特徵來展開，其中很多研究工作會基於聲音視覺多模態特徵來進行語義建模。人們清楚地意識到聲音和視覺特徵直接存在著某種對應關係，因為當某種語義內容在視頻中出現時，其相應的視覺圖像和聲音必然相伴出現，那麼該如何利用這個對應關係來幫助我們進行視頻語義內容分析與識別呢？
讓我們先來看看當前機器學習與視頻分析研究的痛點。機器學習按照對樣本的標註要求不同可分為有監督和無監督兩大類。隨著深度學習的興起，基於大量標註樣本訓練的深度網絡模型在各領域中都取得了遠超其它模型的準確率，確立了主流地位。但是這一方法最大的缺點是需要大量的標註樣本，樣本標註是一項很高成本的工作，需要耗費大量的人力資源，使人工智能成為真正基於“人工”的智能。在視頻內容分析領域，為了達到識別視頻內容的目的，也需要對視頻進行大量的樣本標註，這些標註包括目標、語義在時間空間上出現的位置、類別標籤等，非常繁瑣。如何能夠減少對標註數據的依賴一直是一個機器學習的重要研究方向。
回到先前的問題，既然視頻中的視覺和聲音之間存在著對應關係，那麼是否可以用這個對應關係來解決數據的標註問題，從而減少對人工標註的依賴呢？DeepMind大膽的提出了這一設想，通過視覺和聲音的對應實現它們之間的互標註，不需要人工標註，就可以獲得大量的帶有自標註對應關係的聲音視覺樣本，提供給深度網絡進行訓練，從而實現視頻中相關事件的檢測識別。
方法
數據
以上網絡通過如下的方式產生正負樣本對：負樣本對來自於兩段不同視頻中隨機選取的圖像幀和聲音片段，正樣本對來自於聲音片段和同一視頻中對應該聲音時間中點處的圖像幀。訓練數據集規模為40萬段時長為10秒的視頻，來自於Flickr-SoundNet和Kinetics-Sounds數據集。
實驗結果
作者還給出了訓練聲音視覺對應網絡中得到的視覺子網絡和聲音子網絡模型在視覺分類和聲音分類任務中的性能，並與現有算法進行了比較。在聲音分類benchmark數據集ESC-50和DCASE上本文的聲音子網絡取得了最好的結果，如表2所示。圖像分類在benchmark數據集ImageNet上本文的視覺子網絡取得了與當前最好的自監督學習算法相同的結果，如表3所示。
通過以上網絡和學習方式，究竟學到了什麼內容？作者給出了直觀的實例，選取視覺子網絡pool4層響應最高的各類的5個樣本（圖3），並將對應的conv_2層響應熱力圖顯示出來（圖4），可見網絡能夠在視覺概念相關區域獲得高響應，表明學習是有效的，並且該網絡對聲音源具有定位能力。
結論與討論
本文利用聲音視覺對應關係提出了一種深度網絡，可免除對樣本的標註，通過自監督學習，實現視頻內容的檢測分類。實驗表明其在聲音分類上的效果超越其他算法，在圖像分類上的效果與以往最佳自監督算法持平。
本文算法在聲音分類上的優異表現表明，視覺特徵在聲音特徵的相關性使其在描述聲音特徵中起到了幫助作用。同時本文算法在圖像分類上的表現也表明聲音特徵對圖像特徵描述也存在有效的幫助。目前視覺特徵僅採用了聲音片段對應的圖像序列中的一個採樣幀作為輸入，尚無法完全反映聲音和圖像之間在時間上的對應關係，如能利用聲音對應的整個圖像序列作為視覺輸入，將可能進一步利用聲音和視覺之間的併發性，提升模型效果。
閱讀更多 科技狂人 的文章
