研究確定了現代計算機視覺系統的關鍵弱點
計算機非常適合按照與它們一起找到的對象對圖像進行分類，但是它們在確定單個圖像中的兩個對象何時相同或者不同時
PROVIDENCE，RI [布朗大學] - 計算機視覺算法在過去十年中取得了長足的進步。他們被證明與狗或貓品種分類等任務一樣好或更好，並且他們具有從數百萬面孔海洋中識別特定面孔的卓越能力。
但布朗大學科學家的研究表明，計算機在一類甚至幼兒都沒有問題的任務中慘遭失敗：確定圖像中的兩個物體是相同還是不同。在上週在認知科學學會年會上發表的一篇論文中，布朗團隊闡明瞭為什麼計算機在這些類型的任務中如此糟糕，並提出了更智能的計算機視覺系統的途徑。
布朗和該報的資深作者，認知，語言和心理科學副教授托馬斯塞爾說："計算機視覺能夠實現的目標非常令人興奮，而且我分享了很多。""但我們認為通過努力瞭解當前計算機視覺系統的侷限性，我們可以真正轉向新的，更先進的系統而不是簡單地調整我們已有的系統。"
在研究中，Serre和他的同事使用最先進的計算機視覺算法來分析包含兩個或更多隨機生成的形狀的簡單黑白圖像。在某些情況下，對象是相同的;有時它們是相同的，但有一個物體相對於另一個物體旋轉;有時候物體完全不同。要求計算機識別相同或不同的兩個圖像。
該研究表明，即使在數十萬個訓練樣例之後，算法也不比識別適當關係的機會好。那麼，問題來了，為什麼這些系統在這項任務中表現如此糟糕。
Serre和他的同事懷疑它與這些計算機視覺算法無法個性化對象有關。當計算機查看圖像時，它們實際上無法分辨圖像中的一個對象停止的位置以及背景或其他對象的開始。他們只看到一組像素，這些像素與他們學會與某些標籤相關聯的像素集合具有相似的模式。這適用於識別或分類問題，但在嘗試比較兩個對象時會崩潰。
為了證明這確實是算法崩潰的原因，Serre和他的團隊進行了一些實驗，使計算機不必對單獨對象進行個性化處理。研究人員不是在同一圖像中顯示計算機中的兩個對象，而是在單獨的圖像中一次一個地向計算機顯示對象。實驗表明，只要算法不必在同一圖像中同時查看兩個對象，算法就可以學習相同或不同的關係。
Serre說，個體化對象問題的根源是為算法提供動力的機器學習系統的體系結構。算法使用卷積神經網絡 - 連接處理單元的層，鬆散地模仿大腦中的神經元網絡。與大腦的一個主要區別在於人工網絡完全是"前饋" - 意味著信息具有通過網絡層的單向流。據Serre說，這不是人類視覺系統的運作方式。
"如果你看看我們自己的視覺系統的解剖結構，你會發現有很多反覆出現的連接，其中信息從較高的視覺區域到較低的視覺區域並返回，"塞爾說。
雖然目前還不清楚這些反饋究竟是做什麼的，但塞爾說，很可能它們與我們關注視野中某些部分並在腦海中對物體進行心理表徵的能力有關。
"據推測，人們會關注一個物體，在他們的工作記憶中建立一個與該物體相關的特徵表徵，"塞爾說。"然後他們將注意力轉移到另一個物體上。當兩個物體都在工作記憶中表現出來時，你的視覺系統能夠進行相同或不同的比較。"
Serre和他的同事們假設計算機無法做到這一點的原因是因為前饋神經網絡不允許這種個性化和對象的心理表徵所需的那種循環處理。可能，Serre說，使計算機視覺更智能將需要更接近人類視覺處理的週期性質的神經網絡。
閱讀更多 草長禿鷹飛 的文章
