此前，我們已經對“黑匣子”問題有了初步探討，發現許多科學家都在努力弄清楚其中的“奧秘”。因為對神經網絡深層功能的理解，不僅有助於我們瞭解其決策機制，同時我們構建更為強大的人工智能系統也至關重要。
而最近，DeepMind的研究人員在一篇論文中，也解釋了他們如何通過逐一刪除單個神經元的方式去理解和判斷神經網絡的性能。他們認為，理解神經科學與深度學習神經網絡之間關聯性的重要方法之一，正是調查個體神經元的作用，特別是那些易於解釋的神經元。
研究人員開發了專門的圖像分類模型，然後逐一刪除其中幾個神經元，從而測量每個刪除對模型結果的影響。
據DeepMind稱，他們的發現產生了兩個結果：
雖然以往的眾多研究都集中於理解易於解釋的單個神經元（例如'貓神經元'，或者深層網絡內隱藏層中的神經元等等只會對貓的圖像產生反應的單元），但結果顯示，它們在重要性上並不比綜合且難以解釋的神經元更高；
能夠對從未見過的圖像進行正確分類的神經網絡，在神經元缺失適應性方面要比只能夠對已經見過的圖像進行分類的網絡強。有點拗口，我們換句話來說，也就是適應度更高的網絡比單純依靠記憶起效的網絡更能擺脫對單一神經元的依賴。
"選擇性"神經元可能較易解釋，但其重要性尚不明確
研究人員廣泛分析了只能對單一輸入圖像類別作出響應，且易於解釋的神經元（即“選擇性”神經元）。他們發現，在深度學習當中，此類神經元包括了"貓神經元"、情緒神經元以及概括神經元; 而在神經科學領域，此類神經元則包括Jennifer Aniston神經元等。然而，這些僅佔少數比例的高選擇性神經元在重要性上到底與其它低選擇性、更令人費解且難以解釋的神經元有何區別，目前還不得而知。
▲具有清晰響應模式的神經元（例如對貓的圖像活躍，但對其它圖像皆不敏感的神經元）比綜合性的神經元（即能夠對各類隨機圖像集發生反應的神經元）更易於解釋
而為了評估神經元的重要性，研究人員在測試當中移除了部分神經元，從而觀察網絡的分類任務處理效能所發生的變化。如果其中某個神經元非常重要，那麼將其移除就會產生極大的破壞性，並顯著降低網絡效能。相反，如果移除的神經元並不太重要，那麼就不會造成什麼影響。
▲神經元缺失對簡單神經網絡所造成影響的概念示意圖。較深的神經元往往更為活躍。嘗試點擊隱藏層神經元並將其移除，觀察輸出神經元的活動所發生的改變。需要注意的是，移除一個或兩個神經元對輸出結果的影響很小，而移除大部分神經元則會產生顯著的影響，並且其中一部分神經元確實比其它神經元更為重要！
令人驚訝的是，研究人員發現選擇性與重要性之間幾乎沒有關係。換句話說，"貓神經元"並不比綜合性的神經元更為重要。這一發現與最近在神經科學方面的研究進展相互印證，目前科學家們已經證明那些作用不明的神經元實際上能夠提供豐富的信息。這意味著我們必須邁過易解釋神經元這道難關，才有可能真正搞清楚深層神經網絡的運作機制。
▲雖然"貓神經元"可能更易於解釋，但其重要性並不比綜合性且不具備明確偏好的神經元更高。可以點擊圖中標記，看看重要性與解釋性之間到底存在著怎樣複雜的關係
因此，研究人員的結論是，儘管可解釋神經元在直覺上更易於理解（比如"它喜歡狗"），但其重要性並不一定會比缺少明顯偏好的綜合性神經元更高。
推廣能力更強的網絡也具有更大的彈性
我們所構建的智能系統，只有被推廣到更多場景應用中，才被稱為真正具備"智能"。舉例來說，如果一套圖像分類網絡只能對以前見過的特定小狗圖片進行分類，卻無法對新的小狗圖像完成識別，就可以說是不具備智能。Google Brain、伯克利以及DeepMind最近在ICLR 2017上獲得最佳論文獎項的合作論文就提到，深層網絡能夠簡單記住其訓練當中所見到的每一幅圖像，這代表著其學習方式與人類仍然存在巨大差異。
然而，目前我們往往很難判斷一套神經網絡是否已經學會了足以推廣到新場景應用的能力。為此，通過逐漸移除越來越大的神經元組，研究人員發現相對於簡單記憶以往在訓練期間見到過的網絡，適應性更強的網絡對神經元缺失擁有更好的彈性表現。換句話說，適應性較強的網絡更難被破壞（當然，如果神經元移除至一定程度，其仍然會遭到破壞）。
▲隨著越來越多的神經元被移除，具有廣泛適應性的網絡在效能下降速度方面遠低於記憶性網絡
通過這種網絡穩健性衡量方式，科學家將能夠評估是否能夠通過為一套網絡提供不符合要求的記憶而對其進行"欺騙"。此外，瞭解網絡在記憶過程當中的變化也將有助於我們構建新的網絡，從而保證更少地依賴記憶、更多地建立概括能力。
總而言之，這些發現確實能夠被用於理解神經網絡的力量。通過這些方法，我們發現高選擇性神經元在重要性上並不強於非選擇性神經元，而適應性更高的網絡對單一神經元的依賴性也要低於單純記憶型網絡。
這些結果意味著，單一神經元的重要性並不像人們想象中的那麼高。閱讀更多 科技行者 的文章
