全文共1596字，預計學習時長4分鐘
圖源：unsplash
元學習是深度學習領域中最活躍的研究領域之一。人工智能界的一些學派贊同這樣一種觀點：元學習是開啟人工通用智能（AGI）的墊腳石。
近年來，元學習技術的研究和開發呈現爆炸式增長。然而，元學習背後的一些基本思想仍經常被數據科學家和工程師誤解。因此，筆者認為有必要回顧一下元學習的一些基本概念、歷史以及該領域中一些流行的算法。
元學習背後的思想可以追溯到1979年，唐納德·毛茲利（Donald B. Maudsley）在其作品中將新的認知範式重新定義為“學習者意識到並逐漸控制其內化的感知、探究、學習和成長習慣的過程”。
1985年，約翰·比格斯（John Biggs）在其作品將元學習更簡單地定義為“瞭解並控制自身學習”。雖然從認知科學的角度來看這些定義很準確，但要適應人工智能的具體工作似乎有點困難。
在人工智能系統中，元學習可以簡單地定義為獲取知識多功能性的能力。人類能夠以最少的信息同時獲取多個任務。我們可以通過查看單張圖片來識別一種新物體，也可以同時學習複雜的多任務活動，比如開車或駕駛飛機。
雖然智能體可以完成非常複雜的任務，但它們需要對任何原子的子任務進行大量訓練，而且在處理多任務時仍然非常糟糕。因此，通往知識多功能性的道路需要智能體“學會如何學習”，或用術語來形容，就是元學習。
元學習模型的類型
人類在學習時，會根據具體情況採用不同的方法。同樣，並非所有的元學習模型都採用相同的技術。一些元學習模型關注的是優化神經網絡結構，而另一些模型（如Reptile）則更注重於尋找合適的數據集來訓練特定的模型。
加州大學伯克利分校人工智能實驗室最近發表了一篇研究論文，文中全面列舉了不同類型的元學習。以下是筆者最喜歡的一些類型：
· 小樣本元學習：“小樣本元學習”的理念是創建深層神經網絡，從最簡單的數據集中學習，比如模仿嬰兒如何通過只看到一兩張圖片來學習識別物體。小樣本元學習的理念啟發了記憶增強神經網絡或單樣本生成模型等技術的產生。
· 優化器元學習：優化器元學習模型的重點是學習如何優化神經網絡從而更好地完成任務。這些模型通常包括一個神經網絡，該神經網絡將不同的優化應用於另一個神經網絡的超參數，從而改進目標任務。那些專注於改進梯度下降技術的模型就是優化器元學習很好的體現，就像該研究中發佈的那些模型。
· 度量元學習：度量元學習的目標是確定一個高效率學習的度量空間。該方法可以看作是小樣本元學習的一個子集，通過使用學習度量空間來評價學習質量並舉例說明。該研究論文向讀者展示如何將度量元學習應用於分類問題。
· 循環模型元學習：該類型的元學習模型適用於循環神經網絡（RNNs），比如長短期記憶網絡(LSTM)。在這種架構中，元學習器算法將訓練RNN模型依次處理數據集，然後再處理任務中新輸入的數據。在圖像分類設置中，這可能涉及到依次傳遞數據集（圖像、標籤）對的集合，然後是必須分類的新示例。元強化學習就是這種方法的一個例子。
圖源：unsplash
隨著深度學習向無監督模式過渡，元學習的重要性正在不斷提高。如果我們能將學習過程應用到學習新任務，那麼AGI的理念就會更加實用。但就和人類一樣，讓人工智能模型學會學習比學習本身更加困難，實際行進中依然任重道遠。
留言點贊關注
我們一起分享AI學習與發展的乾貨
如轉載，請後臺留言，遵守轉載規範
