當前深度學習的主流是深度神經網絡，不同結構和深度的神經網絡在圖像視頻及語音處理等方面取得了巨大的進步，在各種各樣的競賽和指標PK中打敗傳統機器學習方法，其學習模式也發生了改變，在特徵工程，隱藏神經元個數和層數，卷積操作，池化操作等方面不斷進化。
然而，深度神經網絡依舊面臨著許多問題，比如
- 依舊使用反向傳播算法學習參數
- 深層次網絡，對硬件和計算資源的要求很高
- 超參數龐大且一個模型調試完畢，無法輕易調整參數
- 對數據量要求很高
- 在很多領域，其性能還不如傳統機器學習
在BP算法中，要求目標可微，而深度神經網絡無法繞開BP算法。那麼是否存在不可微構件下的深度學習呢，對此，南京大學周志華教授做了一些研究。
首先我們據此提出三個問題：
- 深度學習或者深度模型，一定要是深度神經網絡嗎？
- 如何在不可微構件下做深學習呢？
- 能否在圖像視頻及語音之外的更多領域發揮深度模型的作用呢？
針對上述問題，周志華老師提出了深度森林，其主要特點：
- 使用不可微的樹模型
- 超參數數量大幅降低
- 在小數據上依然有效
深度森林的主要思想包括：
- 同深度神經網絡表徵學習相同，要求層次要深
- 深層之間傳遞的是分類，無法傳遞上層學到的特徵
- 藉助隨機森林思想，用隨機森林替換神經元
- 多粒度的掃描和級聯，類比RCNN，通過滑動窗口處理兩個體徵之間的關聯關係，類比DNN，將上一層學到的結果構成表徵向量傳遞到下一層
作為科普文章，關於深度森林我們只介紹這麼多。
感興趣的讀者可以搜索一下大神的論文，《Deep Forest: Towards An Alternative to Deep Neural Networks》，進行深入研究和探索。
分享到:
閱讀更多 AI賦能 的文章
