04.08 「深度學習並非萬能」全方位對比深度學習和經典機器學習

「深度學習並非萬能」全方位對比深度學習和經典機器學習

來源:towardsdatascience.com

作者:George Seif 編譯:肖琴

【新智元導讀】深度學習已成為大多數AI問題的首選技術,使得經典機器學習相形見絀。但是,儘管深度學習有很好的性能,經典機器學習方法仍有一些優勢,而且在一些特定情況下最好使用經典機器學習方法,例如線性迴歸或決策樹,而不是使用一個大型深度網絡。本文將對比深度學習和經典機器學習,分別介紹這兩種技術的優缺點。

「深度學習並非萬能」全方位對比深度學習和經典機器學習

近年來,深度學習已成為大多數AI問題的首選技術,使得經典機器學習相形見絀。原因很明顯,深度學習在語音、自然語言、視覺和遊戲等許多任務上都表現出卓越的性能。然而,儘管深度學習具有如此好的性能,經典機器學習方法仍有一些優勢,而且在一些特定情況下最好使用經典機器學習方法,例如線性迴歸或決策樹,而不是使用一個大型深度網絡。

本文將對比深度學習和經典機器學習,分別介紹這兩種技術的優缺點以及它們在哪些問題/如何得到最佳使用。

深度學習優於經典機器學習

  • 一流的性能:在許多領域,深度網絡已經取得了遠遠超過經典ML方法的精度,包括語音、自然語言、視覺、遊戲等。在許多任務中,經典的ML方法甚至無法與深度學習比較。例如,下圖顯示了ImageNet數據集上不同方法的圖像分類精度;藍色表示經典ML方法,紅色表示深度卷積神經網絡(CNN)方法。深度學習方法的分類錯誤率遠遠低於經典ML方法。

「深度學習並非萬能」全方位對比深度學習和經典機器學習

  • 用數據進行有效的擴展:與經典ML算法相比,如果有更多的數據,深度網絡可以更好地擴展。下圖是一個簡單的例子。很多時候,用深度網絡來提高準確性的最佳建議就是使用更多的數據!但使用經典ML算法時,這種快速簡單的方法幾乎沒有效果,通常需要更復雜的方法來提高精度。

「深度學習並非萬能」全方位對比深度學習和經典機器學習

  • 不需要特徵工程:經典的ML算法通常需要複雜的特性工程。通常,需要先在數據集上執行探索性數據分析。然後,可以降低維度以便於處理。最後,必須仔細選擇最佳的特徵,以傳遞給ML算法。在使用深度學習時,不需要這樣的特徵工程,因為只需將數據直接傳遞給網絡,通常就可以立即實現良好的性能。這完全消除了整個過程中繁重而且很有挑戰性的特徵工程階段。

  • 適應性強,易於遷移:與經典的ML算法相比,深度學習技術可以更容易地適應不同的領域和應用。首先,遷移學習可以使預訓練的深度網絡對同一領域的不同應用生效。例如,在計算機視覺中,預訓練的圖像分類網絡通常用作目標檢測和分割網絡的特徵提取前端。將這些預訓練的網絡作為前端,可以簡化整個模型的訓練,並且通常有助於在更短的時間內實現更高的性能。

此外,不同領域使用深度學習的基本思想和技術往往是可以轉移的。例如,一旦瞭解了語音識別領域的深度學習基礎理論,那麼學習如何將深度網絡應用於自然語言處理就不太困難了,因為兩者所需的基礎知識非常相似。但對於經典ML來說,情況並非如此,因為構建高性能ML模型需要特定領域和特定應用的ML技術和特徵工程。對於不同的領域和應用,經典ML的知識基礎是非常不同的,並且往往需要在每個單獨的領域進行廣泛的專門研究。

經典機器學習優於深度學習

  • 在小數據上能更好地工作:為了實現高性能,深度學習需要非常大的數據集。之前提到的預訓練的網絡在120萬張圖像上進行了訓練。對於許多應用來說,這樣大的數據集是不容易獲得的,花費昂貴而且耗時。對於較小的數據集,經典的ML算法通常優於深度學習。

  • 財務和計算上都更便宜:有大量的數據,又需要在合理時間內訓練完,深度學習要求使用高端GPU。這些GPU非常昂貴,但是如果沒有它們,就很難實現高性能的深度網絡。要有效地使用這樣的高端GPU,還需要一個快速的CPU、SSD存儲、快速而且容量大的RAM。經典的ML算法只需要一個像樣的CPU就可以訓練得很好,並不需要最好的硬件。因為它們的計算成本不高,因此可以在較短的時間裡更快地迭代,並嘗試多種不同的技術。

  • 更容易解釋:

    由於經典ML涉及直接的特徵工程,這些算法很容易解釋和理解。此外,由於我們對數據和底層算法有了更深入的瞭解,調參和更改模型設計也更簡單。另一方面,深層學習是一個“黑盒子”,即使是現在,研究人員也不能完全瞭解深層網絡的“內部”。由於缺乏理論基礎,超參數和網絡設計也是一個很大的挑戰。

原文鏈接:https://towardsdatascience.com/deep-learning-vs-classical-machine-learning-9a42c6d48aa

【加入社群】

新智元 AI 技術 + 產業社群招募中,歡迎對 AI 技術 + 產業落地感興趣的同學,加小助手微信號: aiera2015_1 入群;通過審核後我們將邀請進群,加入社群后務必修改群備註(姓名 - 公司 - 職位;專業群審核較嚴,敬請諒解)。


分享到:


相關文章: