CCAI2018丨周志華:探尋「深度森林」的奧祕

周志華教授去年提出了“深度森林”,吸引了很多研究者的關注,這是一種基於決策樹森林而非神經網絡的深度學習模型。本月,周志華團隊又提出了多層梯度提升決策樹模型,它通過堆疊多個迴歸 GBDT 層作為構建塊,並探索了其學習層級表徵的能力。此外,與層級表徵的神經網絡不同,他們提出的方法並不要求每一層都是可微,也不需要使用反向傳播更新參數。因此,多層分佈式表徵學習不僅有深度神經網絡,同時還有決策樹!

7月28日至29日中國人工智能大會(CCAI2018)將於深圳舉行,屆時周志華教授將發表題為《深度森林初探》的精彩報告,向國內外各界人士分享他對於深度學習要素探討的最新觀點。

在此之前,我們梳理了周志華教授在人工智能領域的主要思考和精華內容、幫助大家跟隨周教授聚焦AI。

CCAI2018丨周志華:探尋“深度森林”的奧秘

周志華,南京大學計算機科學與技術系主任、人工智能學院院長、歐洲科學院外籍院士、Fellow of the ACM, AAAI, AAAS, IEEE, IAPR, IET/IEE, CCF, CAAI

機器學習,從深度神經網絡到深度森林

“現在我們處於一個大數據的時代,但是我想現在所有人都非常清楚,這個大數據並不意味著真正大的價值,要得到數據裡面的價值,我們就必須要進行有效的數據分析,而今天我們要通過計算機來進行數據分析,就必須要進行機器學習。”周志華教授曾多次發表演講闡述他對於機器學習的前沿思考。

關於深度學習是什麼的問題,周志華教授曾通過一個案例向大家解釋。這個例子描述的是,有一個很著名的學會“Siam”,它的旗艦報《Siam News》裡面談到機器學習深度學習就是一個“子女”。周教授進一步談何為“深度”:生理學上能夠得到一點基本的啟發,那就是一個細胞可以得到很多的信號,這個現象在1943年被兩位學者總結成簡單的數學公式:幾個加和,再減掉一個數,再用函數處理一下。這個公式一直到今天還在使用。今天看到這麼複雜的深度學習系統,它的奧秘是什麼呢?周教授認為,所謂的神經網絡也好,深度神經網絡也好,最基本的單元就是這樣一個簡單的函數。

周教授還在論文中指出,近十年來,深度神經網絡在機器學習領域取得了顯著進展。多層表徵被認為是深度神經網絡的關鍵要素,通過構建分層或「深層」結構,該模型能夠在有監督或無監督的環境下從原始數據中學習良好的表徵,這被認為是其成功的關鍵因素。成功的應用領域包括計算機視覺、語音識別、自然語言處理等。

同時,儘管不可微模型如梯度提升決策樹(gradient boosting decision tree,GBDT)是建模離散或表格數據的主要方法,但是它們很難整合這種表徵學習能力。周志華團隊提出的多層 GBDT 森林(mGBDT),通過堆疊多個迴歸 GBDT 層作為構建塊,探索學習層級表徵的能力,該模型可以使用層間目標傳播的變體進行聯合訓練,無需推導反向傳播和可微性,實驗和可視化均證明該模型在性能和表徵學習能力方面的有效性。

人工智能產業發展,真正需要的是人才

除了研究機器學習的前沿課題,周志華教授也非常關注人工智能的產業發展。儘管人工智能技術已經在很多產業廣泛應用,但在周教授看來,人工智能技術主要的應用領域就是互聯網行業。他認為機器學習技術提供了利用數據的方法,可以解決由“人”這個主體在各行各業積累下的大量數據。“未來的人工智能技術就應該像電力一樣,會進入所有的行業。”周教授指出。

人工智能產業發展最核心的要素是什麼?周教授認為真正需要的是人才。

周教授表示,特別是和一般的軟件產業比,人工智能產業是一個非常凸現個人才智的行業。人工智能是軟件業的明珠,個別人的聰明才智在哪個方面取得算法上的突破,就會真的提高生產力。人工智能行業的特點,決定了人工智能的人才培養特別重要。在全球爭搶人工智能人才的年代,高水平人工智能人才培養的造血能力會導致產業核心競爭力的差異,而人工智能人才培養基地也會直接促進人工智能產業人才積聚形成。

即將要舉行的中國人工智能大會(CCAI2018)歷經三屆沉澱,已經成為國內人工智能領域產、學、研緊密結合的高端前沿交流平臺,通過匯聚全球AI領域的頂級專家展開精彩演講,助力國家培養高水平人工智能人才。周志華教授將在大會主報告中對深度學習的要素進行討論,並認為深度學習未必一定要通過神經網絡模型實現。周志華教授將介紹其在深度森林方面的初步探索,這是一種基於決策樹森林而非神經網絡的深度學習模型。

周志華教授的報告會有怎樣別開生面的前沿觀點呢?讓我們屏氣等待,共同見證AI大時代的每一次思想之花綻放!

周教授論文鏈接:

https://arxiv.org/pdf/1806.00007.pdf


分享到:


相關文章: