【導讀】辭九迎零，我們迎來2020，到下一個十年。在2019年機器學習領域繼續快速發展，
元學習、遷移學習、小樣本學習、深度學習理論等取得很多進展。在此，小編整理這一年這些研究熱點主題的綜述進展，共十篇，瞭解當下，方能向前。
1、A guide to deep learning in healthcare（醫療深度學習技術指南）
Google 斯坦福 Nature Medicine
作者：Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean
摘要：我們介紹了醫療保健的深度學習技術，重點討論了計算機視覺、自然語言處理、強化學習和廣義方法的深度學習。我們將描述這些計算技術如何影響醫學的幾個關鍵領域，並探討如何構建端到端系統。我們對計算機視覺的討論主要集中在醫學成像上，我們描述了自然語言處理在電子健康記錄數據等領域的應用。同樣，在機器人輔助手術的背景下討論了強化學習，並綜述了基因組學的廣義深度學習方法。
網址：
https://www.nature.com/articles/s41591-018-0316-z
2、Multimodal Machine Learning: A Survey and Taxonomy（多模態機器學習）
CMU TPAMI
作者：Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency
摘要：我們對世界的體驗是多模態的 - 我們看到物體，聽到聲音，感覺質地，聞到異味和味道。情態是指某種事物發生或經歷的方式，並且當研究問題包括多種這樣的形式時，研究問題被描述為多模式。為了使人工智能在理解我們周圍的世界方面取得進展，它需要能夠將這種多模態信號一起解釋。多模態機器學習旨在構建可以處理和關聯來自多種模態的信息的模型。這是一個充滿活力的多學科領域，具有越來越重要的意義和非凡的潛力。本文不是關注特定的多模態應用，而是研究多模態機器學習本身的最新進展。
我們超越了典型的早期和晚期融合分類，並確定了多模式機器學習所面臨的更廣泛的挑戰，即：表示，翻譯，對齊，融合和共同學習。這種新的分類法將使研究人員能夠更好地瞭解該領域的狀況，並確定未來研究的方向。
3、Few-shot Learning: A Survey（小樣本學習）
香港科大 第四範式
作者：Yaqing Wang,Quanming Yao
摘要：“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。儘管最近的人工智能在許多數據密集型應用中取得了成功，但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題，我們必須求助於機器學習，它支持人工智能的科學研究。特別地，在這種情況下，有一個機器學習問題稱為小樣本學習(Few-Shot Learning，FSL)。該方法利用先驗知識，可以快速地推廣到有限監督經驗的新任務中，通過推廣和類比，模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能，是一種減少繁重的數據收集和計算成本高昂的培訓的方法，也是罕見案例學習有效方式。隨著FSL研究的廣泛開展，我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然後指出了FSL的核心問題，將問題從“如何解決FSL”轉變為“如何處理核心問題” 。因此，從FSL誕生到最近發表的作品都被歸為一個統一的類別，並對不同類別的優缺點進行了深入的討論。最後，我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向，希望為初學者和有經驗的研究者提供一些見解。
網址：https://www.zhuanzhi.ai/paper/c7a2464c0865b9602a4103fb44659858
4、meta Learning: A Survey（元學習）
作者：Joaquin Vanschoren
摘要：元學習，或學習學習，是一門系統地觀察不同機器學習方法如何在廣泛的學習任務中執行的科學，然後從這種經驗或元數據中學習，以比其他方法更快的速度學習新任務。這不僅極大地加快和改進了機器學習管道或神經體系結構的設計，還允許我們用以數據驅動方式學習的新方法取代手工設計的算法。在本文中，我們將概述這一迷人且不斷髮展的領域的最新進展。
網址：http://www.zhuanzhi.ai/paper/dd60eaffea966331e199fa531bae7044
5、A Comprehensive Survey on Transfer Learning（遷移學習）
作者：Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He
摘要：遷移學習的目的是通過遷移包含在不同但相關的源域中的知識來提高目標學習者在目標域上的學習表現。這樣，可以減少對大量目標域數據的依賴，以構建目標學習者。由於其廣泛的應用前景，遷移學習已經成為機器學習中一個熱門和有前途的領域。雖然已經有一些關於遷移學習的有價值的和令人印象深刻的綜述，但這些綜述介紹的方法相對孤立，缺乏遷移學習的最新進展。隨著遷移學習領域的迅速擴大，對相關研究進行全面的回顧既有必要也有挑戰。本文試圖將已有的遷移學習研究進行梳理使其系統化，並對遷移學習的機制和策略進行全面的歸納和解讀，幫助讀者更好地瞭解當前的研究現狀和思路。 與以往的文章不同，本文從數據和模型的角度對40多種具有代表性的遷移學習方法進行了綜述。還簡要介紹了遷移學習的應用。為了展示不同遷移學習模型的性能，我們使用了20種有代表性的遷移學習模型進行實驗。這些模型是在三個不同的數據集上執行的，即Amazon Reviews，Reuters-21578和Office-31。實驗結果表明，在實際應用中選擇合適的遷移學習模型是非常重要的。。
網址：https://arxiv.org/abs/1911.02685https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4
6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications（多模態智能論文綜述：表示學習，信息融合與應用）
京東
作者：Chao Zhang,Zichao Yang,Xiaodong He,Li Deng摘要：自2010年以來，深度學習已經使語音識別、圖像識別和自然語言處理發生了革命性的變化，每種方法在輸入信號中都只涉及一種模態。然而，人工智能的許多應用涉及到多種模態。因此，研究跨多種模態的建模和學習的更困難和更復雜的問題具有廣泛的意義。本文對多模態智能的模型和學習方法進行了技術綜述。視覺與自然語言的結合已成為計算機視覺和自然語言處理研究的一個重要領域。本文從學習多模態表示、多模態信號在不同層次上的融合以及多模態應用三個新角度對多模態深度學習的最新研究成果進行了綜合分析。在多模態表示學習中，我們回顧了嵌入的關鍵概念，將多模態信號統一到同一個向量空間中，從而實現了多模態信號的交叉處理。我們還回顧了許多類型的嵌入的性質，構造和學習的一般下游任務。在多模態融合方面，本文著重介紹了用於集成單模態信號表示的特殊結構。在應用方面，涵蓋了當前文獻中廣泛關注的選定領域，包括
標題生成、文本到圖像生成和可視化問題回答。我們相信這項綜述可促進未來多模態智能的研究。
網址：
https://arxiv.org/abs/1911.03977https://www.zhuanzhi.ai/paper/efe8f986342d215a8179d447624801ee
7、Object Detection in 20 Years: A Survey（目標檢測）
作者：Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye
摘要：目標檢測作為計算機視覺中最基本、最具挑戰性的問題之一，近年來受到了廣泛的關注。它在過去二十年的發展可以說是計算機視覺歷史的縮影。如果我們把今天的目標檢測看作是深度學習力量下的一種技術美學，那麼讓時光倒流20年，我們將見證冷兵器時代的智慧。本文從目標檢測技術發展的角度，對近四分之一世紀(20世紀90年代至2019年)的400餘篇論文進行了廣泛的回顧。本文涵蓋了許多主題，包括歷史上的里程碑檢測器、檢測數據集、度量、檢測系統的基本構建模塊、加速技術以及最新的檢測方法。本文還綜述了行人檢測、人臉檢測、文本檢測等重要的檢測應用，並對其面臨的挑戰以及近年來的技術進步進行了深入分析。
網址：https://arxiv.org/abs/1905.05055https://www.zhuanzhi.ai/paper/4d9c0fdcc5a0a2b796e44e214fc9cb02
8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications（中文知識圖譜）
作者：Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang
摘要：隨著智能技術的不斷髮展，作為人工智能支柱的知識圖譜以其強大的知識表示和推理能力受到了學術界和產業界的廣泛關注。近年來，知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。構建中文知識圖譜的技術也在迅速發展，不同的中文知識圖譜以支持不同的應用。同時，我國在知識圖譜開發方面積累的經驗對非英語知識圖譜的開發也有很好的借鑑意義。本文旨在介紹中文知識圖譜的構建技術及其應用，然後介紹了典型的中文知識圖譜，此外我們介紹了構建中文知識圖譜的技術細節，並介紹了了中文知識圖譜的幾種應用 。
網址：https://www.mdpi.com/2071-1050/10/9/3245
9、Advances and Open Problems in Federated Learning（聯邦學習）
摘要：聯邦學習(FL)是一種機器學習設置，
在這種設置中，許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型，同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則，可以減輕由於傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下，本文討論了近年來的進展，並提出了大量的開放問題和挑戰。
網址：https://arxiv.org/abs/1912.04977
10、Optimization for deep learning: theory and algorithms（深度學習理論）
摘要：什麼時候以及為什麼能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。
首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然後討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用於訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分佈式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關於神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。
網址：https://www.zhuanzhi.ai/paper/2a5e7596942977067240c946ecd4bd47
閱讀更多 番茄AI 的文章
