11月30日下午，2019中國人工智能產業年會重磅發佈《2019人工智能發展報告》（Report of Artificial Intelligence Development 2019）。
清華大學計算機系副主任唐傑教授主持了報告發布儀式，九三中央科技委副主任、中國傳感器與物聯網產業聯盟副理事長郭源生教授，日本工程院院士、中國人工智能學會名譽副理事長、日本德島大學任副繼教授及與會嘉賓共同為報告揭幕。
唐傑教授代表報告編寫相關單位就《2019人工智能發展報告》主要內容進行了介紹。
後臺私信回覆“20191201”獲取人工智能發展報告全文及唐傑教授“PPT”。
唐傑教授發言
該報告由清華大學-中國工程院知識智能聯合研究中心、中國人工智能學會吳文俊人工智能科學技術獎評選基地聯合發佈，北京智譜華章科技有限公司提供技術支持。報告力圖綜合展現中國乃至全球人工智能重點領域發展現狀與趨勢，助力產業健康發展，服務國家戰略決策。
報告依託於AMiner平臺數據資源及技術挖掘成果生成相關數據報告及圖表，邀請清華大學、同濟大學等高校專家解讀核心技術及提出觀點建議，在一定程度上保證了報告的科學性和權威性。
報告涉及AI 13個子領域
報告內容涵蓋了人工智能13個子領域，包括：機器學習、知識工程、計算機視覺、自然語言處理、語音識別、計算機圖形學、多媒體技術、人機交互、機器人、數據庫技術、可視化、數據挖掘、信息檢索與推薦。
報告呈現兩大亮點
唐傑教授介紹，“該報告對人工智能每一個子領域進行了詳細的分析，包括基本概念、發展歷史、人才概況、代表性論文解讀和前沿技術進展。相比於2018年的人工智能發展報告，具有兩方面亮點，一方面體現在”AI技術的近期發展“，另一方面體現在”人才脈絡一網打盡“。
唐傑教授發言
針對亮點一”AI技術的近期發展“，唐傑教授以 “深度學習”為例做了詳細闡述。深度學習是近10年機器學習領域發展最快的一個分支，由於其重要性，Geoffrey Hinton、Yann Lecun、Yoshua Bengio三位教授因此同獲2018年圖靈獎。
深度學習模型的發展可以追溯到1958年的感知機（Perceptron）。1943年神經網絡就已經出現雛形（源自NeuroScience），1958年研究認知的心理學家Frank發明了感知機，當時掀起一股熱潮。後來Marvin Minsky（人工智能大師）和Seymour Papert發現感知機的缺陷：不能處理異或迴路等非線性問題，以及當時存在計算能力不足以處理大型神經網絡的問題，於是整個神經網絡的研究進入停滯期。
最近30年來深度學習取得了快速發展。《2019人工智能發展報告》羅列了深度學習的四個主要脈絡，最上層是卷積網絡，中間層是無監督學習脈絡，再下面一層是序列深度模型發展脈絡，最底層是增強學習發展脈絡。這四條脈絡全面展示了“深度學習技術”的發展近況。（以下內容摘自報告第二章節）
深度學習模型最近若干年的重要進展
第一個發展脈絡（上圖淺紫色區域）以計算機視覺和卷積網絡為主。這個脈絡的進展可以追溯到1979年，Fukushima 提出的Neocognitron。該研究給出了卷積和池化的思想。1986年Hinton提出的反向傳播訓練MLP（之前也有幾個類似的研究），該研究解決了感知機不能處理非線性學習的問題。1998年，以Yann LeCun為首的研究人員實現了一個七層的卷積神經網絡LeNet-5以識別手寫數字。現在普遍把Yann LeCun的這個研究作為卷積網絡的源頭，但其實在當時由於SVM的迅速崛起，這些神經網絡的方法還沒有引起廣泛關注。
真正使得卷積神經網絡登上大雅之堂的事件是2012年Hinton組的AlexNet（一個設計精巧的CNN）在ImageNet上以巨大優勢奪冠，這引發了深度學習的熱潮。AlexNet在傳統CNN的基礎上加上了ReLU、Dropout等技巧，並且網絡規模更大。這些技巧後來被證明非常有用，成為卷積神經網絡的標配，被廣泛發展，於是後來出現了VGG、GoogLenet等新模型。2016年，青年計算機視覺科學家何愷明在層次之間加入跳躍連接，提出殘差網絡ResNet。ResNet極大增加了網絡深度，效果有很大提升。一個將這個思路繼續發展下去的是近年的CVPR Best Paper中黃高提出的DenseNet。在計算機視覺領域的特定任務出現了各種各樣的模型（Mask-RCNN等）。2017年，Hinton認為反向傳播和傳統神經網絡還存在一定缺陷，因此提出Capsule Net，該模型增強了可解釋性，但目前在CIFAR等數據集上效果一般，這個思路還需要繼續驗證和發展。
第二個發展脈絡（上圖淺綠色區域）以生成模型為主。傳統的生成模型是要預測聯合概率分佈P（x， y）。機器學習方法中生成模型一直佔據著一個非常重要的地位，但基於神經網絡的生成模型一直沒有引起廣泛關注。Hinton在2006年的時候基於受限玻爾茲曼機（RBM，一個19世紀80年代左右提出的基於無向圖模型的能量物理模型）設計了一個機器學習的生成模型，並且將其堆疊成為Deep Belief Network，使用逐層貪婪或者wake-sleep的方法訓練，當時模型的效果其實並沒有那麼好。但值得關注的是，正是基於RBM模型Hinton等人開始設計深度框架，因此這也可以看做深度學習的一個開端。
Auto-Encoder也是上個世紀80年代Hinton就提出的模型，後來隨著計算能力的進步也重新登上舞臺。Bengio等人又提出了Denoise Auto-Encoder，主要針對數據中可能存在的噪音問題。Max Welling（這也是變分和概率圖模型的高手）等人後來使用神經網絡訓練一個有一層隱變量的圖模型，由於使用了變分推斷，並且最後長得跟Auto-Encoder有點像，被稱為Variational Auto-Encoder。此模型中可以通過隱變量的分佈採樣，經過後面的Decoder網絡直接生成樣本。生成對抗模型GAN（Generative Adversarial Network）是2014年提出的非常火的模型，它是一個通過判別器和生成器進行對抗訓練的生成模型，這個思路很有特色，模型直接使用神經網絡G隱式建模樣本整體的概率分佈，每次運行相當於從分佈中採樣。後來引起大量跟隨的研究，包括：DCGAN是一個相當好的卷積神經網絡實現，WGAN是通過維爾斯特拉斯距離替換原來的JS散度來度量分佈之間的相似性的工作，使得訓練穩定。PGGAN逐層增大網絡，生成逼真的人臉。
第三個發展脈絡（上圖橙黃色區域）是序列模型。序列模型不是因為深度學習才有的，而是很早以前就有相關研究，例如有向圖模型中的隱馬爾科夫HMM以及無向圖模型中的條件隨機場模型CRF都是非常成功的序列模型。即使在神經網絡模型中，1982年就提出了Hopfield Network，即在神經網絡中加入了遞歸網絡的思想。1997年Jürgen Schmidhuber發明了長短期記憶模型LSTM（Long-Short Term Memory），這是一個里程碑式的工作。當然，真正讓序列神經網絡模型得到廣泛關注的還是2013年Hinton組使用RNN做語音識別的工作，比傳統方法高出一大截。在文本分析方面，另一個圖靈獎獲得者Yoshua Bengio在SVM很火的時期提出了一種基於神經網絡的語言模型（當然當時機器學習還是SVM和CRF的天下），後來Google提出的word2vec（2013）也有一些反向傳播的思想，最重要的是給出了一個非常高效的實現，從而引發這方面研究的熱潮。
後來，在機器翻譯等任務上逐漸出現了以RNN為基礎的seq2seq模型，通過一個Encoder把一句話的語義信息壓成向量再通過Decoder轉換輸出得到這句話的翻譯結果，後來該方法被擴展到和注意力機制（Attention）相結合，也大大擴展了模型的表示能力和實際效果。再後來，大家發現使用以字符為單位的CNN模型在很多語言任務也有不俗的表現，而且時空消耗更少。Self-attention實際上就是採取一種結構去同時考慮同一序列局部和全局的信息，Google有一篇很有名的文章“attention is all you need”把基於Attention的序列神經模型推向高潮。當然2019年ACL上同樣有另一篇文章給這一研究也稍微降了降溫。
第四個發展脈絡（上圖粉色區域）是增強學習。這個領域最出名的當屬Deep Mind，圖中標出的David Silver博士是一直研究RL的高管。Q-learning是很有名的傳統RL算法，Deep Q-learning將原來的Q值表用神經網絡代替，做了一個打磚塊的任務。後來又應用在許多遊戲場景中，並將其成果發表在Nature上。Double Dueling對這個思路進行了一些擴展，主要是Q-Learning的權重更新時序上。DeepMind的其他工作如DDPG、A3C也非常有名，它們是基於Policy Gradient和神經網絡結合的變種。大家都熟知的AlphaGo，裡面其實既用了RL的方法也有傳統的蒙特卡洛搜索技巧。Deep Mind後來提出了一個使用AlphaGo的框架，但通過主學習來玩不同（棋類）遊戲的新算法Alpha Zero。
唐傑教授表示：“報告還展示了近一兩年深度學習的發展熱點，比如去年穀歌Bert一經發布，就引起了整個產業界和學術界的轟動，或將影響深度學習乃至整個機器學習的未來。報告對Bert的相關研究進行了詳細梳理，無論是最新還是最經典的研究都進行了整理，可以讓讀者從相關研究中窺見未來。”
通過AMiner可生成趨勢分析
亮點一還體現在詳細的知識圖譜中。唐傑教授指出，“每一個領域都有豐富的知識圖譜架構，從知識圖譜可以一覽整個領域的發展脈絡。同時，通過這樣的知識圖譜還可以進一步開展包含主題分析、熱點話題分析等多層次的趨勢分析、趨勢洞察等”。
針對亮點二“人才脈絡一網打盡”，唐傑教授做了簡單分析。報告通過對人工智能頂級期刊/會議近10年論文及相關學者數據的深度挖掘分析，研究了各領域學者在世界及我國的分佈規律。同時，報告進一步統計分析了各領域學者性別比例、h-index分佈以及中國在各領域的合作情況，通過統計中外合作論文中作者的單位信息，將作者映射到各個國家中，進而統計出中國與各國之間合作論文的情況。
唐傑教授介紹說，“我們還開發了人才精準畫像和超大規模知識圖譜，通過數據挖掘，首先找到作者，對每一個作者進行深度的人才畫像，不僅能看到每一個學者的聯繫方式、職位、單位信息，還有職位變遷、興趣變化等等。另一方面，通過對學者的精準畫像，針對每一個領域的專家全球分佈圖和國內分佈圖可以進行國內外對比分析，甚至可以開展人才流失分析，比如分析一個國家人才引進和人才流出的情況是盈利還是虧損等。”
最後，唐傑教授對報告撰寫的數據支持平臺AMiner進行了介紹。AMiner系統自2006年上線以來已經運行了十多年，它是一個知識驅動科技情報挖掘平臺，包含超過三億篇論文和一億多科研人員數據，能夠提供包括專家發現、智能推薦、機構評估、人才地圖和科技趨勢分析等多種服務。AMiner平臺諸多功能已在科技部、教育部、北京市科委、自然基金委等多家單位應用，希望AMiner平臺未來能有更多方面的應用前景。
為智能產業發展助力獻策
當前，我國進入科技高速發展期，人工智能作為科技領域冉冉升起的新星，受到國家的高度重視。在多層次戰略規劃的指導下，無論是學術界還是產業界，我國在人工智能國際同行中均有不錯的表現。我國人工智能的發展已駛入快車道。
在這個階段下，能夠推動技術突破和創造性應用的高端人才對人工智能的發展起著至關重要的作用。此次發佈的《2019人工智能發展報告》，通過深入探討研究方法，對近年來的熱點及前沿技術進行了深度解讀，展現最新研究成果，內容在聚焦當下人工智能發展現狀的同時，並作出技術性分析，更對相關領域的未來發展方向進行了展望，為讀者瞭解近期人工智能相關領域的發展動向、基礎及應用研究的代表性成果提供信息窗口。
該報告是集嚴謹性、綜合性、技術性、前瞻性為一體的專業領域報告，具有極高的學術價值和參考價值。不僅有利於推進我國人工智能的研究探索，同時還對國家洞悉人工智能發展態勢、實施人工智能發展策略起到重要參考借鑑。
後臺私信回覆“20191201”獲取人工智能發展報告全文及唐傑教授“PPT”。
— 完 —
關注清華-青島數據科學研究院官方微信公眾平臺“THU數據派”及姊妹號“數據派THU”獲取更多講座福利及優質內容。
閱讀更多 THU數據派 的文章
