正文1：
論文標題：復旦邱錫鵬超全NLP預訓練模型綜述論文：兩張圖帶你梳理完整脈絡
作者：機器之心
論文摘要：自從 BERT 橫空出世以後，儘管算力要求比較大，但預訓練語言模型仍層出不窮，有點類似當年 GAN 大量更新的盛況。雖然只過去了一兩年，但形形色色的預訓練語言模型確實讓我們弄不清楚整體狀況到底是什麼樣的。我們知道 BERT、ALBERT、XLNet 等眾多優秀模型，但它們之間的關係、差別、分類到底是什麼樣的？這還是主流模型，如果沒讀過具體論文，我們是很難分清楚的，對於更多的變體與擴展，基本上就無能為力了。但近日復旦大學邱錫鵬等研究者發了一篇論文，它以兩張圖詳細展示了預訓練語言模型的現狀與分類。復旦的這篇綜述性論文非常豐富，它以 25 頁的篇幅展示了預訓練語言模型的方方面面，不論是新奇的預訓練任務，還是各種模型針對領域知識的擴展，我們都能快速 Get 到。
原文鏈接：https://mp.weixin.qq.com/s/wLAWqtFe7y0eLNmiKrSQzg
正文2：
論文標題：華中科技大學綜述遷移學習領域自適應：具有類間差異的聯合概率最大平均差異
作者： 張瑋瑋 PaperWeekly
論文摘要：領域適應（DA），或遷移學習，通過將知識從標記的源域轉移到新的未標記或部分標記的目標域，廣泛應用於圖像分類、情緒識別、腦機接口等。傳統的 DA 方法遵循這個假設，即主要使用一些度量方法來分別度量邊際概率或條件概率分佈。然而，聯合概率分佈可以更好地測量兩個域的分佈差異。為了方便利用 DA 方法，在特徵轉換時需要考慮兩個方面：1）可遷移性，它最小化了同一類在不同域之間的差異；2）區分性，它最大限度地擴大了不同域的不同類之間的差異，從而使不同的類更容易區分。傳統的 DA 方法只考慮可遷移性，而忽略了類內可區分性。作者直接考慮了源域和目標域具有不同的聯合概率分佈的情況， 提出了具有類間差異的聯合概率最大平均差異。通過直接考慮聯合概率分佈的差異，作者提出了一種用於分佈適應的具有類間差異的聯合概率 MMD ( discriminative joint probability MMD, DJP-MMD)。
它同時最小化了同一類不同域之間的聯合概率分佈差異以獲得可遷移性，最大化了不同域之間的聯合概率分佈差異以獲得可識別性。還可以很容易地將 DJP-MMD 用於考慮不同域之間的非線性轉移。
原文鏈接：https://mp.weixin.qq.com/s/YJOQomKrI0JLjL0BCQNt5w
正文3：
論文標題：CVPR 2020 Oral論文 | 浙江大學、阿里巴巴探究深度知識遷移的深度歸因圖
作者：專知
論文摘要：通過對異構任務的預訓練深度神經網絡(PR-DNNs)中編碼的知識之間的內在聯繫，揭示了它們之間的互換性，從而使知識從一個任務轉移到另一個任務，從而減少後者的訓練工作量。本文提出了深度歸因圖(depa)來研究從PR-DNNs中學習到的知識的可轉移性。在DEPARA中，節點對應於輸入，並由與PR-DNN輸出相關的向量化屬性映射表示。邊緣表示輸入之間的相關性，並通過從PR-DNN中提取的特徵的相似性來度量。兩種PR-DNNs的知識轉移能力是通過其對應基因間的相似性來衡量的。我們將DEPARA應用於轉移學習中兩個重要但尚未研究的問題:預先訓練的模型選擇和層選擇。大量的實驗證明了所提出的方法在解決這兩個問題上的有效性和優越性。
原文鏈接：https://mp.weixin.qq.com/s/o0P2_Llw5VX2fH29a5XGuw
正文4：
論文標題：CVPR 2020 | 港大聯合騰訊AI Lab等推出深度視覺推理2.0：組合式目標指代理解
作者：陳振方 AI科技評論
論文摘要：本文介紹的是CVPR 2020上收錄的論文《Cops-Ref: A new Dataset and Task on Compositional Referring Expression Comprehension》（已開源），文章第一作者是香港大學的陳振方同學，這項工作是陳振方同學在澳大利亞阿德萊德大學吳琦老師組訪問時所完成。跟現存數據集相比，Cops-Ref構建主要包含兩部分：1) 具有複雜和不同組成程度的文本描述的生成；2）包含和目標區域語義相似的干擾圖像的選取。文本描述生成引擎：為了生成合適的文本描述，我們開發了一個文本描述生成引擎。它能產生語法正確、沒有歧義和不同複雜程度的文本描述。具體而言，給定一個待描述的區域，我們首先從一組提前定義好的邏輯形式中選取一個語言模板；然後，我們把目標物體所代表的節點作為根節點，向外拓展，從場景圖(scene graph)獲取一個特定的推理樹。該推理樹包含了模板所需的語義內容。最後，我們把推理樹包含的語義內容填寫到特定的模板中。
原文鏈接：https://mp.weixin.qq.com/s/O-VBHwH-hyGlmEzhXIinig
正文5：
論文標題：論文寫作指南 | 如何以初學者角度寫好一篇國際學術論文？
作者： 蔣寶尚 AI科技評論
論文摘要：人工智能頂會論文之爭越來越激烈了，CVPR、AAAI、ICLR等各大會議雖然錄取率逐年降低，但是投稿論文數量卻在逐年增加。雖說發論文不是衡量一位學者的學術能力的唯一標準，但確是極為重要的標準。一篇好的論文不僅要求主題明確，思路新穎，而且還要求論文寫作本身行文流暢，邏輯清晰。如何寫出一篇合格的國際學術論文呢？在論文寫作過程，你是否在引文中用到過這樣的句子呢：“因為模型A好使，所以用A做某任務”、“因為任務B沒有人做，所以我做了”、“之前的人做了什麼工作，我做了什麼工作，我的好”......以上問題其實是論文寫作中常見的錯誤邏輯，在頂會審稿人審校這些論文的時候，其實是最反感這種寫法。通過揭露這些常見錯誤，來自中國人民大學趙鑫老師在3月17日「智源Live：論文寫作專題報告會」中專門做了題為《如何以初學者角度寫好一篇國際（頂級）學術論文》分享。
原文鏈接：https://mp.weixin.qq.com/s/zwTlXBrZiC88y9F5DDU0_g
閱讀更多 AI應用前沿 的文章
