今天小編帶大家一起看一下幾篇備受關注的AI論文
Can Unconditional Language Models Recover Arbitrary Sentences
無條件語言模型能復現任意的語句嗎
論文作者：Nishant Subramani Samuel R. Bowman Kyunghyun Cho
作者單位：AI Foundation，New York University，Facebook AI Research
論文地址：https://www.aminer.cn/pub/5db92a0b47c8f766461fee81/can-unconditional-language-models-recover-arbitrary-sentences
技術領域：深度學習 自然語言處理 語言模型
核心圖表
摘要：
例如BERT或者ELMo這樣的基於神經網絡的生成語言模型可以在文本分類任務中不經過進一步fine-tuning就作為句子的通用編碼器。有沒有可能以類似的方式將它們改造成通用解碼器呢？為了實現這一目標，需要滿足這種情況:對於任意感興趣的目標句子，模型都有一些連續的表示，可以傳遞給語言模型以使其能夠復現該句子。作者並不打算回答是否設計一個可以產生這種表示的編碼器的問題，而是直接詢問這種表示是否存在。為了回答這個問題，作者設計了一種有效且互補的辦法，它用於將句子表示輸入到預訓練的無條件語言模型中，並通過一些相應的方法來將句子映射到這個表示空間中（或映射出這個表示空間）。作者將這個空間稱之為重新參數化的句子空間。然後，作者研究了在何種條件下，語言模型可以通過識別該空間中的一個點來生成一個句子。作者發現，只要使用適當大小的語言模型和表示，就幾乎可以完美地恢復任意的句子。
Spherical Text Embedding
一種球形的文本嵌入模型
論文作者：Yu Meng, Jiaxin Huang, Guangyuan Wang, Chao Zhang,Honglei Zhuang, Lance Kaplan, Jiawei Han
作者單位：伊利諾伊大學香檳分校，佐治亞理工學院，美國陸軍研究實驗室
論文地址：https://www.aminer.cn/pub/5de799f29e795e775806935f/spherical-text-embedding
技術領域：深度學習 自然語言處理
核心圖表
摘要：
無監督的文本嵌入模型在很多NLP任務中展現了強大的能力。儘管文本向量通常在歐幾里得空間裡學習得到，但是在單詞相似度和文檔聚類等任務中，方向相似度往往更有效，這就造成了文本嵌入的訓練階段和使用階段之間的差距。為了彌補這個差距，作者提出了一種基於無監督詞嵌入和段落嵌入聯合學習的球面生成模型。為了在球面空間中學習文本嵌入向量，作者提出了一種基於黎曼優化的具有收斂保證的優化算法。作者的模型具有較高的效率，在文本相似度和文檔聚類等多種文本嵌入任務上都有較好的表現。
Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation
通過編輯糾纏的隱變量空間控制無監督文本屬性的轉移
論文作者：王科，Hang Hua，萬小軍
作者單位：北京大學
論文地址：https://www.aminer.cn/pub/5d04e8eada56295d08dbf69f/controllable-unsupervised-text-attribute-transfer-via-editing-entangled-latent-representation
技術領域：深度學習 自然語言處理
核心圖表
摘要：
無監督文本屬性遷移可以自動的轉換文本來更改特定的屬性(例如情感)，而不使用任何平行數據，同時保持與屬性獨立的內容。現在主要的方法是嘗試分別對獨立於內容的屬性建模，例如學習不同文本屬性的特徵表示，或者使用多個不同屬性的解碼器。但是從同時控制遷移的程度或者遷移多個不同屬性的角度來看，這麼做會導致文本的不連貫。為了解決這個問題，作者提出了一種更靈活的無監督文本屬性遷移框架，該框架基於屬性分類器，通過對屬性潛在表示的最小編輯方式來代替屬性建模過程。更具體的，作者提出了一個基於Transformer的自動編碼器來學習離散文本的糾纏潛空間表示，這樣作者把文本遷移任務轉換為優化問題，並且設計了 Fast-Gradient-Iterative-Modification 算法來修改隱空間的表示，直至其符合目標屬性。大量的實驗結果表明，作者的模型在三個公共數據集上獲得了非常優越的性能。更重要的是，該模型不僅可以自由地控制遷移程度，而且可以同時進行多個方面的遷移。
Text-Based Interactive Recommendation via Constraint-Augmented Reinforcement Learning
基於文本的約束增強式強化學習的交互式推薦
論文作者：Ruiyi Zhang, Tong Yu, Yilin Shen, Hongxia Jin, Changyou Chen, Lawrence Carin
作者單位：杜克大學，三星美國研究中心，紐約州立大學布法羅分校
論文地址：https://www.aminer.cn/pub/5de799f89e795e7758069366/text-based-interactive-recommendation-via-constraint-augmented-reinforcement-learning
技術領域：深度學習 強化學習 推薦系統
摘要：
基於文本的推薦系統能夠利用更加豐富的用戶偏好信息，並且被證實相對於傳統的推薦系統有更好的性能。但是，推薦系統很容易違背用戶過去通過自然語言反饋的偏好，因為推薦系統為了實現進一步性能的提升，往往會探索推薦新的商品。為了解決這個問題，作者提出一種全新的約束增強的強化學習架構，它能夠隨著時間的推移有效的合併用戶的偏好。具體來說，作者利用一個鑑別器來檢測推薦系統是否做出違反用戶歷史偏好的推薦，這將被納入強化學習的優化目標，從而實現最大化期望的累積未來獎勵。作者提出的架構具有普適性，並且能夠擴展到帶有約束的文本生成任務中。實驗結果表明，與標準的強化學習方法相比，該方法普遍取得了改進。
Controllable Text-to-Image Generation
一種可控的文本到圖片生成模型
論文作者：Bowen Li, Xiaojuan Qi, Thomas Lukasiewicz, Philip H. S. Torr
作者單位：哈佛大學
論文地址：https://www.aminer.cn/pub/5de799739e795e77580692f2/controllable-text-to-image-generation
技術領域：深度學習 對抗生成
摘要：
作者提出了一種可控的文本生成圖片的對抗生成網絡（ControlGAN）。ControlGAN可以生成高質量的圖片並且通過自然語言描述控制圖片生成的過程。作者提出單詞級別的空間和基於通道指導的注意力驅動式生成模型，他們能夠分離不同的視覺屬性，並且讓模型專注於在與最相關的單詞相對應的子區域進行生成和操作。作者還構建了一個單詞級別的判別器，判別器將相關聯的文字與圖像區域聯繫起來，產生細粒度的監督梯度反饋。判別器促進訓練一個有效的生成器，它能夠操作特定的視覺屬性而不影響其他內容的生成。更進一步，作者設計了感知損失來減少圖像生成中的隨機性，並鼓勵生成器在特定的視覺屬性上操作以符合修改後的文本的需求。在基準數據集的實驗表明ControlGAN的表現超過現有最佳的模型，而且能夠在給定文本描述下有效修改出高質量的圖片。項目在https://github.com/mrlibw/ControlGAN
Glyce: Glyph-vectors for Chinese Character Representations
Glyce：一種基於字形信息學習漢字表示的方法
論文作者：Yuxian Meng, WeiWu, Fei Wang, Xiaoya Li, Ping Nie, Fan Yin Muyu Li, Qinghong Han, Xiaofei Sun and Jiwei Li
作者單位：香儂科技
論文地址：https://www.aminer.cn/pub/5db9298147c8f766461f84e0/glyce-glyph-vectors-for-chinese-character-representations
技術領域：深度學習 自然語言處理 語言模型
核心圖表
摘要：
很明顯，像漢語這樣的象形文字的NLP任務應該受益於這些語言中字形信息的使用。但是由於漢字缺乏豐富的象形證據，以及標準的計算機視覺模型對字形數據的泛化能力較弱，利用字形信息的語言表示模型還有待人們研究。
在這篇論文中，作者提出了Glyce，它是一種利用字形信息的漢字語言表示模型。作者貢獻有：
（1）使用古文字(如青銅器、篆書、繁體字等)來豐富漢字的象形證據；
（2）設計了tianzege-CNN架構，它更適合處理象形文字的特徵提取；
（3）為了提高模型的泛化能力，將圖像分類作為多任務學習的輔助任務。
作者發現基於字形的語言表示模型在大量的中文NLP任務中表現遠遠超過其他以字為單位的模型。Glyce在眾多中文NLP任務中達到了最佳水平，包括標註任務，句子分類，依存分析和語義角色標註。例如，Glyce在OntoNotes dataset的命名實體識別任務上F1達到了80.6，超出BERT1.5%；在復旦語料庫的文本分類任務上達到了99.8%的精度。
Kernelized Bayesian Softmax for Text Generation
用於文本生成的核化貝葉斯Softmax
論文作者：苗寧, 周浩, ChengqiZhao, WenxianShi, 李磊
作者單位：ByteDance AI lab
論文地址：https://www.aminer.cn/pub/5db9296147c8f766461f5487/kernelized-bayesian-softmax-for-text-generation
技術領域：自然語言處理 文本生成
摘要：
現有的文本生成神經模型在解碼階段都依賴softmax層來選擇合適的單詞embedding。現在大多數方法都是在softmax層採取一個單詞一一映射一個embedding的方式。然而，同樣的單詞在不同的上下文會有不同的語義。在本文作者提出了核化貝葉斯方法KerBS，他能夠更好的學習文本生成中的embedding。KerBS的優勢如下：它採用了embedding的貝葉斯組合來表徵具有不同語義的單詞；KerBS適用於解決一詞多義帶來的語義差異問題，並且通過核學習在embedding空間中捕捉語義的緊密程度，KerBS對極少出現的句子也能保持較高的魯棒性。研究表明，KerBS顯著提高几大文本生成任務的性能。
閱讀更多 AMiner學術 的文章
