Salesforce公佈自然語言處理重大進展,一個模型搞定十項任務

幾年前,通過語音對手機提問來在互聯網上找到答案基本是不可能的,因為計算機在理解人類語言方面並不是很出色。

如今,由於機器學習方面的進步,我們開始逐漸意識到谷歌助理或蘋果Siri在對我們的問題進行應答方面基本已經沒有太大的問題了。不過,不可否認,這一進展是極其艱難的,需要對非常具體的自然語言處理任務進行強化培訓,比如將文本翻譯成語音,對感嘆詞或者理解代詞的引用進行分析,等等。這也是Salesforce的研究人員正在著手解決的問題。

本週三,他們發佈了一篇論文,概述了一種可以同時處理10個獨立自然語言處理(NLP)任務的單一模型的方法。從本質上說,這一研究是充滿挑戰的。據瞭解,這一模型被稱為“自然語言十項全能(Natural Language Decathlon)”,簡稱“decaNLP”。

Salesforce公佈自然語言處理重大進展,一個模型搞定十項任務

通過將該模型與“多任務問題應答網絡(Multitask Question Answering Network;MQAN)”進行結合,可以同時學習10項任務,包括問答、機器翻譯、摘要、自然語言推理、情感分析、語義角色標註、關係抽取、目標導向對話、語義分析、常識代詞消解。

Salesforce的首席科學家Richard Socher在接受採訪時說:“我們的模型好比是NLP領域的瑞士軍刀。”換句話說,研究人員和開發人員實際上只需使用一種工具,而不必為那些任務中的每一項使用一種工具,那些任務需要無法用於其他任何任務的超級定製的模型。最終,這一模型可能會帶來更有能力的聊天機器人,讓它們可以更自然地與人進行交談。

Socher與ImageNet做了一個類比,這是一個標籤圖像數據庫,被認為開啟了深度學習的革命,使得圖像識別方面取得了突破。但是對於NLP,並不能通過一項任務就能進行定義。對此,Socher稱:“在NLP領域,其實不存在所有研究人員都認為:如果你在這個方面取得進展,它就會整體上改善NLP的單一任務。”

Salesforce的研究人員,包括Bryan McCann,Nitish Shirish Keskar和Caiming Xiong,提出的方法就是將這每一項任務都視作一個回答問題的問題。Socher解釋說,“問題回答其實是非常寬泛的——你可以隨便問任何問題——該研究相當於提供瞭解決幾個任務的單一模型。”

另外,MQAN允許進行所謂的“零樣本”(zero-shot)學習,這意味著該模型可以處理以前未見過的任務或未經過培訓的任務。“把它應用到一個全新的任務上,這是以前從未有過的,”McCann表示。“遇到換個方式來表述或意義上略有變化,大多數模型就無能為力,現在我們的模型做到了。”

Salesforce公佈自然語言處理重大進展,一個模型搞定十項任務

他補充說,具體到實際應用,面對並不完全是已經學會的短語,聊天機器人可以做出極準確的答覆,更像是人們平常交談那樣。

事實上,Salesforce的這一研究也代表了著名人工智能研究員Yoshua Bengio的觀點,他是蒙特利爾大學計算機科學與運籌學系教授,與Socher在機器學習領域展開過合作。

他表示:“自從大約二十年前我開始致力於表示自然語言的詞彙嵌入以來,我的目標就是,同樣的表示法應該可用於所有自然語言任務。這篇論文中將所有這些任務表示為回答問題的想法至關重要,但這還不夠。論文作者搞出了自然語言十項全能,為這個目標定義一個基準,並引入了最終使這個夢想有可能實現的架構上的創新。”


分享到:


相關文章: