智通分享 | 自然語言處理,讓機器善解人意

自然語言處理(Natural Language Processing,簡稱NLP)是人工智能技術重要的組成部分,自然語言是指漢語、英語、法語等人們日常使用的語言,是自然而然地隨著人類社會發展演變而來的語言,而不是人造的語言,它是人類學習生活的重要工具。概括說來,自然語言是指人類社會約定俗成的,區別於人工語言,如程序設計的語言,要讓機器理解自然語言需要自然語言處理技術。


智通分享 | 自然語言處理,讓機器善解人意


什麼是自然語言處理(NLP)?

自然語言處理(NLP),是指用計算機對自然語言的形、音、 義等信息進行處理,即對字、詞、句、篇章的輸入、輸出、識別、分析、理解、生成等的操作和加工。實現人機間的信息交流,是人工智能界、計算機科學和語言學界所共同關注的重要問題。自然語言處理的應用包括機器翻譯、信息檢索、自動問答、情感分析、信息抽取等。

1.機器翻譯

機器翻譯(Machine Translation)是指運用機器,通過特定的計算機程序將一種書寫形式或聲音形式的自然語言,翻譯成另一種書寫形式或聲音形式的自然語言。機器翻譯是一門交叉學科(邊緣學科),組成它的三門子學科分別是計算機語言學、人工智能和數理邏輯,各自建立在語言學、計算機科學和數學的基礎之上。

目前,文本翻譯最為主流的工作方式依然是以傳統的統計機器翻譯和神經網絡翻譯為主。文本翻譯的應用廣泛,不同行業都可以採用相應的專業翻譯,但是,這一翻譯過程可能是機械的和僵硬的,在翻譯過程中會出現很多語義語境上的問題,有時還需人工翻譯來進行補充。

語音翻譯也在廣泛應用,例如機器同傳技術,可以在會議場景出現,演講者的語音實時轉換成文本,並且進行同步翻譯,能夠取代人工同傳,不同語言的人可以進行低成本有效交流。

圖像翻譯也有不小的進展,除此之外還有視頻翻譯和 VR 翻譯也在逐漸應用中。

2.智能檢索

基於語義的智能搜索,即識別用戶搜索詞句中的內容,理解用戶搜索意圖,全面準確匹配搜索內容,實現更好地搜索體驗。

例如,智通科技攜手中國石化打造的石油行業的搜索引擎,能夠提供智能搜索,基於語義的拓展,輸入的搜索沒有這個關鍵字,但是在搜索時候還是可以找出來,例如“庫車凹陷”是“塔里木盆地”的構造之一,所以搜索“塔里木盆地”時,有關“庫車凹陷”的內容也會搜索出來,是更善解人意的搜索助手。


智通分享 | 自然語言處理,讓機器善解人意


3.自動問答

自動問答是指利用計算機自動回答用戶所提出的問題以滿足用戶知識需求的任務。自動問答系統在回答用戶問題時,首先要正確理解用戶所提出的問題,抽取其中關鍵的信息,在已有的語料庫或者知識庫中進行檢索、匹配,將獲取的答案反饋給用戶。這一過程涉及了包括對詞法、句法進行語義分析的基礎技術,以及信息檢索、知識工程、文本生成等多項技術。

根據目標數據源的不同,問答技術大致可以分為檢索式問答、社區問答以及知識庫問答三種。檢索式問答和社區問答的核心是淺層語義分析和關鍵詞匹配,而知識庫問答則正在逐步實現知識的深層邏輯推理。

4.情感分析

情感分析主要對錶達的意見、評價、情緒、主客觀性等方面的研究。情感分析在工業界和學術界已經有著廣泛的應用,比如輿情監測,還有企業徵信、聊天服務機器人等。情感包括正面、負面和中性三個方面。例如,“這部電影情節還不錯,我很喜歡,但是這家影院的3D效果太爛,以後不會再來了。”如果在句子層面,句子前半段是正面;句子後半段是負面;既有正面也有負面,但綜合評價是負面。

5.信息抽取

信息抽取基本的任務就是要把一大段話變成結構化的表達;也就是說,信息抽取就是要把非結構化數據、半結構化數據變成結構化數據。舉個例子,下面是智通科技研發的語義魔方產品應用演示視頻,依託語義魔方產品可實現自然語言文本的機器閱讀,抽取核心知識點,提煉知識多維特徵,可以將一大段文字提煉成知識卡片,大大提升了知識獲取的效率。


智通分享 | 自然語言處理,讓機器善解人意

智通科技知識卡片構建

自然語言處理是人工智能領域中的重要一環,自然語言處理的進步將推動人工智能的發展。

智通科技作為在人工智能領域的創新公司,憑藉團隊多年在自然語言處理方面的專注研發,打造了以用戶需求為核心的國內首款語義理解和處理的工具級產品—語義魔方。

“語義魔方”產品可以滿足用戶的各種語義分析和業務應用需求,例如情感分析、文本內容識別等,同時支持結構化、半結構化、非結構化等多源異構數據融合,並從中識別相應的實體和關係,構建知識圖譜,支撐企業的智能化應用。

“語義魔方”產品目前已經迭代更新到2.0版本,並且已經在石油石化、政務、出版、金融等行業進行了廣泛的應用。

這幾年,智通科技在自然語言處理的研究上取得了長足的進步,未來智通科技將搭乘人工智能快速發展的列車,不斷深入研究,將自然語言處理技術在更多的行業和場景中進行應用。


分享到:


相關文章: