引
在當前飛速發展的創新步伐中，科技正在一步步地解決人類面臨的種種難題。例如我們經常討論的人工智能，得益於越來越成熟化的AI技術，人們的生活已經得到了極大的改善，像圖像識別、人臉識別、聲紋識別、醫療影像等，為人類生活帶來的改變已肉眼可見。同時，還有一部分AI技術，例如文本信息提取、語言情感分析、更智能的通話機器人等NLP技術，這些技術在近幾年同樣取得了顯著的進步，並無疑將在不久之內為我們的生活再一次帶來鉅變。
探究諮詢類企業
相比於10年前，人們只能通過計算機完成一些統計數據、存儲數據等簡易的操作。而如今在智能化的時代下，計算機作為一個被人類頻繁使用的工具，甚至還能實現一些具有創造性、思維能力、主觀判斷的操作。
事實上，計算機的智能化必須依賴大量的歷史數據，這些數據除了有如字母、日期、電話號碼、郵政編碼等結構化數據之外，通常還有文本文件、圖片、音頻、視頻、信息等一些非結構化數據形式。慶幸的是，在數字化時代下這些數據仍在不斷地增長、豐富、產生價值，從而也讓計算機的智能化成為了可能。唯一的問題是，當計算機無法有效地理解、讀取某些數據——例如“文章”、“旋律”時，我們再想從中挖掘含有寶貴价值的信息就會遇到巨大的困難。
以當下大量的文本文件為例，如合同、簡歷、調查問卷、協議書、授權書等，這些文件往往和所有企業的商業利益直接相關，但由於文本文件種類多且內容樣式複雜，以往在缺少有效的技術手段情況下，企業在分析處理上就會特別消耗時間與人力，效率十分低下。而最直接的一類受害企業便是純粹基於數據與經驗提供高價值商業服務的各類諮詢公司。不論是管理諮詢公司還是細分至品牌諮詢公司、人力資源諮詢公司等，其在對大量數據的應用和處理上都有著極高的要求，且往往形式各異。
像調研問卷，它以一種主觀意見收集的形式，有效地反映出組織者所想了解問題的關鍵點。尤其在做開放性問題時，可以自己組織語言自由的回答問題或提建議。而對於這些開放性問題，當文本審閱人在做內容審閱時，少量的文本我們可以人力閱讀精準的篩選，但對於大量、多篇幅的意見反饋該如何快速又精準的獲取信息呢？
簡歷作為次於身份證的第二重要信息，是每個人在公司招聘前都需要準備的。公司不僅通過閱讀簡歷信息篩選人才還是要對人才進行第二次面試。簡歷瀏覽看起來並不需要很長時間，如果有大量的簡歷又如何將它們之間對比擇優呢？純粹依賴人力去閱覽每一份簡歷，不管對於何種企業，都將消耗大量的人力和時間。
合同是人與人、公司與公司之間進行交易時一個重要的憑證。對於大量不同類型的合同文件如何能快速按日期查找到想要的文件或按公司名字查找想要的文件，難道真的要手動的翻閱一個一個找嗎？
對於上述存在的問題，小數量的文件可以通過人力審閱，但對於成千上萬份大量的文本文件光靠人力審閱不僅不能快速獲取問卷調查中的信息，反而還會拖延工作進度、消耗人力及時間。所以如何解決這個問題是現在諮詢類公司面臨的一個較大的困擾。
非結構化數據及自然語言處理
如上文所述，讓我們先回顧一下結構化數據和非結構化數據之間的區別。以調研問卷為例，調研問卷通常以選擇題和開放式問題。選擇題以字母的形式呈現，而這些字母是計算機能直接讀懂的數據，不僅是字母還有數字。這種形式規整、邏輯清晰、能直接以表格形式來進行存儲和分析的數據就稱為結構化數據。
反之就很好理解非構化數據，那些“非數字非字母”的數據，像我們即將要研究的開放式調研問題，它們都是是以文本文字、圖片、視頻等難以直接利用計算機進行理解、處理的數據。這種非結構化數據相比於結構化數據，呈現的形式多種多樣，這樣複雜的形式計算機也就需要花很複雜的過程分析這些數據。
但科技的發展就像一場永無盡頭的追逐賽，追逐著那句”沒有最好，只有更好“，而人工智能的發展就正好印證了這句話。
自然語言處理作為文本分析的一項特有技術為了我們的智能化生活做出了巨大貢獻，像我們現在常見的智能搜索引擎、自動回答、語音識別、文字識別、機器翻譯、文本分析等等。
我們的日常工作中有80%的信息來源於語言，而文本作為人類知識最大的存儲源，在通過自然語言處理對文本內容的理解下，能讓生硬的文本內容富有情緒、情感。然而自然語言處理作為機器與人之間的一個重要的紐帶，在識別人類情感中扮演者不可或缺的角色。
文本分析的應用
目前主流的自然語言處理技術基本都包含如下數個分析算法，分別為：情緒解析、觀點提取、關鍵詞分析、文本聚類、詞法分析、句法分析、相似度分析、知識圖譜、錯字/流利程度分析。基於這九種算法，無論是長文本還是短文本，都可以從不同角度對文本多維度的分析。
我們來簡單看看自然語言處理算法的功能，如語憶特有十二種細節情緒解析：根據Plutchik情感輪理論體系，可從中文文本中識別出最多達12種不同的細節情緒（喜愛、樂觀、驚訝、焦慮、厭惡等等），幫助理解作者情感表達。觀點提取：對每句話的核心思想進行提煉、整理，高度精煉概括每段話所想表達的觀點。詞法分析：逐個解讀文本內容中的字詞，將內容字詞拆分成有語法含義的序列。基於字詞間的關係分析，引擎可以展示出每個字詞的詞性。句法分析：通過對文本內容中詞的詞性分析，按中文句法結構關係（如主謂、動賓、定中、並列等結構關係)將這些詞分層次展現出來。
又是如何將這些功能融入到現實的文檔中？我們以郵件整理為例，郵件作為我們生活中收發郵件的一個必不可少的工具。時間久了郵箱中就會積累大量未讀郵件，或許僅有那麼少數文件才是重要的文件。故現在很多郵箱供應商都會基於自然語言處理技術提供智能的郵件分類服務，首先我們可以通過文本聚類對郵件標題進行簡單分類，其次對於分好類的郵件再進行觀點提取，這樣不僅能快速獲取文件中的有效信息，還能避免閱讀到垃圾郵件。
當我們已經完成文章撰寫、陳述演講稿或商業報告後，我們可以通過詞法分析對每句話中的詞語做詞性歸納，這樣我們就可以快速看出這句話的邏輯結構是否通順。而句法分析，可以檢查出每句話中詞與詞之間達主謂賓邏輯表達是否完整。
而對於協議、授權書、合同、報告等不同形式的文件，利用機器學習技術及自然語言技術，系統通過觀點提取將繁複的內容最優化，以簡易閱讀的形式呈現。可再利用錯字、流利程度分析二次對文件進行錯別字篩選以避免在簽署後帶來不必要的糾紛。
像人力諮詢類企業，當面對大量的難以靠人力閱讀的調研問卷時。計算機通過自動獲取原始數據，理解文件內容並識別關鍵信息，利用關鍵詞分析技術對員工意見做標籤分類。在關鍵詞分析的基礎上，用觀點提取能將多段的觀點整理歸納，這樣文本審閱人在審閱時可以針對標籤瞭解到員工在哪些方面有意見或建議。
調研問卷實例分析
接下來我們以一份基於語憶自然語言處理技術，某諮詢公司對汽車企業的公司員工關於福利問題的開放式調研問卷做詳細的分析。
調研問卷是人力資源企業幫助公司瞭解員工福利、員工滿意度、員工培訓方面最有效的一個解決方案。調研問卷能反映出員工對哪些方面支持哪些方面有意見。
首先，語憶通過觀點提取與文本分類對每條開放回答打上核心標籤，最終將兩萬多條數據內容歸納為15個標籤類，然後我們對這15個標籤類中情緒極值最高的“培訓與發展”和情緒極值最低的“工作與條件”對比分析。
上圖為15個標籤類的平均情緒極值。情緒極值分析是對文本內容整體分析得出的正負面情感特性，以50分為界，分值越高表示情感狀態越積極，反之消極。從15個標籤類我們可以看出員工們對“培訓與發展”的情緒狀態最積極，我們可以猜想，員工們希望企業多開設培訓課程這樣有助於幫助他們提高自身的能力。另一方面，由於一些企業設施條件未達到員工的滿意度或一些福利待遇和環境的未改善導致在工作條件這一項情緒最低。
接下來我們根據情緒極值最高的“培訓與發展”和最低的“工作條件”這兩個標籤，再做進一步的關鍵詞分析，看看在這兩個標籤下的二級標籤關鍵詞都有哪些。
通過關鍵詞分析引擎，自動檢索全文，智能識別出不同的詞彙、短語，並按照其不同的出現頻次進行提取。首先我們將“培訓與發展”中的所有內容篩選出來，再根據“培訓與發展”下的每一條觀點進行關鍵詞分析，分析出每條內容的核心關鍵詞。最後將這些核心關鍵詞整理歸納排序。因為“培訓與發展”的情緒極值最高，所以以降序的形式排列。
在“培訓與發展”中員工們對培養、技術、機會、晉升最為關注。可以看出，員工身為企業的一員希望在未來的發展中能得到更好的發展，也反映出企業管理者對培訓方面的考慮還有所欠缺，員工希望管理者能在這方面更加關注。
這裡和上面 “培訓與發展”篩選的方法一樣。將“工作與條件”中的所有內容篩選出來，根據“工作與條件”下的每一條觀點進行關鍵詞分析，分析出每條內容的核心關鍵詞。因為我們要知道是哪些因素使得“工作與條件”的情緒極值最低，所以以升序的形式對這些核心關鍵詞整理歸納排序。
在 “工作與條件”中，領導、補貼、員工、辦公室使員工最不滿。我們覺得有這樣幾個原因，由於多數員工在培訓方面提意，可以看出領導在這方面不重視，身為管理者並沒有在遇到問題時做出有效地解決承諾。關於辦公室可以想到，汽車企業需要大量的人力，企業員工數量的增多導致工作環境的問題或辦公室裡的基礎設施不完善，從而引起了員工的不滿。
接下來我們就針對“培訓與發展”和“工作條件”中二級標籤下的前四項標籤，返回到已經歸納好的觀點中看看是不是有出現分析的原因。
從上圖“培訓與發展”中能看出員工們希望得到更多技術方面的培養，並且在已有的基礎上有更好的發展機會和晉升機會。也能感覺到員工們對於這份工作的積極態度以及對知識的求知慾和個人提高自我價值的渴望。
從辦公室、員工、補貼這三點來看，由於企業員工數量多，導致辦公室空間座位不夠，辦公空間小人多導致空間空氣不通暢。雖然有通勤車，但由於企業地理位置的偏遠部分員工坐不到通勤車或通勤車時間與員工上下班的時間不匹配。之所以員工們要補貼也是有原因的。從“工作與條件”這張圖能看出企業管理者對員工的關懷較少，很多時候即便是做出瞭解決方案但最後也並沒能對這些問題有效的實施。
從上述的分析，通過自然語言處理技術，能對大量文本數據進行多維度的分析，核心觀點的歸納能很好的反映員工對各個方面的滿意程度、需求和建議。不僅能準確找到問題的關鍵點還在整個分析流程中節約大量的時間和人力消耗。
不僅限於情緒解析、觀點提取、關鍵詞分析。還可對文本做錯字、流利程度分析，利用語言模型，判斷一句話的“真實程度”，即是否接近於真人說話的方式，同時也可刪選出錯詞別詞。像在分析合同、授權書、協議等一些重要的交易類文件，這樣可以有效的避免在簽約前和簽約後因為別字所產生不必要的糾紛。
知識圖譜構建通過信息抽取、知識融合、知識加工等方法為企業搭建結構化語義知識庫，以符號形式描述物理世界中的概念及其相互關係，實體之間通過關係相互聯結，構成網狀的知識結構。以圖形方式向用戶反饋結構化的知識，用戶不必瀏覽大量網頁，就可以準確定位和深度獲取知識。
總結
在這個被數字化逐漸吞沒的時代下，人工智能技術的發展成果在當下我們肉眼可見，智能化產品的豐富性也使我們的生活質量不斷提高。無論是有大量難處理文本文件的諮詢類企業，還是有大量待處理文本文件的其他領域企業。伴隨著自然語言處理技術的不斷精進和革新，高效、智能、精準的內容理解及自動化分析將不再遙遠。
—— 專注於大數據與人工智能http://yuyidata.com
