調研 | 李喆 洪軍

撰寫 | 洪軍

在公安審訊領域，有經驗的審訊人員少之又少，再加上眾多嫌疑犯在審訊過程中拒不配合且善於偽裝，很難攻克其心理防線。因此，在審訊場景亟待需要一款多模態分析系統用以解決高效審訊的需求，提高辦案效率。

產品架構完整，形成了多模態數據採集、分析、應用的商業閉環

雲思創智是一家提供多模態情緒分析系統的產品與解決方案公司。通過對人的微表情、微動作、聲強、心率、體溫等多種模態進行綜合分析，從而判定人的情緒是否處於緊張、撒謊等異常狀態，主要應用在公安、海關、金融等領域。

雲思創智基於圖像識別、聲紋識別、微動作識別、人臉識別等技術構建了“沉思者”多模態算法開放平臺，用於對多模態數據進行分析建模。在沉思者算法平臺之上構建了多模態數據採集器“凝瞳”與多模態數據應用產品“靈視”。

沉思者多模態開放算法平臺是雲思創智的智能算法的PaaS平臺，集成了深度學習、機器學習、聲強識別等多種算法，雲思創智的產品均構建在此之上。同時，沉思者也可以對開發者提供。開發者只需提供數據，就可以在平臺上訓練出自己的多模態模型。

凝瞳產品主要包括邊緣計算Box和霧計算服務器，其內置了圖像識別等算法。通過與無人機、攝像頭配套使用，可以實時識別視頻流中的特殊對象，主要應用在工業檢測、電力巡檢、車輛追蹤、異常預警等場景。

靈視產品為多模態情緒分析研判系統，通常會搭載麥克風、攝像頭作為一套軟硬件產品對外出售。靈視通過對人們的微表情、微動作、聲強、心率、提問等多模態綜合智能分析能力，發現人們的實時情緒變化，並進行分析預警等，主要應用公安審訊、海關、金融等領域。

近千億藍海市場待挖掘

多模態情緒分析屬於新興市場，應用領域包括公安審訊、海關、金融、安檢等，潛在市場規模接近千億，亟待挖掘。

在公安審訊領域，根據公安部數據，截至2017年底，我國共有39888個派出所，每個派出所約有3個審訊室，全國共約有12萬個審訊室。據云思創智CEO透露，每個審訊室配套一個多模態情緒分析系統，每個審訊室預算為15萬元。因此，公安審訊的市場規模約為180億元。

在海關領域，全國目前擁有43個直屬海關，近4000個通關監管點，每個通關監管點預算為15萬。因此，海關的市場規模約為6億元。

在金融領域，多模態情緒主要應用在貸款、理賠等面談環節，部署地點在各個銀行的網點。根據銀行業協會2018年3月分佈的《2017年中國銀行業服務報告》數據，我國共擁有22.87萬個銀行營業網點。每個網點預算為10萬左右。因此，多模態情緒分析系統在金融領域市場規模約為220億。

上述公安審訊、海關、金融三個行業市場規模共計406億元，再加上公共安全領域，多模態情緒分析市場規模已接近千億。

數據、技術、先發優勢多方位構建行業壁壘

目前，在多模態情緒分析領域，產品較少，雲思創智的“靈視”發佈能帶來很好的先發優勢。此外，數據與技術也能多維度構建雲思創智的護城河。

多模態情緒分析與心理學有著密切的聯繫，並不是簡單的將多個單模態相加，而是探究多個模態之間隱藏的關聯關係。

基於此，傳統的單模態數據在模型訓練時並不適用，而是需要對視頻、圖像等數據同時進行多模態的標註，而這些數據標註都需要人工完成。訓練一個模型通常需要1萬條數據，每條數據標註的市場價格在2000-3000元。因此，訓練一個模型通常需要花費大量的資金。

為此，雲思創智通過與中國人民公安大學等高校構建聯合實驗室，校企合作，邀請專家共同參與數據標註工作，降低標註成本。在耗時一年的研究之後，雲思創智聯合專家、幹警等共同標註超過2000個小時視頻數據，超過400萬張情緒圖片數據。擁有了行業領域專家的背書，數據與產品的可信度均得到了有效保障。

在技術層面上，多模態深度學習深晶網絡需要能夠融合多個單模態的特徵。因此，不僅需要掌握圖像識別算法、語音算法、人臉識別算法，還需要搭建融合這幾種算法的多模態算法，技術難度較高。

愛分析認為，雲思創智所在的市場潛在規模雖然接近千億，但為一次性市場，分攤在每年為百億級別，後期的運維費用較低，市場屬於資源導向型，行業目前競爭者較少。若公司能夠通過直銷、渠道商、政府背書等方式快速拓寬市場，將能夠為公司帶來豐厚的業績回報。

其次，在市場跑馬圈地結束之後，能夠帶動行業業績增長驅動力在於數據分析服務。公安、金融等行業均會尋找數據服務合作伙伴，若雲思創智對數據分析能力高度重視，亦將為公司業績增長帶來全新動力。

近日，愛分析專訪雲思創智創始人兼CEO凌志輝，就多模態情緒分析發展趨勢與雲思創智業務發展進行了深入交流，現摘取部分內容如下。

多模態情緒分析系統需求強烈

愛分析：創立雲思創智的初衷是什麼，當時是如何考慮這個方向的？

凌志輝：雲思創智在2016年成立，成立之後，我們一直在摸索人工智能產品的方向和落地的可能性。2016-2017年，我們做了很多項目，有軍隊、氣象、環保的項目。2017年年初，沉思者產品上線，把我們在企業項目中積累的經驗、技術等集成起來，目的是為了幫助開發者能夠利用該平臺自己去訓練和學習自己的模型。

後來，我們發現公檢法、司法在審訊過程當中對被審訊人員情緒狀態判斷存在痛點，審訊人員要花大量的時間進行審訊，並且被審訊人員有很多偽裝，很難攻克他們的心理防線。審訊人員需要通過審訊過程當中的通過蛛絲馬跡去進行判斷。於是，我們就設計了凝瞳和靈視兩款產品。

凝瞳定位為多模態數據網關，主要用來做多種數據採集，如攝像頭、麥克風、定向麥克等，對這些信息進行濾噪、特徵提取、邊緣計算等。

靈視是多模態情緒研判系統，負責處理凝視得到的結構化數據。靈視判斷出這個人的情緒狀態，包括高興、生氣、緊張等，幫助審訊人員去定位和發現可疑點。

愛分析：雲思創智切入公安審訊環節的原因是什麼？

凌志輝：首先，這個行業目前是一片空白，沒有什麼廠家在做；其次，需求非常強烈，公安部、司法部都有專門的科研基金在做這方面研究，且預算很高；最後，政府端有很好的數據。

我們可以發現人工智能領域的獨角獸公司大部分都是做政務端業務起家的，主要是因為政務有痛點、有資金、有數據。

愛分析：多模態情緒研判系統在公安審訊是個剛需落地場景嗎？

凌志輝：這個場景一直都有需求，只是沒有比較好的產品而已在。

現在，多模態情緒研判機還是處於輔助階段，但未來重要性會越來越高。主要是因為人的判斷會有偏差，而且我們的模型是越訓練準確度越高。未來，審訊人員會摒棄人的判斷和偏差，將會更依賴相對客觀的評價體系。

我們的產品可以提供審訊過程中相對客觀、公正的表現情況，而且我們的產品也可以變為審訊執法辦案的領導的眼睛，幫助他們去判斷刑訊執法人員在執法過程中的問題。

此外，審訊人員對於審訊方法上很多時候比較茫然，不知該用什麼技巧、策略。全國的審訊專家數量很少，且審訊人員容易疲勞，因此他們願意接受多模態情緒研判機。

數據與技術是核心優勢

愛分析：現在審訊是個完全的黑盒，那麼雲思創智在審訊產品訓練時的數據從哪裡獲取？

凌志輝：我們通過和中南財經、南京森林警官學校、中國人民公安大學都建立了相應的聯合實驗室和校企合作，邀請他們的專家來做這方面的工作。

愛分析：多模態識別的圖像、語音等是一起進行標註嗎？

凌志輝：目前來說，是將圖像、語音單獨訓練，然後將語義的數據抽取，再將他們做為黑盒子的輸入進行深度訓練，是分兩個階段做的。

愛分析：雲思創智是如何決定由這5個多模態進行情緒識別判定？

凌志輝：這個不是一次性決定的，我們最早的時候是用3個模態，表情、聲音、音域，後來是這些專家建議增加一些其他維度，就形成了現在的5個模態，效果很不錯。

愛分析：行業本身技術上的門檻是什麼？

凌志輝：三個部分。一個部分是標註的地方比較難，二是算法本身比較難，三是心理學模型和多模態深度學習網絡的融合比較困難。算法需要考慮多種模態之間的相互映射、相互描述、語義之間相互打通，和心理學模型關聯，多模態遠遠不是單模態的疊加。多模態其實是通過多模態機器學習，去發現多種單模態之間隱藏相關性。

愛分析：雲思創智在數據標註的時候，需要同時將多個狀態都進行標註？

凌志輝：對，在時間軸、時間空間標註，5個模態都需要標註。幹警提供的數據我們會和他們籤保密協議，數據只能用於我們項目模型的優化。

愛分析：現在多模態是5個模態，如果要加新的模態數據是不是要進行重新標註？

凌志輝：數據是需要重新標註，但是現在已經標註了這麼多，再標註其他的模態只是少部分的工作，標註成本會降低很多。公安的標註成本之所以這麼高，是因為他有一個與事實相比較的一個關係，與事實相比較去判斷你是否存在問題，但是海關就不存在這個問題。海關更關注於異常表情這一塊。

愛分析：是不是可以基於這5個模態，從中選擇部分模態進行場景落地應用？

凌志輝：對的，可以。像海關可能就只需要3個模態就可以了。

未來，將不斷優化產品並推廣至其他領域

愛分析：下一步，雲思創智打算如何去推廣靈視產品？

凌志輝：我們會進行幾個省級層面的課題，我們也會尋找相應的部門做政法的論證、測試，得到一個相應的產品結論，然後就可以快速推廣。省級的話一般會定政策，採購權一般都在市級，所以雖然不是省級購買的，但是是省級批覆的。

愛分析：雲思創智的客戶是直銷為主是嗎？

凌志輝：直銷+渠道。渠道方面主要依靠集成商，現在大概有5-6個集成商，也有其他集成商在往我們這邊匯聚。

愛分析：雲思創智未來兩年發展規劃是什麼？

凌志輝：我們希望我們的產品成為多模態領域的研究專家，然後把多模態技術產品應用到行政、金融、公共安全等領域。

愛分析：靈視的改善點有哪些方面？

凌志輝：有三點，分別是性能、功耗，算法的準確度。

為此，我們將引入一些心理學模型，與多模態模型進行相互配合。然後，在裡面增加一些人機互動的功能，比如，談話的建議。其次，把語言邏輯矛盾做一個技術研究，能通過一些已知的事實，去判斷審訊人員的邏輯是不是有一些衝突。

愛分析：現在看，公安審訊是最難的一個場景嗎？

凌志輝：對，公安審訊是最難的一個場景。從難易度來看，公安審訊最難，然後金融、海關、安檢依次遞減。

愛分析：下一步應用到金融、海關，這些數據標註要重新做嗎？

凌志輝：基本可以通用，但還需要根據行業屬性，再做些數據標註調整以及增量訓練。

愛分析：業務方面，雲思創智會做數據分析與公安技戰法的模型嗎？

凌志輝：會的，我們的節奏是第一階段賣產品，第二階段賣方案，第三階段賣服務。

第一階段就是賣靈視的產品，第二階段是把技戰法打包，完善產品矩陣，包括管理系統、判斷分析系統、審訊效果評估等，一次出售多套產品，形成規模效應。第三階段就是做數據定製化訓練和分析服務。