京東叮咚mini2技術解析:79元的軟硬件會有怎樣的效果?

2018年,智能音箱已成為新風口,市場呈現群雄並戰的局面。前不久,京東叮咚發佈了京東叮咚PLAY和mini2兩款智能音箱新品,其中京東叮咚mini2在活動期間的價格僅為79元,可以說是這個價位上比較有競爭力的產品。

京东叮咚mini2技术解析:79元的软硬件会有怎样的效果?

近日,打造了這款產品的叮咚團隊對這款產品的軟硬件技術進行了深入的講解。

6Mic+全新算法,提升喚醒和識別效果

語音交互能力是智能音箱的體驗基礎,硬件拾音能力和軟件降噪能力都非常重要。喚醒和遠場識別都要依賴噪聲場景下的關鍵詞識別能力,降噪性能越好,越容易喚醒,識別準確率也高。

叮咚團隊負責人介紹稱,雖然京東叮咚mini2是一款入門級產品,但仍然使用了6Mic環形陣列,可採集更多聲音信息,提供更好的降噪效果和更精確的聲源定位。同時在Mic和揚聲器之間還通過密封空間和加裝膠墊等方法進行隔音,降低了共振造成的影響。

雷鋒網在與叮咚團隊進一步溝通後得知,京東叮咚mini2依然使用硅麥(MEMS麥克風)而不是傳統的駐麥(駐極體電容麥克風)。據雷鋒網瞭解,硅麥相比駐麥,體積和功耗更小,性能和穩定性更好,且多片聯用時的一致性好,更適合降噪算法發揮。

軟件方面,京東叮咚mini2使用了科大訊飛第三代基於卷積神經網絡CNN的全新喚醒和聲學處理算法,能有效消除環境中的噪聲、混響,抑制設備本身的回聲,將純淨音頻流輸送到喚醒和識別引擎,以提升喚醒和識別效果。

自定義喚醒詞,提供個性化體驗

作為入門級產品,京東叮咚mini2的一大賣點便是個性化的自定義喚醒詞功能。為了提升自定義喚醒詞的可用性,研發團隊為其加入了喚醒效果評價機制、喚醒詞迭代等技術,以提升自定義喚醒詞的喚醒率。

由於不同的詞發音難度和音調不同,並不是所有的詞語都適合做喚醒詞。為了保證喚醒效果和用戶體驗,京東叮咚mini2加入了量化的客觀標準,通過星級評價喚醒詞的適用程度,並在實際使用中建議用戶使用四星以上的自定義喚醒詞。

自定義喚醒算法的全新數據模型,會讓處理語音信號時的運算量大幅上漲。在音箱計算能力有限的前提下,研發團隊除優化算法本身之外,還加入了前置的激活檢測,提高語音數據的准入標準,以避免無用的數據處理量。

此外,在生成自定義喚醒詞的算法模型後,喚醒效果並不是一成不變的。叮咚團隊使用了喚醒詞迭代技術,在用戶使用自定義喚醒的過程中,由喚醒所產生的語料也可用於優化喚醒效果。喚醒的次數越多,積累的語料越多,喚醒效果越好。

區分閒聊和喚醒?做好降噪和選詞

京東叮咚mini2有了6Mic和科大訊飛最新算法,能夠很好地消除噪聲和混響等雜訊,但還有一個比較偏門的問題:如何區分閒聊中出現的喚醒詞和真正的喚醒?

在技術講解時,京東叮咚mini2全程沒有出現被誤喚醒的情況,表現可說是非常不錯。不過團隊負責人表示,其實目前還不能完全解決此問題。

他告訴雷鋒網,從識別喚醒詞的技術邏輯來講,只要麥克風能為識別引擎傳遞清晰的喚醒詞,音箱就應該被喚醒。而日常閒聊嚴格來說應該被當做環境噪音處理,在做好降噪等軟硬件基礎工作的前提下,可以減少這種閒聊中的誤喚醒。

而在喚醒詞的選擇上,使用疊詞且儘量不用產品名作為喚醒詞,也是目前比較好的避免誤喚醒的方法。同時京東叮咚mini2可讓用戶使用自定義喚醒詞,可以進一步減少誤喚醒問題的出現。

但同時他也指出,目前智能音箱產品的喚醒機制均為離線執行,識別引擎只對設置好的喚醒詞敏感。如果想完全杜絕閒聊誤喚醒,需要讓識別引擎全程在線,並將所有語音信息上傳到雲端進行分析,這在目前是不現實的。

全雙工語音交互?語料數據庫是關鍵

目前在日常閒聊功能領域,表現最好的當屬微軟小冰,其“全雙工語音交互感官”技術和Session-oriented框架,讓人機語音交互可以很自然的隨時打斷、轉移話題,真正像真人對話一樣聊不停。

這樣的技術,能不能應用到京東叮咚mini2以及其他智能音箱中?

叮咚團隊稱,全雙工語音交互和Session-oriented目前幾大主流語音交互廠商都能實現,微軟小冰真正的厲害之處在於其背後的龐大語料數據庫,這是影響全雙工交互最終效果的關鍵。

如果沒有足夠豐富的語料數據庫,即便使用了全雙工語音交互、Session-oriented或其他類似的技術,最終也會出現“AI知道你在說什麼,卻不知道用什麼來回答”的情況。

團隊負責人對雷鋒網說,京東叮咚具備全雙工多輪對話的能力即AIUI功能,其主要應用在任務交互和多輪對話上,用戶可自行選擇打開或關閉,但在目前條件尚不成熟的情況下,暫時不會將其作為主流功能使用。


分享到:


相關文章: