09.16 思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

今年是TWS蓝牙耳机行业发展最迅猛的时期,随着消费升级的推进,随身、智能已成为音频爱好者最为关注的话题。

然而,TWS蓝牙耳机行业往往具有大投入、高技术门槛、利益相关多方的行业特点,入局者想要在TWS蓝牙耳机领域扎根生长并不容易,对TWS蓝牙耳机行业从业者而言,如何准确把控整体产业链和寻找适合自身独特的道路变得尤为重要。

对于深耕智能语音行业十多年的思必驰来说,在准确把控整体产业链和寻找适合自身独特的道路上已有了一些沉淀。

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

在此次2019(秋季)中国蓝牙耳机产业高峰论坛上,来自思必驰的刘洪彬先生发表了关于《 低功耗算法在智能穿戴设备的应用》的演讲,从自身经验出发,阐释了其对TWS蓝牙耳机的独特看法。

以下为演讲实录,内容经我爱音频网整理和编辑。

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

思必驰是基于AI技术、国内领先的人机交互平台型公司,从人机交互Turnkey产品与方案到全渠道对话式智能服务方案,逐渐总结出了自身的耳机经验。

关于芯片适配:更多的尝试,更多的期待

十多年来,思必驰扎根智能语音行业,不断致力于智能语音技术的算法的研究,包括从前端信号处理、唤醒、声纹、识别、语义理解,到知识图谱、对话管理、语音合成等等。此外,思必驰定制平台提供专门定制人机交互方案服务,主要应用于智能、物流等领域。

1、低功耗算法

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

低功耗算法主要包括双麦Beamforming、命令词检测、骨导特征检测、回声消除。而在智能穿戴产品方面,我们最常用的算法,用我们自身的唤醒说法来——minis检测,从DMI上升到MS以后,对降噪的技术有了很好的提高。

2、思必驰在TWS蓝牙耳机领域的方案尝试

2019年上半年里,我们团队(40多人)针对智能耳机领域进行了尝试许多,做了许多专门的方案,比如内嵌DSP的方案、BES2300和QCC512X、外挂DSP方案等。

(1)通用命令词

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

针对这个方案,思必驰建立了两个通用模型,类似接听电话、挂断电话、打开支付宝等。

(2)品牌唤醒词定制

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

思必驰也会给客户定制品牌唤醒词。例如我们拥有完整的标准化数据产业方案以及数据标注方案,便于模型的训练和调参。

(3)低功耗唤醒适配平台

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

针对客户不同的产品,不同的声学结构,我们会对他的声腔做一些声学适配,最终在各个产品里面逐个的验证、测试。

(4)智能耳机、智能手机、平板

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

此外,思必驰适配高通的302X,蓝讯的8832等蓝牙芯片平台,这些平台通过硬件结合的形式实现,同时方案也应用于智能耳机、智能手机、平板等方面。

迄今为止,思必驰适配了这些芯片,在和芯片商适配的过程中做了很多努力,也积累了一些经验,期待着能够于更多的AI芯片商携手,发挥出芯片最佳性能。

晓听 FreeSpeech E1方案:打磨智能穿戴垂直场景解决方案

芯片的适配其实只是第一步,打磨完整的方案依然需要很多的时间和精力。

那么接下来要谈到,我们的适配能给大家带来什么帮助呢?

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

这个答案其实就是

晓听 FreeSpeech E1方案,由我们和奥妮共同打造。

晓听 FreeSpeech E1方案亮点颇多:2MIC定向增强与降噪;免提语音交互;30KM/H降风噪;always on < 2mA;12小时连续高清通话。

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

Speech的降噪算法以及全交互的语音技术,通过结构的设计和声学模型的适配,解决了30功率每小时的风噪的问题,使通话更加清晰,并同步提高了唤醒和识别率。整体功耗2mA以内,持续通话12小时,这就是思必驰整体的硬件方案。

1、QualcommH3为基,达成两百个功耗成就

在芯片的优异表现下,整体待机功耗中,思必驰将整个功耗做到了2mA以内,持续通话12小时。

2、降噪:2MIC定向增强,环境噪声抑制,可30KM/H抗风噪

这个方案也可以快速给方案商和手机厂商改版,在不更改外观结构的前提下,直接就可以落地,做一款智能语音耳机。刚刚提到了我们的降噪算法,比如在骑行场景、餐厅场景、地铁等表现效果非常不错,这是采集的音频数据,有一个对比的效果(播放音频),这是带风噪的,这是降噪后的效果。

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

垂直场景解决方案

思必驰方案还包括垂直场景方案,当一个耳机赋予云交付后,它的场景就会越来越多,比如我们在物流配送、专车驾驶、餐饮服务等方面也做了一些垂直的解决方案,致力于让社会更为便捷、更为美好。例如让快递小哥解放双手、给司机带来一些安全、在餐饮行业的一些服务质检等。

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用


完整方案:从AI耳机到DUI对话平台

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

从自身能力出发,思必驰可以提供一整套完整的接入方案,核心技能如下:

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用

智能耳机能够通过SMA协议进入思必驰的晓听APP,然后能够满足不同客户的个性化需求,做个性化性能,把产品做得更具差异化:比如客户的耳机接入我们的APP之后,就可以控制自己的家电;比如客户要做服务质检,利用场景识别,会进入我们后台的质检服务,其中包括手表、音箱、耳机、手环等场景。此外,在苹果的store和安卓的各大商店都可进行下载。

思必驰刘洪彬:低功耗算法在智能穿戴设备的应用


分享到:


相關文章: