06.03 東北大學智能手環“妙手回聲”項目獲全國總冠軍

　日前，2018“未來力大會”大學生社會創新大賽全國賽在上海落下帷幕，東北大學的“妙手回聲”項目榮獲創行中國科創冠軍賽全國總冠軍。

　針對聽力殘疾人與健全人的交流困難問題，東北大學的曾振、賀瀟、李榮頡三位同學在機器人科學與工程學院王斐老師的指導下，研發了一套基於多源信息融合的手語雙向識別系統。該系統由三部分組成：佩戴式手環（用於採集上肢肌電與慣性信息），安裝手語雙向交流APP的平板電腦，手語識別雲服務器。交流過程中，系統實時處理由手環採集得到的聾人上肢多源信息，基於深度學習在線識別手語關鍵詞，通過語法模型獲得手語詞句，經過語音芯片合成，實現手語到語音的轉換。同時，健全人的語音可以通過APP轉化成為文字和手語動圖，反饋給聽力殘疾人，從而實現兩者無障礙交流。

　今年10月，王斐老師科研團隊將代表中國前往美國硅谷參加2018創行世界盃總決賽。