眾所周知，手語很難學習並且更難進行教學。手語溝通不僅僅使用手勢、口腔，更重要的是使用面部表情和身體姿勢來傳達含義，這種複雜性意味著專業手語教學仍然很少並且很昂貴。但在人工智能（AI）的幫助下，這一切都可能很快改變，目前薩里大學計算機視覺研究團隊研發出一款以自動、直觀的方式教授手語的軟件。目前該軟件可以分析瑞士德語手語進行教學，並且提供有關如何改善手型、動作、位置和時間的詳細信息。未來我們可以運用人工智能（AI）考慮創建支持世界各地語言的手語學習軟件，並支持更多複雜語法等。
練習和評估手語很難，因為你無法閱讀或書寫，但是薩里大學計算機視覺研究團隊開發了一款針對手語的遊戲，遊戲會給你一個正在執行的手勢的視頻，或者給你一個描述這個手勢的最近的口語單詞（或者兩者）。然後它會記錄下你學習的手勢，並告訴你如何才能做得更好。研發團隊把它變成一個遊戲會鼓勵人們通過遊戲競爭排名以獲得最好的分數，並在這一過程中改進手語的標準姿勢。
人工智能（AI）用於績效評估的所有階段。首先，卷積神經網絡（CNN）從視頻中提取有關您上半身姿勢的信息。 CNN是一種基於大腦視覺皮層處理鬆散的AI。然後，您的骨架姿勢信息和原始視頻將被髮送到手形分析器，其中另一個CNN查看視頻並在視頻中的每個點處拉出手形信息。
然後將骨骼信息和手形狀發送到手動分析儀，該分析儀使用稱為隱馬爾可夫模型（HMM）的東西。這種類型的人工智能（AI）允許我們隨著時間的推移對骨架和手型信息進行建模。然後，它將它所看到的內容與表示該符號的完美版本的參考模型進行比較，並得出其匹配程度的得分。 然後對手形分析儀和手動分析儀的結果進行評分並作為反饋呈現給您。
因此，所有人工智能（AI）都隱藏在簡單易用的界面背後，讓您專注於學習。我們希望自動的個人反饋能讓學生更多地參與學習簽名的過程。
人工智能（AI）帶到教室
到目前為止，該軟件僅適用於瑞士德語手語。但是研究表明，系統的“架構”不需要改變來處理其他語言，系統只需要更多的每種語言的錄像作為數據來訓練即可。研究團隊的目的是想我們如何使用人工智能（AI）將已知的知識來幫助人們學習新的語言，同時團隊還想看看如何在使用手語（如面部表情）的同時，增加交流的其他方面功能。
目前該軟件在教室等簡單環境中工作得最好，但是軟件如果能兼容視頻畫面背景的更多變化將更加強大。研發團隊正在評估軟件將和許多流行的應用程序一樣，讓你在沒有專家老師幫助的情況下在任何地方學習手語，隨著此類技術的發展，很快將有可能使每個人都能簡單快樂的學習手語。
閱讀更多 青竹雲科技 的文章
