2019年12月10日，手機廠商OPPO在深圳舉行“未來科技大會2019”。OPPO創始人兼首席執行官陳明永罕見地登臺演講。他發表了主題為“共創萬物互融新生態”的演講。他認為萬物互聯只是一種連接，萬物互融才是5G時代的主流。5G是一個大概念，而5G註定了必定要與其他技術相融合。5G帶來了場景之間的連接新方式，OPPO會提供更多的技術服務，而萬物互融則是5G時代繁盛的基石。
小編個人認為，從萬物互聯升級到萬物互融，是完全正確的。陳明永的說法都是對的，都是很有前瞻性的規劃。但是，陳明永說的這些都只是規劃。要怎樣是實現這個願景呢？陳明永並沒有展開來詳細談，只說未來三年投入500億元做研發。跟陳明永說法類似的是，去年8月9日至8月11日，華為舉行了“2019華為開發者大會”，在這次大會上，華為消費者業務CEO分享了“全場景”的概念，華為正式提出“全場景生態戰略”，華為的芯片、智能終端（例如“智慧屏”）都在強調全場景的鏈接。
無論是OPPO陳明永說的“萬物互融”還是華為餘承東說的“全場景”，都是在強調一點，就是“邊界的模糊”，產品之間應該是沒有邊界的，產品之間可以完全融合在一起。生活體驗是沒有邊界的，各種體驗應該是統一的。機器對於人的感知、理解也應該是多方面的。
無論是想要實現“萬物互融”還是“全場景”，在技術上最關鍵的還是AI芯片，只有更加聰明、智慧的AI芯片才能做到這一點。在人機交互方面，以前市場上的單模芯片僅僅能實現某一個扇面（例如視覺或者聽覺）的能力，而多模態芯片則能實現全場景的鏈接。多模態就是把“文字、語音、視覺、動作、環境”等多種方式融合在一起。說白了，這個交互的本質就是“讓機器也有感情”。
作為國內芯片設計行業的龍頭廠商，珠海炬芯科技在單模芯片領域取得了很大的成績。近期，炬芯又進軍了多模態芯片領域，炬芯ATS3609 (D) 是一款超低功耗的全集成多模態交互芯片平臺，多Mic拾音，支持全場景喚醒打斷、手指點讀， AI伴讀，GUI 反饋。ATS3609 (D) 具有雙核異構架構，集成 Cortex-A5 CPU 和 CEVA-X2 DSP，擁有足夠的算力；集成 PMU，支持低功耗和自適應動態電源管理架構。在為用戶提供高性能的同時帶來超低的功耗。是一枚高性能、低功耗、優成本特點於一身的優質多模態交互智能芯片平臺。
炬芯ATS3609 (D) 可以至少可以做到三種模態的統一：首先是語音交互，包括語音指令控制、語義理解、多輪對話、NLP、語音精準識別等領域；其次是機器視覺，包括自然物體識別、人臉識別、肢體動作識別等；第三則是則是傳感器智能，包括AI對熱量、紅外捕捉信號、空間信號的閱讀與理解。
那麼，多模態交互的主要場景有哪些呢？在物聯網設備上，大概就是用機器視覺技術進行嘴唇識別，來分離語音交互指令。嘗試通過用機器視覺來讀取說話人的唇語和動作，來判斷每個聲音指令的來源。在智能空調解決方案當中，在一些新的智能空調解決方案中，空調會在語音交互的基礎上通過機器視覺來判斷用戶的位置，提供智能送冷，並且會結合傳感器判斷屋內溫度和溼度，提供更精準的環境方案。多模態電視。今年電視背後的AI平臺戰打得風生水起，把機器視覺技術引入電視成為了新的趨勢。通過機器視覺來讓電視觀察屋內照明情況、用戶與電視的距離，電視可以主動調節屏幕光線強度，輸出比較護眼的模式。還有的AI應用是讓電視在觀察到兒童看電視後主動開啟童鎖。
由此可見，多模態芯片的應用是非常廣泛的，也是芯片拓展更多領域的必然方向。不過，多模態感知還包括機器嗅覺，機器觸覺和情緒理解等內容，但目前還沒有落地產品。相信通過炬芯的努力，將會有更多的多模態產品最終落地。
閱讀更多 蘿蔔科技 的文章
