三年前，AI成為了智能手機的新賣點。一時間，支持AI特性的智能手機快速普及，AI性能表現成為了繼CPU、GPU之後，消費者最為關注的手機處理器參數。如今，展示AI性能已經成為了手機和手機處理器發佈會上必不可少的環節。
但你是否想過，為什麼需要一款AI功能強大的手機？手機裡的AI處理器究竟能做些什麼？
手機有哪些AI功能？
提到手機上的AI功能，不少人馬上能想到的應該是——智能語音助手和AI拍照。毫無疑問，AI拍照是普通消費者使用最多的功能，功能包括AI背景虛化、AI超級夜景、AI美顏、AI降噪等。除此之外，一些常見的 AI 功能還包括人臉識別、通話降噪、翻譯等。
眼下，這些常見的手機AI功能正在變得強大。舉個例子，以前，手機上並不能實現自動語音識別（ASR）、離線實時語音翻譯的功能，隨著AI技術的進步以及硬件和軟件公司合作的深入，ASR和離線實時語音翻譯都可以在手機上實現，甚至還能在嘈雜的環境做出反應。
另外，在拍照方面，手機攝像頭已經增加到三個甚至五個，在廣角、超廣角、長焦鏡頭之間切換的過程中，用戶很容易感覺到卡頓，而高通和合作夥伴共同完成的光學變焦平滑切換解決方案，能夠給用戶帶來基於AI的平滑變焦體驗。
基於AI的光學變焦平滑切換
相比智能語音助手和拍照，有些手機上的AI功能並不容易發現。 比如，全球都很流行的短視頻平臺抖音，出於網絡帶寬等方面的考慮，用戶手機接收到的其實是320P分辨率的視頻，但更高的分辨率意味著更好的體驗，為此，字節跳動與高通深入合作，基於驍龍865進行優化，藉助手機的AI處理器運行特殊神經網絡（超分辨率卷積神經網絡），將用戶所接收到的視頻從每一幀320P分辨率提升至720P，因為通過終端側AI實現這一處理，用戶也能獲得更加流暢的體驗。
不僅如此，AI還能用來解決讓許多用戶感到焦慮的電量問題。iPhone就使用AI能力來學習用戶的使用習慣，從而優化充電來延長電池的使用壽命。高通也在其Quick Charge快速充電技術中將AI算法引入快速充電和放電的整套體系，通過學習用戶的個性化使用習慣，比如玩遊戲以及遊戲持續的時間，再通過訓練，Quick Charge AI 能夠很好地調整整個系統的CPU包括充電效率。
這樣一來，Quick Charge AI就能夠進一步提升手機電池剩餘可運行時間的預測準確率，最高提升可達15%。而且，還能實現更好的充電散熱管理，延長電池循環充電壽命，最高可延長達200天。
當然，AI還幫助手機遊戲、購物、學習等功能變得更加有趣且實用，詳細可以查看雷鋒網此前的文章。
實際上，手機AI功能的強大，需要強大的手機處理器以及AI性能來支撐。藉著發佈不久的驍龍865移動平臺，我們來解析一下硬件和軟件如何配合實現強大的AI功能。
更高性能的AI處理器，更強大的AI功能
上月初，高通發佈了最新旗艦移動平臺驍龍865，新平臺很好地融合了5G和AI，能夠提供高達7.5 Gbps的峰值速率，搭載第五代高通人工智能引擎AI Engine和傳感器中樞（Sensing Hub）。此外，Spectra 480 ISP能夠實現高達每秒20億像素的處理速度，Snapdragon Elite Gaming還能支持一系列端遊級別的體驗和極致逼真圖形性能等新特性，能夠給用戶帶來出色的拍攝和遊戲體驗。
作為驍龍865升級的重點，新一代Kryo 585 CPU的性能提升達25%，全新Adreno 650 GPU的整體性能較前代平臺提升25%。與AI功能最密切相關的AI Engine，驍龍865集成的第五代AI Engine，性能最高可達每秒15萬億次運算（15 TOPS），是上一代驍龍855 AI性能的兩倍，相比驍龍845 AI性能更是提高了5倍。
驍龍865 AI性能顯著的提升並不是依靠某一個處理器的提升。AI Engine一直採用多核異構計算的解決方案，通過Kryo CPU、Adreno GPU、Hexagon處理器的協同處理，共同完成AI任務。 第五代AI Engine核心的Hexagon處理器進行了全新升級，TOPS性能是前代張量加速器的4倍，運行能效同時提升35%。驍龍865的Adreno 650 GPU的AI算力相比於前代驍龍855的GPU AI算力也提升超過兩倍，成為最強的手機AI處理器。
當然，AI Engine多核異構架構也能在性能和功耗之間取得最佳平衡。對於電池供電的智能手機而言，兼具高性能和低功耗的特性至關重要，與AI Engine性能提升的思路一樣，高通降低功耗同樣沒有侷限於某一個硬件，而是從系統的角度進行優化。
深度學習算法是目前AI最常用的算法，這類算法帶來了大量的卷積運算，但耗能最多的並非卷積計算，而是數據的搬運。為此，高通把驍龍820上就採用的帶寬壓縮技術升級為驍龍865 AI Engine上的深度學習帶寬壓縮技術，可以實現高達50%壓縮比的無損壓縮，通過這種方式，大大降低了對內存的訪問。而且，驍龍865新支持的LPDDR5可以帶來30% 的帶寬提升，共同實現功耗的降低。
還需一提的是，為了進一步提升手機處理器的智能化程度，驍龍865還集成了傳感器中樞（Sensing Hub），可以用作音頻、視頻的實時感知。在功耗控制方面，這個傳感器中樞的多關鍵詞語言語音喚醒功耗小於1毫安，配合AI Engine可以在極低的功耗下讓手機能夠感知周圍的環境。
比如前面提到的ASR，高通與谷歌合作共同增強了Android Neural Networks API，並將Google Assistant的語音識別功能從CPU遷移到Hexagon，降低功耗達3倍，延遲降低30%，實現全天始終在線的語音翻譯，進一步將情境感知AI提升至全新水平。
不過，再強大的硬件也需要軟件來釋放其“魔力”。
更多有趣的AI功能即將到來
抖音、Snapchat、谷歌翻譯、有道翻譯等APP輸出了手機的AI功能，這也是手機AI軟件和硬件開發者緊密合作的成果。不過，雙方的合作有一個巨大的鴻溝，一方面，軟件開發者不瞭解底層的硬件，調用和優化硬件對他們而言是個巨大的難題；另一方面，硬件提供方往往對軟件開發者的多樣化需求不夠了解，很難滿足所有開發者的需求。
因此，與傳統芯片不同，AI芯片的提供方需要提供一套涵蓋硬件、軟件、工具的完整解決方案，才能夠保證一切協同工作。從最頂層到最底層分別是應用程序、框架、Runtime、庫、硬件加速器。
就框架而言，AI開發者可能會使用TensorFlow、PyTorch等框架，AI芯片公司都會盡量支持主流的AI框架。為了簡化AI開發者的工作，目前，驍龍865可支持超過160個算子，算子指的是框架中存在的複雜函數，可以幫助張量更好地工作。還值得一提的是，開發者還能利用Adreno支持的Open CL和Hexagon SDK打造自定義算子，這樣開發者就能在框架上實現差異化，也能充分利用驍龍平臺提供的強大AI算力。
在Runtime層，為了支持移動終端上的AI性能，高通在全球率先推出面向移動平臺的AI軟件工具包。高通神經處理SDK與Android Neural Networks API的協作可為驍龍移動平臺上第一方和第三方應用提供非並行開發者訪問，將AI硬件和軟件更好地結合在一起。
據悉，高通的神經處理SDK側重於改善能耗、性能、訪問等多個方面，還提供每月的版本更新，並與合作伙伴尤其是OEM緊密合作，提供頂級的AI解決方案，支持更多的網絡和更高的性能。高通AI研發團隊還與谷歌緊密合作，共同優化Android Neural Networks API，實現了3-5倍的性能提升，讓接入也更加簡單。
需要補充的是，高通還推出了Hexagon NN Direct，例如，通過與谷歌合作能讓TensorFlow Lite的開發者越過Runtime直接訪問終端，直接運行在Hexagon內核上的庫，也能為其他解決方案商提供相同的訪問權限。
這一功能能夠帶來顯著提升，Snapchat可以通過利用Hexagon NN Direct，可以將視頻從每秒10幀提升到了每秒超過40幀。
除此之外，高通還推出了全新的AI模型效率工具包，這套工具包能夠通過去除網絡中的冗餘層，以低於1%的準確度損失實現3倍的模型壓縮，這對大多數用例綽綽有餘。另外，這個工具包還能將32位的AI模型壓縮到8位，將每瓦特性能提升超過4倍。
基於高性能硬件和易於使用的軟件，驍龍的AI技術已賦能全球超過10億部終端。隨著硬件性能進一步的提升和軟件的迭代和創新，更多XR、工作、社交等領域的AI應用也會越來越多。
雷鋒網小結
手機是AI技術最先普及的智能設備，但在兩年前，消費者能夠使用到的AI功能非常有限。隨著手機AI性能的不斷提升以及AI算法和軟件的不斷迭代，2019年AI拍照已經成為了最受消費者喜歡的AI功能，並且，得益於手機端AI性能的強大，之前只能靠雲端實現的AI任務在終端也可以實現很好的效果。手機AI功能更實用的同時，也催生了許多更加有趣和新奇的AI功能。
這一市場的領導者高通，其最新旗艦移動平臺驍龍865能有優秀的AI性能表現，也是得益於長期的積累。早在2007年，Qualcomm Research就啟動了首個人工智能項目，此後不斷加強在AI領域的研發，並在2018年成立了Qualcomm AI Research。
當然，芯片的成功，特別是AI芯片的成功，軟硬件更好地融合以及生態的繁榮更加重要，憑藉強大的技術實力以及號召力，高通在全球已經擁有了眾多的AI合作伙伴，其在AI領域的表現也因此值得期待。特別是在5G領域同樣領先的高通，5G和AI的融合，將碰撞出讓人意想不到的驚喜。雷鋒網
閱讀更多 雷鋒網 的文章
