編寫: T.R
隨著AI的廣泛落地，深度學習技術已經進入到我們身邊的每一個角落。從拍照識別到美顏相機、從語音翻譯到文本預測，各式各樣的應用都從電腦走向手機、從雲端落地到移動設備中。如何在移動端更好地部署和使用深度學習模型，充分利用有限的算力實現快速準確的預測是移動端需要解決的關鍵問題。
近年來國內外各個廠家推出了一系列深度學習架構，除了對網絡壓縮、剪枝、量化等常規操作進行了優化，還針對內存、GPU/CPU型號進行了特定提升，甚至在指令集架構的彙編層次進行了深入的優化，使得移動端框架日趨完善。下面就讓我們來一起瀏覽目前廣泛使用的10個深度學習移動端框架（建議先收藏後閱讀）以便在將來的學習工作中更好地進行移動端AI項目的開發和部署。
1. TensorFlow Lite
作為深度學習領域最大的框架之一，
TensorFlow在2017年針對性地為移動端推出了lite框架系統，為用戶提供訓練模型向移動端的無縫遷移。 在使用TensorFlow Lite時，主要通過打包、轉換、部署和優化四個步驟實現。其中Lite轉換器將訓練好的模型轉換為壓縮格式，而優化部分會將32位的浮點數轉換為8位整型數，或是部署到移動端GPU上進行運算提高計算速度。
https://www.tensorflow.org/lite
2. Core ML
蘋果作為最大的手機產商之一，在移動端機器學習佈局已久。Core ML是一套能夠
將機器學習模型整合到app中的工具鏈系統。
在使用時首先要將訓練的模型轉換為蘋果支持的mlmodel格式。隨後利用Core ML加載到app中運行。目前針對各種框架都有便捷的轉換器可供使用。
整個框架構建於蘋果的底層加速組件之上，包括了基礎神經網絡模塊和針對GPU優化的圖形學模塊和加速器等。在此基礎上可以支持主流的視覺、自然語言處理和各種機器學習任務。由於蘋果自己進行硬件設計，對於軟件有著更多的優化空間，實現了很多設備運行與內存優化。
https://developer.apple.com/documentation/coreml
3. Caffe2
這是Facebook推出的輕量化、模塊化、可規模化使用的架構，可以適用於多平臺的深度學習應用，可以同時適應大規模的雲計算和移動端，還提供了一系列預訓練模型供開發者使用或進一步訓練。目前Caffe2與PyTorch已經合併，以便更有效地打通從訓練到部署的全套流程。
https://caffe2.ai/
4. Bender
Bender是Xmartlabs開源的一套機器學習框架，框架基於Metal構建。
Bender可以方便地在iOS的app中定義和運行神經網絡，比Core ML更加便捷易用，可以支撐更多層數的模型，並完全通過MPS API釋放GPU的性能，並可以便捷地增加預處理和後處理層來處理模型輸入輸出。
https://xmartlabs.github.io/Bender/
5. MXNet
亞馬遜官方推薦的深度學習框架，是一款靈活高效的深度學習架構，擁有多種語言接口。針對移動端，MXNet提供了輕量化的接口和單一的文件依賴（MXNet Amalgamation）來最大限度的減少開發者配置和部署的工作。所有的接口同一融合成了單一的.cc文件並且只依賴與BLAS庫。甚至還有不依賴於BLAS的迷你版本，極大地方便了移動端的開發。
https://mxnet.incubator.apache.org/versions/master/faq/smart_device.html#deployment-environments
國內互聯網巨頭和手機產商在移動端的AI發展中也推出了一系列自研的開源框架，包括百度的MDL，阿里的MNN，騰訊的NCNN和小米的MACE等都在自家的app上接受了市場的考驗。
6. NCNN
騰訊推出的手機端前向推理框架，針對手機CPU進行了更深入的優化，不依賴任何第三方庫，也不依賴於基本計算框架包。NCNN支持多種複雜的網絡結構和操作，可拓展可精簡、支持量化與半精度，方便多種常見模型的移植。
此外騰訊還開源了FeatherCNN推理庫和PockerFlow模型壓縮框架用於移動端AI。
https://github.com/Tencent/PocketFlow
https://github.com/Tencent/FeatherCN
7. paddle-mobile（MDL）
屬於百度開源框架飛槳下的移動端項目，針對多種GPU硬件進行優化，除了移動端外也針對嵌入式設備進行過優化，FPGA、樹莓派都可以開跑。目前支持飛槳自己的Fluid模型，但可以通過轉換器將其他格式的模型轉換到Fluid模型。
paddle-mobile主要包含了加載、程序、執行、操作、核以及變量張量管理模塊。文檔中包含了詳細設計架構圖可以學習。
https://github.com/PaddlePaddle/paddle-mobile/blob/develop/doc/design_doc.md
8. MNN
阿里巴巴開源的輕量級移動端推理引擎，主要負責在移動端上運行模型預測。它針對設備深度優化了多個操作，不依賴於其他包和庫，靜態庫和動態庫都在幾兆到幾百k的量級。支持主流深度學習框架的模型格式。
框架主要包含了轉換器部分和解釋器部分。轉化器中包含了前端和圖優化過程，而解釋器則包含了加載模型、計算圖調度的引擎和負責內存分配，Op實現的後端組成。
https://github.com/alibaba/MNN/blob/master/README_CN.md
9. MACE
小米開源的深度學習框架，針對異構平臺優化神經網絡計算，對卷積操作進行了指令集的優化，支持多種高中低端CPU，GPU芯片和TensorFlow，Caffe等多種模型格式。
https://github.com/XiaoMi/mace
10. MindSpore
華為最新發布的手機由一系列AI特別是計算機技術的支撐，其內部擁有一套名為MindSpore的移動端框架。框架設計友好、訓練執行高效，具有不同場景不同設備的適應性。
此外各個公司還有一系列沒有開源的移動端框架由於自己的產品，包括
商湯的PPL (Parrots)、阿里的xNN、高通的SNPE等。相信隨著AI的加速落地和更多移動端、邊緣計算對AI的需求，未來會出現更多性能更好、更準確、更快速的模型，在方方面面便捷著我們的生活。
ref:
https://zhuanlan.zhihu.com/p/60896625
https://blog.csdn.net/zeusee/article/details/89601634
https://blog.csdn.net/u010333076/article/details/87896734
https://blog.csdn.net/zchang81/article/details/74280019
https://www.zhihu.com/people/nihui-2/activities
https://www.zhihu.com/question/62871439
MindSporehttps://www.huawei.com/en/about-huawei/publications/communicate/86/driving-ai-to-new-horizons
Coral and Nano：https://www.leiphone.com/news/201903/HAmHSBKkpd0rrveF.html
https://www.zhihu.com/question/295045153
https://blog.csdn.net/u010333076/article/details/87896734
https://github.com/XiaoMi/mobile-ai-bench/blob/master/README_zh.md
picture logo:https://dribbble.com/shots/6473215-Illustrator-Curve-Step
-The End-
將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構，旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。
將門創新服務專注於使創新的技術落地於真正的應用場景，激活和實現全新的商業價值，服務於行業領先企業和技術創新型創業公司。
將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容，使創新成為持續的核心競爭力。
將門創投基金專注於投資通過技術創新激活商業場景，實現商業價值的初創企業，關注技術領域包括機器智能、物聯網、自然人機交互、企業計算。在三年的時間裡，將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我“門”: [email protected]
點擊右上角，把文章朋友圈
將門創投
讓創新獲得認可！
點擊“❀在看”，讓更多朋友們看到吧~
閱讀更多 將門創投 的文章
