近年來，AI、5G、邊緣計算等技術概念在業界流行，那麼這些技術之間是什麼關係？它們將為業界帶來哪些變化？對這些業界在熱烈討論、還沒有定論的問題，本文將從AI的角度，分享一些觀點和思考，供大家探討。
對於AI、5G與邊緣的關係，簡單總結就是：5G帶來泛在接入，AI引領應用革命，邊緣雲是二者結合的最佳平臺。形象的說，就像下面這幅圖：5G是建成了高速公路建到了小區門口。邊緣計算就是把大商場搬到了高速邊，一出小區上高速，一下高速到商場，快速便捷，吞吐量大。而AI呢，就是一些高價值商品，吸引用戶使用高速去賣場。
受限於移動性和便攜性，終端算力始終與服務器相差很多倍，所以純端側方案有諸多限制；而受限於帶寬、時延和數據隱私等問題，純雲上方案也有其侷限性。邊緣雲模式是一種很好的這種，而5G的關鍵能力“海量物聯網通信，增強的移動帶寬 和 高可靠低時延”與邊緣計算相互促進。
所以 5G+邊緣+AI共同組建成了生態，互相促進 。5G將開啟海量邊緣計算空間，並共同將AI能力推向客戶應用，帶來AI業務的進一步爆發。
典型業務場景
那麼，有哪些“莊稼”特別適合生長在這個生態中呢？華為5G白皮書列舉了以下業務場景。本文將從邊緣AI的角度，對幾個典型場景進行簡要分析。
流式服務
流式業務包括XR、雲遊戲、互動直播等。高畫質 、大場景、更逼真的光照效果是行業趨勢，由於端側算力、訂閱模式等各方面原因，業務雲化成為一種業界趨勢。而帶寬與時延成多媒體業務上雲最大挑戰。5G條件下，流式業務的帶寬佔用優化對用戶體驗和運營成本仍有很大意義。端邊雲協同模式平衡了時延、算力和成本，成為業界技術方向。
該領域是 邊緣AI密集的領域 ，AI廣泛用優化建模、AR/VR傳輸顯示、物體識別與追蹤、動作捕捉、畫質增強去噪、轉碼、流分發和調度等各個環節。
智能製造
《工業互聯網平臺白皮書2019 》將邊緣計算、信息模型、實時決策等列為工業互聯網平臺關鍵技術，工業門類多，大多是成熟產業，門檻高，涉及專業知識多。同時，隨著流程複雜化、動態化，很多工業門類引入數字化技術，變得越來越“數字化智能化”。
AI技術廣泛用於智能製造產業的諸多環節。但是製造業門類多，門檻高，可靠性要求高，邊緣AI面臨著諸多挑戰如下表。
Challenges
Problems
數據獲取與清洗
數據來源多, 格式不統一 ；
數據經常缺失, 質量參差不齊；
缺乏標記；
正負樣本數量嚴重不平衡，某類樣本量極少或缺失；
模型選擇, 冷啟動
需要人工反覆多次進行分析調優流程:： 樣本數據人工分析->人工構造模型->上線試用->人工調優：
場景-技術匹配問題：工業場景下問題多樣, 採用的ML技術各異, 需要大量的專家經驗介入；
冷啟動：開始時數據樣本小，導致初始模型選擇不合適 或 參數配置不好，需要反覆優化。因為樣本量不足，優化可能會持續很長時間；
結果可解釋性、可靠性
工業場景下, 錯誤的決策會導致嚴重後果, 因此要求:
- 結果的可解釋性；
- 結果的可靠性。比如質檢場景，寧可降低模型精度也要提高recall， 保證沒有殘次品流出；
- 結 果及其影響的可視化；
數據隱私問題
數據是企業核心機密，工廠企業不願意共享或集中存放，如何獲得提取知識，獲得高質量AI模型。
實時性與同步要求
工業控制場景對模型推理有實時/近實時要求。分佈在多個邊緣應用之間，有嚴苛的時間同步要求。
V2X
智能交通正從單一場景交通管理向融合場景交通服務發展，V2X場景能幫助智能駕駛更安全、更高效、更經濟、更便捷，例如限速預警、惡劣天氣預警、並道提示、路口調度等。
V2X關鍵技術包括感知、高清製圖和定位，高算力需求、高移動性、高可靠性和實時性帶來了主要的技術挑戰。
關鍵技術
描述
技術挑戰
感知Perception
感知車輛周邊環境, 檢測、跟蹤周邊目標和行人，識別車道。
·車輛高移動性，傳統車載感知範圍有限，不能滿足需求;
·高算力需求，車載計算單元不能滿足;
·實時性要求
高清製圖HD Mapping
道路 3D 高清地圖的建立與更新
·構建更新地圖帶來高強度密集計算；
·存儲地圖導致高存儲空間；
·分發地圖導致高通信負載；
定位SLAM
實時估計車輛和地圖上建築的位置關係
·高算力需求；
·實時性需求；
智能電網
電網的業務面臨著新能源、新用戶和新要求，如具有間歇性隨機性特點的風能、太陽能電源；如新能源綠電，期望從傳統設備接通充電變成時間可選的互動充電；如電量現貨交易、企業要求供電零中斷，等。這些業務挑戰促使電網從層次架構單向流動的傳統電網向網狀雙向流動的智能電網演進。AIoT+5G+邊緣技術被引入智能電網升級架構，在發電、輸變電、配電、用電4個環節來看，關注用電安全和效率，時延、可靠性是對邊緣AI業務的主要挑戰。
環節
關注點
AI相關技術
發電
監控發電量
控制汙染排放
預測用電量
用電需求預測
故障檢測
分佈式發電系統/微電網的孤島檢測
風電：風力電量預測、風速預測、電廠調度
光伏：光伏發電的最大功率點(MPPT)跟蹤、光伏發電量預測(考慮天氣）
輸變電
監控輸電線和變電站
保護鐵塔
視頻巡檢
故障檢測
配電
自動化配電
設備管理和保護
故障檢測
故障預測與及時響應(80%故障來自配電網)
電力調度
用電
智慧家庭用電
電動汽車智能充放電
功率負載控制
評估瞬時穩定性
分析瞬時穩定性
用戶用電量畫像和模式分析
邊緣AI的關鍵技術挑戰
以上幾個行業對邊緣AI能力的關注點有重合也有不同，大致上，可以分為2類：
- AR、VR、互動直播、視頻監控等場景下非結構化數據為主, 主要採用深度學習方法. 主要挑戰在數據量大, 資源用量大, 實時要求高, 標註困難等。
- 工業場景下IoT結構化數據為主, 主要使用傳統機器學習算法, 方法多樣, 與業務相關性高. 主要挑戰是樣本少、冷啟動和要求模型可解釋和可靠性。
面對上述問題，一些邊緣AI技術方向值得關注。
邊側數據管理技術
Garbage in，Garbage Out，數據管理是AI的第一步，也是成本最高、可能最重要的一步。數據管理是為了解決數據來源異構、樣本缺失、標註缺失、數據集質量評估等問題。由於邊緣的地理分佈式本質，邊緣數據集分散在各個邊緣，與雲上的數據集中管理有很大不同。這個領域技術包括：數據的自動格式轉換、清洗；基於主動學習的自動標註；數據集質量評估；特徵自動發現等等。
端邊雲協同訓練
傳統分佈式學習前提假設仍然是在中心集群，而且假設數據是集中的，然後由中心服務器分配到工作節點。沒有考慮邊緣計算引入的數據隱私、節點動態性、資源異構、不穩定網絡等因素。另外，單個邊緣的樣本數量通常有限，獨立訓練不能得到很好效果，因此近兩年興起的聯邦學習(Federated Learning)和遷移學習(Federated Learning)，可以很好的應用於邊雲協同場景。
- 聯邦學習(Federated Learning ) ：允許原始數據不出邊緣，保護隱私和安全。邊緣節點進行本地訓練，模型參數上雲聚合。支持非獨立同分布（ Non-IID ）數據集；能減少通信量；允許邊緣設備的算力和數據集大小不同。
- 遷移學習（Transfer Learning-based Training） ：傳統的機器學習方法通常侷限於解決單一領域內的問題, 要求訓練數據和測試數據都服從相同的分佈（獨立同分布IID假設）. 但在實際邊緣場景中, 不同邊緣場景不同，通常不滿足IID假設，因此邊邊、邊雲之間的自動遷移學習變得很有必要。
端邊雲協同推理
傳統機器學習推理，通常假設推理發生在單一設備（雲或邊或端）上。問題在於，對於端邊設備，算力相對較小，資源受限，大模型跑不了，準確度有限，對於移動設備還要考慮功率續航；雲側算力夠了，但是時延太大，數據隱私也有顧慮。因此，近年一些端邊雲協同的分佈式推理模式被提出：
- 網絡切割（Segmentation of DL Models ） ：將DL模型在雲、邊、端間進行切分，協同推理，平衡計算資源、網絡時延、設備能耗和數據隱私等條件。
- 早退網絡（Early Exit of Inference，EEoI） ：有時被稱為“多出口網絡”。與網絡切割類似， 也會將DL模型在雲邊端間切分，協同推理，不同點在於DL模型有多個出口，能夠直接在端或邊退出，給出推理結果。
模型資源優化
由於端邊的資源有限，對於模型，特別是深度模型的壓縮和優化變得更重要。這也是業界的重要研究方向，一方面設計研發專用的神經網絡芯片加速模型推理，另一方面提出量化、剪枝、蒸餾等“軟”技術。
隱私與安全
一方面用戶擔心數據隱私，不願意將數據傳出邊緣節點。通常是在邊側對數據進行基於AI的敏感數據識別和脫敏預處理；第2類技術是多方計算MPC，允許在數據不傳送出邊緣的情況下，進行某些數據的統計和處理；第3種是同態加密，在邊緣對數據進行加密後，在雲上對加密數據直接進行同態運算，計算結果在邊緣進行解密。
另一方面，公有云提供商部署AI應用到邊緣時，擔心IP被不當使用，除了傳統的應用license機制，近來流行的研究技術還包括模型水印，或者將AI應用運行到可信執行環境（TEE）中。
邊緣AI領域是個新興的方向，以上只列出了部分行業和部分關鍵技術，並非全部。例如行業上，聯網無人機、移動醫療等場景也是很與5G&邊緣&AI結合緊密的未來行業；從技術上，隨著業界研究的深入，將有更多技術湧現。本文主旨是分享關於邊緣AI的一些個人觀點，拋磚引玉，與大家共同討論。
