12.27 邊緣計算與雲邊端協同網絡的融合與挑戰

在12月14日的邊緣計算Meetup北京站上,來自阿里雲的高級技術專家張毅萍(屹平)做了《邊緣計算與雲邊端協同網絡的融合與挑戰》主題分享,本文為張毅萍(屹平)分享原文,闡述了他對邊緣計算的理解、阿里雲邊緣計算的佈局及雲邊端三體協同網絡的融合與挑戰。

分享主要包括以下幾塊內容:

  • 邊緣計算順勢而生
  • 阿里雲四層邊緣計算技術棧與挑戰
  • 關於雲-邊-端協同網絡
  • 邊緣計算的潛在應用場景


順勢而生:中心與邊緣、20年一輪迴


在屹平看來,1999、2009和2019在中國互聯網發展歷史上非常關鍵。1999年互聯網爆發,同時也是阿里巴巴成立的年份。隨著應用中心化,邁入2009年,雲計算也逐漸被激活,2009年也是阿里雲成立的年份,到了2019年,5G元年,邊緣計算順勢走上風口。

邊緣計算與雲邊端協同網絡的融合與挑戰

“從1999年互聯網初期的應用邊緣分散狀態,再到後來的應用中心化、中心雲化,再到如今邊緣計算、雲邊緣化的進程,這是一個邊緣到中心再到邊緣的輪迴。那麼這其中輪迴的原動力是什麼?”屹平認為:促使其輪迴最重要因素是成本,計算和應用中心化,集約資源必然帶來資源的複用率提升和成本的節約,只要數據傳輸成本夠低,計算中心化沒有任何問題,這也是過去20年互聯網發展的過程。然而,傳輸成本在互聯網應用中是不可忽略的重要成本構成之一,在音視頻類應用中尤為明顯,互聯網傳輸成本在過去20年的大幅下降,使得大量應用得以實現規模化,雲計算也有了爆發的基礎。

隨著5G的到來,邊緣應用的數據量呈幾何級數上漲,這些數據都在終端形成、積累,傳送到雲端,進行數據處理,再返回到終端指導業務。這一系列動作將對網絡帶寬產生數百Gbps每秒的超高需求,不僅會存在延遲,還需要面臨弱網卡頓、連接成功率低等諸多問題,用戶體驗無法保障。同時,大帶寬對回傳網絡、業務中心造成巨大傳輸壓力,也會讓企業面臨著鉅額的帶寬成本。

這意味著集中式的數據存儲、處理模式將面臨難解的瓶頸和壓力。最終,成本作為關鍵因素之一,使得雲邊緣化的趨勢得以發展,集中的計算再次走向邊緣,如此就形成了這樣一個20年的輪迴。

一場算力的遷徙:雲計算與邊緣計算的協同


雲計算和邊緣計算,這二者並不是此消彼長的關係,邊緣計算正在拓展雲計算的邊界。

以常見的互動直播場景舉例,大量的彈幕、刷禮物、連麥、秒殺等交互,使數據量激增,同時互動直播場景需要十分準確、快速的計算能力。如果在端上進行視頻計算,會大量消耗端的算力,對終端的性能要求很高且耗電量很大,但是將計算放在雲中心,又面臨高昂的視頻傳輸成本。

這時候,終端算力上移、雲端算力下沉,在邊緣形成算力融合,雲-邊-端三體協同的架構將會發揮重要的作用。

如此,直播平臺可以根據自己業務的特點和需求,利用雲中心實現強大的算力支撐和海量存儲的支持,在雲中心統一管控下完成核心數據的處理,將部分業務下沉部署到邊緣進行終結,這相當於給雲中心增加了分佈式能力,不僅能在在邊緣計算領域建立一套新的生態系統,進行本地數據的初步分析和處理,承擔部分“雲“的工作,減輕雲中心的壓力。還能減少複雜網絡中各種路由轉發和網絡設備處理的時延,獲取到更低延時,更加能大幅減少網絡傳輸和多級轉發帶來的帶寬成本。如此一來,既能解決處理能力問題,又能優化成本的問題。

「在《邊緣雲計算技術與標準化白皮書》中也對邊緣計算(此處指邊緣雲計算)進行定義:邊緣雲計算是基於雲計算技術的核心和邊緣計算的能力,構築在邊緣基礎設施之上的雲計算平臺。形成邊緣位置的計算、網絡、存儲、安全等能力全面的彈性雲平臺。通過將網絡轉發、存儲、計算,智能化數據分析等工作放在邊緣處理,降低響應時延、減輕雲端壓力、降低帶寬成本,並供全網調度、算力分發等雲服務。」

面向城市的四層邊緣計算技術棧

當5G萬物智聯時代到來,城市中蘊含著巨大的計算場景,大量紮根於城市的服務比如智慧交通、智慧園區、智慧零售、智能家居等等,都會產生非常多的數據。阿里雲邊緣計算未來主要是以地市、區縣為單位開展,面向城市服務的交通、醫療、健康、教育、新零售等場景提供算力基礎。

城市計算的技術佈局,在基礎設施之上,阿里雲邊緣計算更包含四層技術棧:邊緣硬件和芯片、邊緣計算平臺、邊緣計算操作系統、邊緣中件間和麵向邊緣的應用與服務。

邊緣計算與雲邊端協同網絡的融合與挑戰

在基礎設施層,其實是基於複雜的、異構的基礎設施進行資源拉通;在芯片/設備方面,阿里雲邊緣計算採用通用芯片、專用芯片和自研芯片解決未來面向場景的邊緣計算成本問題;在邊緣計算平臺方面,阿里雲著重打造邊緣操作系統,提供三種計算形態(虛機、容器、函數)和三種交付形態(Server、Serverlet、Serverless),為客戶營造一個利於使用的計算環境;對於邊緣中間件,阿里雲要從原本“內容分發的調度”轉變為“計算的調度”,同時疊加AI、存儲等新技術,逐步形成面向城市應用場景的獨特中間件能力;至於上層的邊緣應用及服務,則需要結合整個生態和垂直行業夥伴共同推動技術進步。

城市邊緣計算的四大技術挑戰

當然,在建設整個5G時代的IT基礎設施,為產業提供“離用戶更近的計算”這條前行之路上,也會遇到很多技術挑戰。

首先,是如何構建緊湊小型化計算架構以及災備體系非常重要。如果把雲計算比作一個城堡,那麼它可以通過修圍牆、排哨兵、巡邏兵去保護城堡,但是在偏遠的村莊(邊緣計算)也需要通過安全體系的建設,來抵禦外敵入侵。

其次是災備,雲計算基本上可以做到的單節點內幾十萬臺機器之間做災備,邊緣節點跨節點災備系統面臨更大挑戰。

第三個挑戰是雲邊端協同的問題,把中心雲、邊緣計算以及IoT進行連接和計算力的協同,發揮雲中心規模化、邊緣計算本地化與低成本、IoT終端感知等各方面的優勢,為客戶提供最合適、最經濟的“上車點”,也就是計算發生的位置。

最後一個挑戰是如何做好大規模資源平臺的運營和運維支撐,將複雜度、穩定性等問題封裝,儘量實現上層業務透明化對邊緣計算來講也十分重要。邊緣計算操作系統需要把解決計算在哪裡、如何簡化計算的複雜度、如何更便捷地運維分佈式計算資產等問題提前解決,客戶開發人員只需要簡單地調用接口,就可以使用廣泛地使用邊緣計算策略,而不用擔心部署和計算在哪裡的問題。

基於場景的雲-邊-端協同網絡

上文提到,構建邊緣計算基礎設施和上層操作系統將面臨著諸多難題,如何打造雲-邊-端協同網絡就是其中的關鍵。

屹平認為:“雲-邊-端協同網絡是以云為中心,逐層分散延伸的網絡。假設雲中心REGION在全國10數量級部署,百到千數量級的ENS節點負責廣覆蓋、流量調度,萬數量級的MEC節點負責就近接入。這其中,涉及到雲邊協同、邊邊協同和邊端協同三部分。”

雲邊網絡


雲邊網絡,想要做好雲與邊之間的網絡,主要有兩個關鍵點:虛實結合、動態選路。在全國所有邊緣節點中,選擇一批分佈地域較好的節點,將這些節點通過專線與雲中心連接,其它大部分節點是通過互聯網連接。同時,採取專線和互聯網鏈路的動態選擇和各種穩定性報障措施,來代替上層應用解決不同網絡形態下回雲連通性的問題。對於上層應用來說,並不需要去感知接入節點的網絡形態。總結下來,雲邊網絡這就是回雲的安全和加速網絡。

邊緣計算與雲邊端協同網絡的融合與挑戰

邊邊網絡

邊邊網絡,需要保障上層應用使用的邊緣節點之間數據傳輸透明且安全。涉及兩關鍵詞,Fullmesh和安全加速。當前很多互聯網應用的數據傳輸都還是採用多層結構,即有中心層、有一個或兩個外層,然後一層一層做數據流量的收斂,如果有數據交互的話,通過中心層繞道是常見的一種方式,這種方式在技術實現上更簡單清晰,但是從成本角度考慮卻並不是合適。Fullmesh在這裡表示的就是邊邊網絡實現的邊緣節點之間的直接通訊,無需通過中心繞道;而邊邊直接通訊是基於由眾多邊緣節點構建的分佈式傳輸加速網絡來克服互聯網的數據傳輸穩定性、跨運營商的傳輸速度瓶頸等問題。將這種安全加速網絡的能力與邊緣節點網絡融合,從而為上層應用提供透明的邊邊數據傳輸加速的體驗。

邊緣計算與雲邊端協同網絡的融合與挑戰

端邊網絡

端邊網絡,端邊網絡更注重智能調度和安全接入,本身與應用場景高度相關,這裡引用一個終端安全接入的場景來介紹。終端通過集成SDK的方式來解決安全調度問題,應用的服務接入點調度由SDK實現,應用本身不用去關心應該去訪問哪一個節點,通過專門的高防節點(防DDoS)與終端SDK通訊實現調度指令的下發。假設某個邊緣節點被攻擊至無法服務時,調度實現第一時間的流量切換,同時也能根據邊緣節點持續被攻擊的來源識別出哪些是真實流量,哪些是攻擊流量,長此以往對攻擊數據的積累,能夠逐步形成攻擊源數據庫,作為調度和安防策略的依據。每當發生攻擊時,基於攻擊源數據庫的記錄就可以更快地發現攻擊並完成流量調度。

邊緣計算與雲邊端協同網絡的融合與挑戰

屹平表示:“雲邊、邊邊、端邊形成了整體的雲邊端協同網絡。我們希望上層應用在使用阿里雲邊緣計算服務作為其應用基礎設施時,儘量把網絡傳輸優化這部分的工作能夠省去,以應用透明的方式直接享受到更穩定可靠、更極速、更經濟的網絡傳輸安全加速服務。”

潛在的城市計算場景與實踐

阿里巴巴集團擁有龐大的生態體系,業務場景豐富,基於此,雲邊端協同問題可以得到更好的實踐和解決。屹平介紹到阿里雲邊緣計算,在算力資源層,通過自建節點和遍佈全球的多樣化邊緣節點,確保資源的覆蓋;在此之上的操作系統層,依託雲計算和邊緣操作系統的協同,打造基於體驗的分佈式計算分發平臺;頂層則通過開放API,融合視頻直播、RTC、邊緣智能、物聯網等各類生態技術能力,實現對客戶的交付。

邊緣計算與雲邊端協同網絡的融合與挑戰

未來城市中存在大量的攝像頭、傳感器,如何把這些數據及時分析,對城市治理形成幫助,這是一個非常大的命題。比如,在市政、交通場景中,把從學校、餐飲、醫院的數千萬攝像頭採集的視頻匯聚、傳輸到城市邊緣計算平臺,數據在邊緣節點進行有效收斂、AI及結構化處理,關鍵性數據再回傳到中心雲。

在城市大腦中,這種計算下沉邊緣的模式相比直接上公有云可以很好節省回源帶寬,相比專有云可以提升交付效率和降低運營成本。在某些典型場景中,網絡帶寬成本佔的比例是佔到57%,這是非常大的成本,經過邊緣計算的數據收斂之後,帶寬可以做到原來的5%,對總成本節省可以到54%。

邊緣計算與雲邊端協同網絡的融合與挑戰

屹平認為:在5G萬物智聯時代真正到來之後,當傳感器、攝像頭就成為整個社會的眼睛,邊緣計算解決了時滯和帶寬成本的問題,我們就能更好地通過眼睛去識別環境、回傳信息、智能分析,實現更智慧的城市管理。這就好像一個人,他的眼睛看到一個物體馬上可以識別出來,識別完了之後再將結構化信息傳回大腦,邊緣計算就是如此。

轉發乾貨一起促進邊緣計算領域知識傳播!


分享到:


相關文章: