將計算移到邊緣,做共享雲計算的先行者

將計算移到邊緣,做共享雲計算的先行者

此時正在閱讀這篇文章的您,有可能您的身份是想要處理大量服務於科學計算的志願者,或者是需要處理複雜圖像的圖像工作者,更或者您是需要轉換金融數據的金融分析師。對於以上的這些所有工作,您首先想到的應該就是需要更高性能的計算機或者是雲計算,第一選擇或許就是阿里雲、亞馬遜等雲計算提供商,畢竟今天的雲計算龍頭代表是亞馬遜、微軟和谷歌,阿里雲超過IBM,成為全球第四大雲計算提供商。

雲計算是一個技術的集合體,為不同行業的客戶提供各種服務和功能,通過便捷的按需付費模式使用計算資源和各種雲計算服務。雲計算本質上是集中式的,大量的資源集中在少數的數據中心,以提高運營效率降低架構解決方案的複雜性。很多公司會更加願意使用現成的優質服務,而不是將這筆錢用來夠買昂貴的服務器來自己搭建一個小型雲計算中心,因為成本和價格是首要考慮的因素。

但是這種集中化的雲計算(公有云)存在一些侷限性:在過去的幾年由於物聯網 (IOT),移動互聯設備大量增多,在遠端的位置產生大量的數據,並且通常將這些數據從遠端傳遞到公有云。這種數據轉移需要消耗大量的帶寬,數據處理由於網絡原因存在延遲,在傳遞過程中隱私性和安全性也有可能出現隱患,亞馬遜更是推出用傳統的物理手段來進行數據傳輸。例如一些大型基因研究機構的數據、一些數字電影的發行,都仍舊依靠飛機乃至郵政等非數字化手段進行傳輸。如下圖是亞馬遜的硬盤卡車服務:

將計算移到邊緣,做共享雲計算的先行者

AWS的硬盤卡車

在互聯網應用和傳輸已經普及的今天,除了 AWS 之外,同樣提供雲服務的微軟、Google、阿里實際上也有提供各式各樣的物理數據(硬盤、光盤)運輸服務。而隨著計算規模的迅猛增長,信息傳送的成本也會越來越高。

在通勤背景下我們也看到了類似的問題,我們都很熟悉從郊區到市中心的交通堵塞。但是如果引入新的工作方式,例如:在家辦公,遠程協同辦公等。類似的可以引申到解決數據傳輸擁堵問題,將計算資源分佈到數據源附近,允許至少做一次數據預處理,或者使用一些去中心化的計算框架進行數據處理,直接在數據源最近的設備上進行計算,減少發送回數據中心的數據量和數據傳輸時間。因此,雲計算需要脫離傳統的集中式數據中心,並使其服務更接近用戶或擁有更分散調度能力和分散數據源。

當下也正面臨一個新的轉折點,5G 技術的發展,為萬物萬聯做好了技術鋪墊,客戶端或邊緣端的數據處理能力、設備數量和產生的數據量都將大幅提升。在未來的數據競爭中,數據產生在邊緣卻要更多的帶寬和時間,將數據傳輸到中心化計算雲端去處理之後再反饋到 IoT 設備的這種模式相比較數據在附近的技術節點計算反饋到 IoT 設備來說,顯然是不佔優勢的。

Gravity

Gravity 希望能夠打破這種僵局。Gravity 在共享計算領域,通過跨平臺異構調度,構建在區塊鏈上的算力市場,將異構算力標準化為 VCU 單元。通過去中心化異構調度,創建任務所需資源和業務場景,按照不同地理分佈和不同設備的計算能力構建計算網絡。 Gravity 利用閒置算力,降低算力和帶寬成本,計算節點相比公有云更靠近用戶邊緣,計算能力比邊緣計算網關算力更強。

Gravity 的主要用戶分為算力提供者和算力需求者。算力提供者可以提供個人閒置資源(包括PC、公有云上空閒資源、礦機、礦池等),加入 Gravity 算力資源市場,並且根據提供的不同資源類型,接收和運行不同類型的計算任務,通過算力市場算力供需自動匹配,貢獻算力的節點會自動獲取相應收益。

Gravity 已經實現一個異構跨平臺調度網絡,能夠跨越不同 OS、不同 CPU 架構,不同類型設備(盒子、手機、PC)的一個異構調度網絡,調度可拆分並且有狀態的 Job 作業,和容器資源調度網絡進行互補。

相對應的,算力使用者,可以在 Gravity 算力市場上來購買和公有云供應商相同的雲算力服務但是隻需支付超低的價錢。不需要關心 IaaS 層算力的組成(可能是 arm 或服務器),相應的價格可能只是傳統公有云服務的1/3。

截止到目前 Gravity 基於分散在各地的閒置算力資源,已經為企業提供高性價比的雲服務,包括雲端彈性服務計算 GEdge ,函數計算 GFunction 和大數據計算服務 GPMR,底層依賴於 VPC網絡,通過基於 ICE 協議的網絡服務實現節點之間連接。


將計算移到邊緣,做共享雲計算的先行者


  • GEdge:Gravity 彈性調度平臺,算力提供者使用 Gravity 提供的客戶端,管理和啟動節點,來提供算力供應。算力使用者可以通過 GEdge 管理頁面來進行部署私有鏡像微服務等,通過 GEdge 管理頁面進行實時管理、任務監控等,提供 ssh 打通到用戶的所有實例,讓使用者可以便捷管理、快速部署服務。
  • GFunction:Gravity 函數計算,對標 AWS Lambda, 用戶可以方便的創建函數、快捷創建 Serverless 服務,支持 python/nodejs/go/java/php 等語言,提供基於消息隊列,http 的觸發器,提供使用實例自動擴展。
  • GPMR:Gravity Edge MapReduce,提供一個可以運行於各種常見邊緣網關如手機、PC 等異構的 MapReduce 框架。計算節點之間通過 p2p 方式連接,節點之間對等,適用於在設備節點較多,數據可以大量拆分成小的分片來計算。算力使用者可以自行編寫 MapReduce 代碼,在數據開發平臺進行提交,並獲取計算結果。

以上三個產品可以根據實際業務場景和需求組合使用:

  • GEdge 適合於長期運行的服務 (如微服務、渲染服務等)
  • GFunction 適合於開發 serverless 的 api (如網絡爬蟲、模型訓練等)
  • GPMR 適合於需要聚合的數據,和有狀態的計算任務(如 GFunction 的輸出數據)


最後

或許你會有另一個有關隱私的疑問。例如用戶在 GEdge 上進行一次模型訓練的工作,我們會考慮到這臺機器的所有者是否可以訪問我們的工作代碼,並直接使用。普通用戶一定不會訪問這些文件,但是高級用戶將會查看源代碼並獲取對資源的訪問權限。在算力選擇方面,可以選擇質押或是授信的供應商,但即使是公有云計算提供商也不能保證資源安全。Gravity 的另一個優勢就在於它將任務劃分並將它們發送到許多不同的計算機,如果有人想要竊取完整的數據,那麼他將不得不從數十臺或者是上百臺機器中去提取它們,同時我們提供基於 TEE 的執行環境,保障用戶密鑰和解密環境的安全,對於一些隱私安全較高的用戶,提供作業定向調度到數據所在環境的定製化服務。

未來,Gravity 會優先支持一些優質的 SAAS服務提供者,中小企業和小型個人購買者將陸續的加入這個市場,他們能夠購買與特定任務所需的資源和算力。越多人使用 Gravity 來處理自己的項目和任務,就會有越多人分享他們的電腦,參與到 Gravity 的網絡中來。Gravity 的團隊希望這種情況可以反過來:更多的計算機降低成本,從而吸引更多的買家。


分享到:


相關文章: