國內外三大雲作業系統綜述


雲操作系統,又稱雲計算操作系統、雲計算中心操作系統、雲OS,是以雲計算、雲存儲技術作為支撐的操作系統,是雲計算後臺數據中心的整體管理運營系統。它是指構架於服務器、存儲、網絡等基礎硬件資源和單機操作系統、中間件、數據庫等基礎軟件之上的、管理海量的基礎硬件、軟件資源的雲平臺綜合管理系統。

雲OS

通常包含以下幾個模塊:大規模基礎軟硬件管理、虛擬計算管理、分

布式文件系統、業務/資源調度管理、安全管理控制等幾大模塊組成。

簡單來講,雲OS有以下幾個作用:

一是治眾如治寡,能管理和驅動海量服務器、存儲等基礎硬件,將一個數據中心的硬件資源邏輯上整合成一臺服務器;

二是為雲應用軟件提供統一、標準的接口;三是管理海量的計算任務以及資源調配。

IBM公司於2007年底宣佈了雲計算計劃

[1]雲計算的概念出現在大眾面前。雲計算正成為新的計算機研究和產業發展重要熱點,

雲計算模式主要特點在於通過網絡,把原來在單臺計算機中軟件的運算和存儲分開到用戶終端機和網絡服務器上完成。

雲系統是採用國際首創的HFP及HDRDP技術在局域網架構下實現雲計算使用效果的新一代通用計算機系統產品。至今為止,IBM Google、亞馬遜、百度、阿里等公司都推出了自己的雲計算模型。本文主要對Google IBM和亞馬遜的技術特點、架構和應用案例進行分析。1Google File System操作系統為了滿足Google迅速增長的數據處理需求,

出現了Google文件系統(GoogleFile System—GFS)。

1.1Google File System

技術特點GFS與傳統的分佈式文件系統有著很多相同的設計目標,

比如,

性能、

可伸

縮性、

可靠性以及可用性。以下是從幾個方面介紹Google File System

技術特點:

(1)系統由許多廉價的普通組件組成,組件失效是一種常態。系統必須持

續監控自身的狀態,它必須將組件失效作為一種常態,能夠迅速地偵測、冗餘並恢復失效的組件。

(2)系統存儲一定數量的大文件。預期會有幾百萬文件,文件的大小通常在100MB或者以上。數個GB大小的文件也是普遍存在,並且要能夠被有效的管理。系統也必須支持小文件,但是不需要針對小文件做專門的優化。

(3)系統的工作負載主要由兩種讀操作組成:大規模的流式讀取和小規模的隨機讀取。大規模的流式讀取通常一次讀取數百K的數據,更常見的是一次讀取1M甚至更多的數據。來自同一個客戶機的連續操作通常是讀取同一個文件中連續的一個區域。

小規模的隨機讀取通常是在文件某個隨機的位置讀取幾個KB數據。如果應用程序對性能非常關注,通常的做法是把小規模的隨機讀取操

1作合併並排序,之後按順序批量讀取,這樣就避免了在文件中前後來回的移動讀取位置。

(4)系統的工作負載還包括許多大規模的、順序的、數據追加方式的寫操

作。一般情況下,每次寫入的數據的大小和大規模讀類似。數據一旦被寫入後,

文件就很少會被修改了。

系統支持小規模的隨機位置寫入操作,

但是可能效率不

彰。

(5)系統必須高效的、行為定義明確的實現多客戶端並行追加數據到同一個文件裡的語意。我們的文件通常被用於“生產者-消費者”隊列,或者其它多路文件合併操作。通常會有數百個生產者,每個生產者進程運行在一臺機器上,同時對一個文件進行追加操作。使用最小的同步開銷來實現的原子的多路追加數據操作是必不可少的。文件可以在稍後讀取,或者是消費者在追加的操作的同時讀取文件。

(6)高性能的穩定網絡帶寬遠比低延遲重要。我們的目標程序絕大部分要求能夠高速率的、大批量的處理數據,

極少有程序對單一的讀寫操作有嚴格的響應時間要求。

1.2

Google File System的系統架構圖1給出了Google File System的系統架構。如圖

1所示,一個GFS集群包含一個主服務器和多個塊服務器,被多個客戶端訪問。大文件被分割成固定尺寸的塊

塊服務器把塊作為Linux文件保存在本地硬盤上,並根據指定的塊句柄和字節範圍來讀寫塊數據。為了保證可靠性,每個塊被缺省保存3個備份。主服務器管理文件系統所有的元數據,

包括名字空間、訪問控制、文件到塊的映射、塊物理位置等相關信息

.

通過服務器端和客戶端的聯合設計,

GFS對應用支持達到性能與可用性最優。GFS是為Google應用程序本身而設計的,在內部部署了許多GFS集群。有的集群擁有超過1000個存儲節點,超過300T的硬盤空間,被不同機器上的數百個客戶端連續不斷地頻繁訪問著。

圖1Google File System的系統架構

國內外三大雲操作系統綜述


分享到:


相關文章: