華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

我今天將給大家介紹一下華為最新的發佈的數據中心級的融合分佈式存儲FusionStorage。

我們先看一下華為存儲的歷史,華為進入存儲產業到現在為止已經有的10幾年的歷史,今天看一看我們所取得的成績,華為的產品從來都是不做第二的,永遠都是在做第一。

我們看整體中國市場存儲份額,可以看到,華為已經把國外的老的競爭對手已經甩在身後,長期穩居第一。在分佈式存儲和HCI(超融合)市場裡,近幾年國內廠商國內廠商表現的很不錯,但是華為公司仍然一直保持第一的市場地位。

在2010年開始,我們進入到Gartner通用存儲魔力四象限,從特定領域挑戰者到領導者,應該說這麼多年我們整體市場的地位和影響力,也在一步一步得到了業界的認可。

在這些認可的背後,華為公司一直在不斷佈局產品的類型,提升我們的產品競爭力,滿足各種場景下的用戶的訴求。我們的產品覆蓋包括低端到高端,包括傳統私有存儲設備再到公有云存儲,從傳統介質到全閃存,還有最重要的核心的自研的芯片,可以自豪的說,能夠同時提供自研芯片、公有云存儲還有企業存儲服務的公司,業界只有華為這一家。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

如果我們提一個問題,存儲的核心競爭力還有控制點到底是什麼?

我想應該是芯片和算法。

華為公司一直牢牢的把握著芯片自研能力和算法的領先性,這是華為公司一直以來發展的策略。多年來我們在自研芯片和算法上投入了大量的研發能力,在算、傳、存、管、用等多個方面我們都具備自給自足的芯片和算法的能力。

同時結合我們的OceanStor,OceanStor是我們的軟件平臺,通過OceanStor積累的3000萬行代碼和核心算法,我們共同構築了華為存儲的核心競爭力。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

如今新產業的蓬勃發展,帶動數據高速增長,像今年5G顯然是今年業界關注的焦點,雖然美國總在搗亂,但是技術的發展是不可能被阻擋的。隨著5G成熟和基礎設施不斷完善,像超高清的視頻、智慧工廠、車聯網,這些新興產業都步入到快速發展期,數據量快速增長。前幾年當時預測數據的增長量還是比較有限制,現在最新的數據增長量的預估從2018年10ZB到2025年的180ZB,幾乎每年的預測都會往上增長。

這麼多年來存儲技術本身有了巨大的發展,比如說全閃存存儲已經彌補了傳統存儲在數據中心內的性能上的差異,但是整體來看存儲架構沒有完全完成雲化的轉型,現在數據中心裡還是有很多的存儲孤島,比如說我們在核心的業務裡面,還是用全閃存和高端存儲,在一般業務裡我們還會用到中低端存儲,像歸檔會用到對象存儲,視頻分析類會用到文件存儲。

隨著5G、AI、雲這個技術浪潮的發展,對存儲的基礎架構提出了越來越多的要求,主要體現在哪三個方面要解決的問題?一個是存儲孤島的問題,這個孤島是一定要消除的。

第二個是耗時費力的數據遷移,這個還越來越多,這個一定要解決。

第三個是管理運維的成本越來越大,管理運維難度也越來越大。

華為公司在今年2月份,在巴塞羅那的世界移動大會上發佈了新一代,也是業界的首款數據中心級的融合分佈式存儲FusionStorage 8.0。

FusionStorage8.0是一個軟件定義的分佈式存儲,它是通過存儲架構的創新,消除了存儲的多樣性。

為什麼這麼說?

以前我們有那麼多種存儲硬件產品形態,包括了全閃存、中高低端、對象、大數據、文件,現在我們都可以把這些多存儲服務融合在一起。這樣可以做到無論是關鍵的業務,還是非關鍵的業務,還是新興業務,都可以用一個數據中心、一套存儲來承載,這樣使得業務流得以整合,效率提升50%,整體TCO降低40%。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

同時FusionStorage 8.0支持了自動駕駛存儲,這點在根本上改變了傳統存儲的運維模式。過去當存儲設備生命週期要到結束的時候,就會很麻煩,不僅要中斷業務進行大量數據的遷移,同時還要再替換掉以前的舊的存儲設備。但是現在FusionStorage8.0使用這款產品,我們就可以做到數據免遷移,業務永遠在線,不需要中斷,軟件可以在線升級,硬件可以即插即用,維護成本大幅度降低。

我們再來看一下FusionStorage8.0的獨特優勢是什麼?

華為自研的芯片,華為公有云存儲架構,以及華為多年以來積累的企業存儲服務能力,這三方面的結合,就是我們這個版本的特殊優勢。具體一點我們可以提升大規模擴展能力和高效低TCO。通過跨集群的Flashlink技術和0.5ms時延,通過這個可以把分佈式存儲代入企業核心業務。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

同時我們可以把軟件功能卸載到硬件芯片裡,通過軟硬件結合一體化的,可以把可靠性能大幅度提升。

大家對分佈式存儲研究比較多的話都會有這樣一個瞭解,用戶對分佈式存儲一直以來是有所顧慮的,在用戶印象中分佈式存儲的定位,還主要是在非關鍵的業務,比如說開發和測試環境。原因主要是認為性能和可靠性還沒有達到企業核心應用的能力。但是今天我認為我們可以自豪的說,FusionStorage8.0打破了固有的落後的觀念,我們是可以支撐企業核心應用的雲存儲。

剛才我簡單介紹了FusionStorage的三大客戶價值,我們一起回顧一下,一個是一個數據中心一套存儲,另外是數據永不遷移存儲,第三個是自動駕駛存儲,在這三大市場價值的背後,我們有七大關鍵技術點做支撐的。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

接下來我對這七大關鍵技術點做一一的解讀。

FlashLink,是華為存儲特有性能優化技術。它解決的問題是什麼?它可以智能的區分出哪些是用戶應用過來的數據流量,哪些是我們的後臺任務而產生的數據。

接下來它會把這兩種不同的數據寫在介質不同的區域,這樣可以避免相互的影響。能夠使得SSD的顆粒減少磨損,而且減少碎片。這樣的結果是減少寫方大,提升性能。

Flashnk還提供了什麼?提供了全局的垃圾回收,我們知道全閃存這裡都會涉及到GC,就是垃圾回收的功能,我們可以提供全局垃圾回收,還有全局磨損均衡,還有其他的技術。它可以帶來的好處是什麼?它可以對SSD的顆粒進行資源的調度,這樣結果是可以延長SSD顆粒的使用壽命。可能有些人知道有些人不知道,華為自研了很多硬件芯片,其中也包含了SSD的控制器,因為顆粒這個東西是傻大黑粗的東西,真正有價值的是華為的控制器,這個控制器能決定一個SSD的性能和SSD的壽命。因為不同的寫這個數據的方法,以及不同的垃圾回收的方法,會對SSD的介質直接造成影響。

FlashLink還可以做到0.5毫秒的極低的時延,這樣各種數據庫對性能的要求我們都是能夠滿足的。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

FusionStorage的另外一個重要特性叫做真雙活,這個特性是分佈式存儲業內首個數據中心級的雙活,我們可以為關鍵業務提供99.9999%的可靠性。FusionStorage是真正對兩個站點之間數據中心的優化,我們儘可能減少來回流量,所以我們才能做到兩個站點之間距離延長到100公里,同時能夠提供小於2ms的時延。這些也得益於華為存儲在傳統的企業存儲市場這麼多年來的積累。這次我們實現真正免網關雙活,在業務出現故障的時候我們能夠對數據提供最完善的可靠性的保障。基於這個特性為什麼可以說FlashLink叫做關鍵業務雲存儲的產品。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

EC Turbo,我相信在座很多人對EC比較瞭解,相信在座很多人都是專家。EC是分佈式存儲的一個很重要的技術點。簡單來說它可以在提供副本的可靠性能力基礎上,能夠獲得更高的硬盤的得盤率。但是說實話業內大部分分佈式產品在EC這個地方做的都不夠好。可以說宣傳了很多,但是實用性不佳,能夠達到商用級別的產品確實不多。為什麼?主要是因為一個是EC的算法,EC的算法裡性能這塊很容易出現一些問題。第二個是寫放大,寫放大如果比較嚴重也使得EC的性能會下降。

華為在EC這裡做了很多設計工作,所以我們的EC叫做EC Turbo,我們有哪些亮點?第一我們的EC是自研的算法,所以可以作到商用級別做到22+2最佳配比,可以獲得91.67%的硬盤得盤率,大家比較熟悉業內幾個分佈式廠商,基本上商用宣傳的是8+2,而我們是可以做到22+2的商用水平。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

另外我們有智能的IO聚合技術,這個技術可以大幅度提升EC,尤其是小文件的性能,我們可以儘可能的減少寫放大的能力,來提升性能。所以我們對外宣稱的是使用EC之後性能是無損的,性能是不下降的,我們所有對外宣稱產品性能都是在開啟EC的情況之下,一般其他友商可能在這個方面玩一些數字遊戲。

另外還有一個非常有特點的EC特性,叫做動態EC。實際上我們的集群的規模的改變是比較容易出現的,有兩種改變的方式。一種是當集群出現故障的時候,當節點出現故障的時候,集群規模會變小。這個時候故障的節點裡麵包含的那部分的數據,它的可靠性會降級,我相信大家都比較清楚。但是我們的動態EC的能力,我們可以動態的調整EC冗餘配比,保證我們的可靠性不降低。

另外一個變化趨勢是集群規模會變大,比如比較常規的擴容維護操作下,集群規模會變大。變大的時候如果你還用原來最初的EC冗餘配比,你的成本一定不是最優的。我們就可以做到,通過動態EC可以自動化的適配最新的集群規模,來自動的調整冗餘配比,從而達到最優的成本競爭力。

自適應重刪,這一點很多人都清楚,我只是講我們FlashLink重刪壓縮和業內主要廠家通用特性的差別是什麼?

第一我們支持的是全局的重刪;第二我們是同時支持在線重刪和後重刪兩種模式;第三我們會根據系統資源的附載情況,我們會自動在在線重刪和後重刪之間做自動的切換。因為前重刪和後重刪各有各的優勢,我們會通過這種自動調整的方式,保證業務性能達到最優。

還有一點,我們的壓縮是用的華為自研的深度的壓縮的算法,叫HZ9,這個壓縮算法比一般我們用的SZ4的壓縮算法提升將近1倍的壓縮比。

基於這些技術,FlashLink的重刪壓縮可以做到5:1的數據縮減比。而且在開啟重刪壓縮這個特性之後,我們可以做到性能的下降不超過15%,我們瞭解的是業界的其他友商在開啟重刪的時候,他的性能平均會下降28%。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

數據跨雲流動,可以做到數據管理效率提升50%,大家可能都知道華為有自己的公有云的,所以我們是具備了從邊緣雲到私有云再到公有云,全套的存儲解決方案。所以我們可以很容易的做到企業應用的上雲,這裡包含了3個具體的技術點。

第一我們的線上和線下使用的都是同一套技術架構,這樣保證了我們在邊緣、私有云和公有云之間,我們的數據可以自由流動,這是基礎。如果你的數據保存的格式類型都不一樣,雖然說要流動,但是你的代價一定是很大的,否則你的數據移動到其他地方去讀不出來,理解不了,大家必須用相同的語,用相同的持久化的數據格式才行。第二點我們提供了無代理的備份還有秒級的異步複製的特性,代理的好處是什麼?我們可以通過備份或者容災的方式將用戶數據上到公有云,一旦業務發生故障的時候,用戶自己可以選擇到底是從本地恢復還是在公有云側恢復業務,那就非常的簡單。不只是說數據流動,而且業務恢復也可以直接選擇在不同的地方恢復,這樣就讓數據流動更有價值。第三我們提供了跨雲的統一管理,還有運維一致性的體驗,這樣也讓跨雲的容災備份變得更加簡單。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

存儲永新,這是個很有意思的概念。傳統存儲在生命週期運維的時候會遇到一些困難,剛才我們也提到當硬件更新換代的時候,或者軟件升級的時候,往往需要中斷業務,還要產生大量數據遷移,其實數據遷移速度是很慢的。業界現在宣稱最牛的,一小時可以傳4TB已經很牛了。現在每一塊硬盤都在往10+TB,可想而知如果更換1個以前的傳統企業出的1個節點,這個節點幾百TB需要花多長時間?這個時間簡直是不可評估的,而且企業存儲雲由於架構的原因,它的併發度很差,所以它的數據重構和數據遷移的速度是很有限的。所以這個問題是個非常嚴重的問題。

現在我們用FusionStorage8.0我們基於分佈式存儲架構和它的橫向擴展能力,我們可以把硬件更新換代轉化成為我們的常規的集群的縮容和擴容,就可以解決這個問題,這樣能夠帶來一系列的好處,最主要的是數據是免遷移,我們認為數據不需要遷移,業務也不會中斷,整體TCO我們認為會下降40%。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

自動駕駛存儲,剛才我們也大概講了一下,我們希望做到就像車輛自動駕駛一樣,讓運維能夠非常的簡單,不需要過多的人工的參與,我們是怎麼做到的?我們是基於AI,包含了5大智能運維技術,我一一的跟大家講一下第一是智能發放,智能發放是以服務為單位而進行的資源分配,基於這個技術我們可以做到資源發放時間下降90%。

我們會對整個存儲的系統,或者應該說整體的數據中心存儲系統做一個智能的副本的生命週期管理,這樣整體系統上我們可以做到副本浪費的情況減少50%。因為有時候在一個數據中心有很多套存儲系統,每一套存儲系統都會有一個數據副本,所以你有多少套存儲副本,就有多少個副本,如果我們用一套存儲系統,實際上這個副本數量就可以減少。所以這50%其實還是比較保守的。

我們對於故障的情況,我們還提供了智能分析和診斷能力,我們可以給出全面的健康的評分,我們可以給出全面的故障的模式庫,我們統計了有82%的問題其實我們立即就可以解決,在我們的模式庫裡一匹配,我們就能知道問題在哪裡。同時我們還有一個重點現在打造的就是一個智能預測的能力,我們可以對SLA的級別、容量還有性能都做預測,提前掌控存儲的趨勢。並且給出了可行的解決問題的意見,這樣能夠讓資源利用率提升20%。

華為FusionStorage8.0,一套存儲系統橫掃全部應用,你信嗎?

最後一個是智能數據流,我們允許用戶應用數據可以在不同的SLA之間做平滑的移動,這一系列的技術點都可以提升用戶的運維體驗,而且能夠做到業務不中斷。

現在介紹一下兩個FusionStorage在行業應用的案例,首先我們看一下關鍵技術承載的案例。

遼寧移動很有代表性,遼寧移動的數據中心同時有多種供應商、多種產品,相同的產品還有不同的型號,所以運維管理是非常的複雜。但是現在整體運營商都提出叫做多域整合,降本增效,他提出這樣一個目標。在這個大的背景之下,FusionStorage就逐漸的承接了遼寧移動的各種業務,包括了邊緣以及一直到核心。現在基本上遼寧移動數據中心基本上都用的是FusionStorage。

我們就用一套架構、一種存儲和一個管理平臺,完成了這個存儲業務的整合,整體的TCO降低了40%。

再看一下招商銀行,招商銀行是比較OPEN的,它在分佈式領域裡走的比較靠前的銀行,早在2015年開始就和華為公司進行了合作,開始推行存儲的雲化,從開發測試環境,再到OLAP、OLTP還有智能風控、VDI,這麼多的場景都使用的是FusionStorage,累計用到了200多個節點。容量有5PB。應該說分佈式存儲給招商銀行帶來的最大價值是什麼?

客戶這邊的評價是它提高了業務的敏捷度,能夠快速的反映業務的變化,這是非常重要的。因為銀行系統業務也會經常變化,如果每次變化都需要大幅度整改他的存儲系統和網絡系統,那這個數據中心的維護是非常複雜的,所以我們可以幫助招商銀行做更懂客戶的銀行。

以上就是我給大家帶來的FusionStorage產品的介紹,希望希望以後大家持續關注華為的分佈式存儲,持續關注FusionStorage,謝謝大家!


分享到:


相關文章: