03.05 大數據時代,為何分層存儲技術不可或缺?

liu_uil


大數據時代,為何分層存儲技術不可或缺?

個人認為,對數據使用分層存儲技術,是因為互聯網對於不同業務數據使用場景所導致的,針對不同數據進行分層存儲,滿足對的分層存儲,用在對的業務場景。比如對於某些需要經常使用到的數據,列如用戶方面數據,這部分數據雖然存儲在數據庫中,但由於業務需要為用戶展示其個人具體信息,因此需要對數據庫請求比較頻繁,為了更快的將數據返回到用戶,這部分往往會被劃分為熱數據層。

相對於那些使用較少的數據,純粹是為了存儲歷史數據。這部分的數據在存儲後幾乎不會在進行使用,所以這部分數據會被劃分到冷數據層。

01

熱數據由於經常使用,需要將其存儲到更快的存儲介質中

熱數據的一個最大特點,就是業務系統或者軟件需要經常請求這部分數據,然後展示到軟件,供用戶進行瀏覽和查看。所以這部分數據,從請求到數據返回,整體流程的時延要求非常低,比如毫秒級別,時間如果太久,就會影響到用戶的體驗。

在數據庫訪問過程中,從磁盤到內存是一個非常耗時的地方。所以對於熱數據的訪問,一般會將熱數據存儲在SSD這種固態存儲介質中,這樣在數據從磁盤加載到內存時,整體過程的時間會降低,從而降低數據的訪問時延。

當然,使用固態存儲介質的成本較高,所以需要對數據進行分層,到底哪些數據是熱數據。只將熱數據存儲在固態存儲介質中,既能夠降低數據訪問流程的時間消耗,也能夠減少全部數據都存儲在固態硬盤所帶來的成本。

02

冷數據一般由於業務使用非常少,只為了數據備份使用,一般使用廉價的存儲介質存儲

冷數據,顧名思義,這部分業務數據使用的場景非常少,一般只是為了將該部分數據進行存儲,防止數據丟失。比如視頻監控數據,這部分數據往往產生3、4天后,其數據就已經沒有什麼價值,所以這部分數據往往會選擇存儲在較為廉價的磁盤上,僅供數存檔保留,這部分數據可能永遠都不會使用。

冷數據還有一個特點,就是這部分數據往往要比熱數據多。互聯網公司雖然每天線上業務都能夠產生大量的數據,但其中有很多數據是很難應用到業務場景的,只是為了能夠將數據進行備份,應對在將來的某些情況來進行使用,比如去恢復其他數據等等。這部分數據使用廉價存儲介質進行存儲,也更好的為公司降低成本。

03

冷熱數據分層,對於不同特點的數據,運維同學也更好維護

熱數據敏感度較高,在較快的存儲介質上進行存儲,運維同學也會根據其業務特點,重點對這部分進行穩定性維護,所以這部分數據有問題時,其問題處理優先級是最高的。運維同學也會將更多精力放在熱數據的維護上。

對於冷數據而言,數據就沒有那麼重要的,這部分數據即使出了問題,運維同學無需那麼緊張著急。運維同學可以按照自己的節奏來進行處理。熱數據穩定重點保障,冷數據數據保證不丟,運維同學也能夠更好的安排自己的事情,優先的事,優先處理。

我是Lake,專注大數據技術原理、人工智能、數據庫技術、程序員經驗分享,如果我的問答對你有幫助的話,希望你能點贊關注我,感謝。

我會持續大數據、數據庫方面的內容,如果你有任何問題,也歡迎關注私信我,我會認真解答每一個問題。


分享到:


相關文章: