阿里P8架構師談:Redis緩存的設計、性能、應用與數據集羣同步

阿里P8架構師談:Redis緩存的設計、性能、應用與數據集群同步

Redis 是完全開源免費的,遵守BSD協議,是一個高性能的key-value數據庫。Redis本質上是一個Key-Value類型的內存數據庫,很像memcached,整個數據庫統統加載在內存當中進行操作,定期通過異步操作把數據庫數據flush到硬盤上進行保存。

因為是純內存操作,Redis的性能非常出色,每秒可以處理超過 10萬次讀寫操作,是已知性能最快的Key-Value DB。

Redis的出色之處不僅僅是性能,Redis最大的魅力是支持保存多種數據結構,此外單個value的最大限制是1GB,不像 memcached只能保存1MB的數據,因此Redis可以用來實現很多有用的功能,比方說用List來做FIFO雙向鏈表,實現一個輕量級的高性 能消息隊列服務,用他的Set可以做高性能的tag系統等等。另外Redis也可以對存入的Key-Value設置expire時間,因此也可以被當作一 個功能加強版的memcached來用。

Redis的主要缺點是數據庫容量受到物理內存的限制,不能用作海量數據的高性能讀寫,因此Redis適合的場景主要侷限在較小數據量的高性能操作和運算上。

總結來說,使用Redis的好處如下:

  • 速度快,因為數據存在內存中,類似於HashMap,HashMap的優勢就是查找和操作的時間複雜度都是O(1)
  • 支持豐富數據類型,支持string,list,set,sorted set,hash
  • 支持事務,操作都是原子性,所謂的原子性就是對數據的更改要麼全部執行,要麼全部不執行
  • 豐富的特性:可用於緩存,消息,按key設置過期時間,過期後將會自動刪除

Redis持久化的方式

redis提供了兩種持久化的方式,分別是RDB(Redis DataBase)AOF(Append Only File)

1.RDB

簡而言之,就是在不同的時間點,將redis存儲的數據生成快照並存儲到磁盤等介質上;

2.AOF

換了一個角度來實現持久化,那就是將redis執行過的所有寫指令記錄下來,在下次redis重新啟動時,只要把這些寫指令從前到後再重複執行一遍,就可以實現數據恢復了。

其實RDB和AOF兩種方式也可以同時使用,在這種情況下,如果redis重啟的話,則會優先採用AOF方式來進行數據恢復,這是因為AOF方式的數據恢復完整度更高。如果你沒有數據持久化的需求,也完全可以關閉RDB和AOF方式,這樣的話,redis將變成一個純內存數據庫,+持久化--就像memcache一樣。

Redis常見性能問題和解決方案

  1. Master最好不要做任何持久化工作,如RDB內存快照和AOF日誌文件
  2. 如果數據比較重要,某個Slave開啟AOF備份數據,策略設置為每秒同步一次
  3. 為了主從複製的速度和連接的穩定性,Master和Slave最好在同一個局域網內
  4. 儘量避免在壓力很大的主庫上增加從庫
  5. 主從複製不要用圖狀結構,用單向鏈表結構更為穩定,即:Master

Redis的適用場景

1.會話緩存(Session Cache)

最常用的一種使用Redis的情景是會話緩存(session cache)。用Redis緩存會話比其他存儲(如Memcached)的優勢在於:Redis提供持久化。當維護一個不是嚴格要求一致性的緩存時,如果用戶的購物車信息全部丟失,大部分人都會不高興的,現在,他們還會這樣嗎?

幸運的是,隨著 Redis 這些年的改進,很容易找到怎麼恰當的使用Redis來緩存會話的文檔。甚至廣為人知的商業平臺Magento也提供Redis的插件。

2.隊列

Reids在內存存儲引擎領域的一大優點是提供 list 和 set 操作,這使得Redis能作為一個很好的消息隊列平臺來使用。Redis作為隊列使用的操作,就類似於本地程序語言(如Python)對 list 的 push/pop 操作。

如果你快速的在Google中搜索“Redis queues”,你馬上就能找到大量的開源項目,這些項目的目的就是利用Redis創建非常好的後端工具,以滿足各種隊列需求。例如,Celery有一個後臺就是使用Redis作為broker,你可以從這裡去查看。

3.全頁緩存(FPC)

除基本的會話token之外,Redis還提供很簡便的FPC平臺。回到一致性問題,即使重啟了Redis實例,因為有磁盤的持久化,用戶也不會看到頁面加載速度的下降,這是一個極大改進,類似PHP本地FPC。

再次以Magento為例,Magento提供一個插件來使用Redis作為全頁緩存後端。此外,對WordPress的用戶來說,Pantheon有一個非常好的插件 wp-redis,這個插件能幫助你以最快速度加載你曾瀏覽過的頁面。

4.排行榜/計數器

Redis在內存中對數字進行遞增或遞減的操作實現的非常好。集合(Set)和有序集合(Sorted Set)也使得我們在執行這些操作的時候變的非常簡單,Redis只是正好提供了這兩種數據結構。所以,我們要從排序集合中獲取到排名最靠前的10個用戶–我們稱之為“user_scores”,我們只需要像下面一樣執行即可:

當然,這是假定你是根據你用戶的分數做遞增的排序。如果你想返回用戶及用戶的分數,你需要這樣執行:ZRANGE user_scores 0 10 WITHSCORES,Agora Games就是一個很好的例子,用Ruby實現的,它的排行榜就是使用Redis來存儲數據的,你可以在這裡看到。

Redis的高可用策略(單點故障避免策略)

1.高可用(High Availability)

當一臺服務器停止服務後,對於業務及用戶毫無影響。 停止服務的原因可能由於網卡、路由器、機房、CPU負載過高、內存溢出、自然災害等不可預期的原因導致,在很多時候也稱單點問題。

2.主備方式

這種通常是一臺主機、一臺或多臺備機,在正常情況下主機對外提供服務,並把數據同步到備機,當主機宕機後,備機立刻開始服務。 Redis HA中使用比較多的是keepalived,它使主機備機對外提供同一個虛擬IP,客戶端通過虛擬IP進行數據操作,正常期間主機一直對外提供服務,宕機後VIP自動漂移到備機上。

優點是對客戶端毫無影響,仍然通過VIP操作。

缺點也很明顯,在絕大多數時間內備機是一直沒使用,被浪費著的。

3.主從方式

這種採取一主多從的辦法,主從之間進行數據同步。 當Master宕機後,通過選舉算法(Paxos、Raft)從slave中選舉出新Master繼續對外提供服務,主機恢復後以slave的身份重新加入。

主從另一個目的是進行讀寫分離,這是當單機讀寫壓力過高的一種通用型解決方案。 其主機的角色只提供寫操作或少量的讀,把多餘讀請求通過負載均衡算法分流到單個或多個slave服務器上。

缺點是主機宕機後,Slave雖然被選舉成新Master了,但對外提供的IP服務地址卻發生變化了,意味著會影響到客戶端。 解決這種情況需要一些額外的工作,在當主機地址發生變化後及時通知到客戶端,客戶端收到新地址後,使用新地址繼續發送新請求。

4.方案選擇

主備(keepalived)方案配置簡單、人力成本小,在數據量少、壓力小的情況下推薦使用。 如果數據量比較大,不希望過多浪費機器,還希望在宕機後,做一些自定義的措施,比如報警、記日誌、數據遷移等操作,推薦使用主從方式,因為和主從搭配的一般還有個管理監控中心。

Redis的數據同步方式

無論是主備還是主從都牽扯到數據同步的問題,這也分2種情況:

  • 同步方式:當主機收到客戶端寫操作後,以同步方式把數據同步到從機上,當從機也成功寫入後,主機才返回給客戶端成功,也稱數據強一致性。 很顯然這種方式性能會降低不少,當從機很多時,可以不用每臺都同步,主機同步某一臺從機後,從機再把數據分發同步到其他從機上,這樣提高主機性能分擔同步壓力。 在redis中是支持這楊配置的,一臺master,一臺slave,同時這臺salve又作為其他slave的master。
  • 異步方式:主機接收到寫操作後,直接返回成功,然後在後臺用異步方式把數據同步到從機上。 這種同步性能比較好,但無法保證數據的完整性,比如在異步同步過程中主機突然宕機了,也稱這種方式為數據弱一致性。

Redis主從同步採用的是異步方式,因此會有少量丟數據的危險。還有種弱一致性的特例叫最終一致性,這塊詳細內容可參見CAP原理及一致性模型。

分佈式與集群

1.集群時代

至少部署兩臺Redis服務器構成一個小的集群,主要有2個目的:

  • 高可用性:在主機掛掉後,自動故障轉移,使前端服務對用戶無影響。
  • 讀寫分離:將主機讀壓力分流到從機上。

可在客戶端組件上實現負載均衡,根據不同服務器的運行情況,分擔不同比例的讀請求壓力。

阿里P8架構師談:Redis緩存的設計、性能、應用與數據集群同步

2.Redis集群

分佈式

緩存數據量不斷增加時,單機內存不夠使用,需要把數據切分不同部分,分佈到多臺服務器上。 可在客戶端對數據進行分片,數據分片算法詳見一致性Hash詳解、虛擬桶分片

阿里P8架構師談:Redis緩存的設計、性能、應用與數據集群同步

分佈式集群

大規模分佈式集群時代

當數據量持續增加時,應用可根據不同場景下的業務申請對應的分佈式集群。 這塊最關鍵的是緩存治理這塊,其中最重要的部分是加入了代理服務。 應用通過代理訪問真實的Redis服務器進行讀寫,這樣做的好處是:

避免越來越多的客戶端直接訪問Redis服務器難以管理,而造成風險。

在代理這一層可以做對應的安全措施,比如限流、授權、分片。

避免客戶端越來越多的邏輯代碼,不但臃腫升級還比較麻煩。

代理這層無狀態的,可任意擴展節點,對於客戶端來說,訪問代理跟訪問單機Redis一樣。

阿里P8架構師談:Redis緩存的設計、性能、應用與數據集群同步


更多架構師進階系列專題

阿里P8架構師談:Redis緩存的設計、性能、應用與數據集群同步

以上架構師進階專題:資料獲取方式

關注+轉發後,私信關鍵詞 【架構】即可獲取!

重要的事情說三遍,轉發、轉發、轉發後再發私信,才可以拿到!

阿里P8架構師談:Redis緩存的設計、性能、應用與數據集群同步


分享到:


相關文章: