孤獨煙，中國平安研發工程師，目前負責規則雲平臺架構設計以及需求研發工作。畢業後一直從事Java開發工作，在Web開發、架構設計上有多年的實戰經驗。在MySQL性能優化、JVM調優、分佈式領域有著豐富的經驗。
考慮到絕大部分寫業務的程序員在實際開發中使用Redis時，只會Setvalue和Getvalue兩個操作，對Redis整體缺乏一個認知。又恰逢筆者有同事下週要去培訓Redis，所以筆者斗膽以Redis為主題，對Redis常見問題做一個總結，希望能夠掃除大家的知識盲點。
本文圍繞以下幾點進行闡述：
為什麼使用Redis
使用Redis有什麼缺點
單線程的Redis為什麼這麼快
Redis的數據類型，以及每種數據類型的使用場景
-
Redis的過期策略以及內存淘汰機制
Redis和數據庫雙寫一致性問題
如何應對緩存穿透和緩存雪崩問題
如何解決Redis的併發競爭問題
一、為什麼使用Redis
筆者認為，在項目中使用Redis，主要是從兩個角度去考慮：性能和併發。當然，Redis還具備可做分佈式鎖等功能的其它功能，但如果只是為了分佈式鎖這些其它功能，完全還有其它中間件（如Zookpeer等）可以代替，並不是非要使用Redis。
因此，這個問題主要從性能和併發兩個角度去答：
1、性能
如下圖所示，我們在碰到需要執行耗時特別久、且結果不頻繁變動的SQL時，就特別適合將運行結果放入緩存。這樣，後面的請求就去緩存中讀取，使得請求能夠迅速響應。
題外話：忽然想聊一下這個迅速響應的標準——其實根據交互效果的不同，這個響應時間沒有固定標準。不過曾經有人這麼告訴我：“在理想狀態下，我們的頁面跳轉需要在瞬間解決，對於頁內操作則需要在剎那間解決。另外，超過一彈指的耗時操作要有進度提示，並且可以隨時中止或取消，這樣才能給用戶最好的體驗。”
那麼瞬間、剎那、一彈指具體是多少時間呢？
根據《摩訶僧祗律》記載：一剎那者為一念，二十念為一瞬，二十瞬為一彈指，二十彈指為一羅預，二十羅預為一須臾，一日一夜有三十須臾。
那麼，經過周密的計算，一瞬間為0.36秒,一剎那有0.018秒，一彈指長達7.2秒。
2、併發
如下圖所示，在大併發的情況下，所有的請求直接訪問數據庫，數據庫會出現連接異常。這個時候，就需要使用Redis做一個緩衝操作，讓請求先訪問到Redis，而不是直接訪問數據庫。
二、使用Redis有什麼缺點
大家用Redis這麼久，這個問題是必須要了解的，基本上使用Redis都會碰到一些問題，常見的主要是四方面的問題：
緩存和數據庫雙寫一致性問題
緩存雪崩問題
緩存擊穿問題
緩存的併發競爭問題
這四個問題，筆者個人覺得在項目中比較常遇見，具體解決方案，後文會給出。
三、單線程的Redis為什麼這麼快
這個問題其實是對Redis內部機制的一個考察。其實根據筆者的面試經驗，很多人其實都不知道Redis是單線程工作模型。所以，這個問題還是應該要複習一下的。主要是以下三點：
純內存操作
單線程操作，避免了頻繁的上下文切換
採用了非阻塞I/O多路複用機制
我們現在仔細地說一說I/O多路複用機制，因為這個說法實在是太通俗了，通俗到一般人都不懂是什麼意思。打一個比方：小曲在S城開了一家快遞店，負責同城快送服務。小曲因為資金限制，僱傭了一批快遞員，然後小曲發現資金不夠了，只夠買一輛車送快遞。
經營方式一：
客戶每送來一份快遞，小曲就讓一個快遞員盯著，然後快遞員開車去送快遞。慢慢的小曲就發現了這種經營方式存在很多問題，幾十個快遞員基本上時間都花在了搶車上了，大部分快遞員都處在閒置狀態，誰搶到了車，誰就能去送快遞。
隨著快遞的增多，快遞員也越來越多，小曲發現快遞店裡越來越擠，沒辦法僱傭新的快遞員了，快遞員之間的協調很花時間，大部分時間花在搶車上。綜合上述缺點，小曲痛定思痛，提出了下面的經營方式↓
經營方式二：
小曲只僱傭一個快遞員，客戶送來的快遞，小曲按送達地點標註好，然後依次放在一個地方。最後，那個快遞員依次去取快遞，一次拿一個，開著車去送快遞，送好了就回來拿下一個快遞。
上述兩種經營方式對比，是不是明顯覺得第二種，效率更高、更好呢？在上述比喻中：
每個快遞員→每個線程
每個快遞→每個Socket(I/O流)
快遞的送達地點→Socket的不同狀態
客戶送快遞請求→來自客戶端的請求
小曲的經營方式→服務端運行的代碼
一輛車→CPU的核數
於是我們有如下結論：
經營方式一就是傳統的併發模型，每個I/O流(快遞)都有一個新的線程(快遞員)管理。
經營方式二就是I/O多路複用。只有單個線程(一個快遞員)，通過跟蹤每個I/O流的狀態(每個快遞的送達地點)，來管理多個I/O流。
下面類比到真實的Redis線程模型，如圖所示：
參照上圖，簡單來說就是，我們的Redis-client在操作的時候，會產生具有不同事件類型的Socket。在服務端，有一段I/O多路複用程序，將其置入隊列之中。然後文件事件分派器依次去隊列中取，轉發到不同的事件處理器中。
需要說明的是，這個I/O多路複用機制，Redis還提供了Select、Epoll、Evport、Kqueue等多路複用函數庫，大家可以自行去了解。
四、Redis的數據類型及各自使用場景
看到這個問題，是不是覺得它很基礎？其實筆者也這麼覺得。然而根據面試經驗發現，至少80%的人答不上這個問題。建議在項目中用到後，再類比記憶，體會更深，不要硬記。基本上，一個合格的程序員五種類型都會用到：
1、String
這個其實沒什麼好說的，最常規的Set/Get操作，Value可以是String也可以是數字，一般做一些複雜的計數功能的緩存。
2、Hash
這裡Value存放的是結構化的對象，比較方便的就是操作其中的某個字段。筆者在做單點登錄的時候，就是用這種數據結構存儲用戶信息，以CookieId作為Key，設置30分鐘為緩存過期時間，能很好地模擬出類似Session的效果。
3、List
使用List的數據結構，可以做簡單的消息隊列的功能。另外還有一個就是，可以利用Lrange命令，做基於Redis的分頁功能，性能極佳，用戶體驗好。
4、Set
因為Set堆放的是一堆不重複值的集合，所以可以做全局去重的功能。
為什麼不用JVM自帶的Set進行去重？因為我們的系統一般都是集群部署，使用JVM自帶的Set比較麻煩，難道為了做一個全局去重，再起一個公共服務？太麻煩了。
另外，就是利用交集、並集、差集等操作，可以計算共同喜好、全部的喜好、自己獨有的喜好等功能。
5、Sorted Set
Sorted Set多了一個權重參數Score，集合中的元素能夠按Score進行排列。可以做排行榜應用，取TOP N操作。另外，Sorted Set還可以用來做延時任務。最後一個應用就是可以做範圍查找。
五、Redis的過期策略及內存淘汰機制
這個問題其實相當重要，從這個問題就可以看出來到底Redis有沒有用到位。比如，你Redis只能存5G數據，可是你寫了10G，那會刪5G的數據。怎麼刪的？這個問題思考過麼？還有，你的數據已經設置了過期時間，但是時間到了，內存佔用率還是比較高，有思考過原因麼?
Redis採用的是定期刪除+惰性刪除策略。
為什麼不用定時刪除策略？
定時刪除，用一個定時器來負責監視Key，過期則自動刪除。雖然內存及時釋放，但是十分消耗CPU資源。在大併發請求下，CPU要將時間應用在處理請求，而不是刪除Key，因此沒有采用這一策略。
定期刪除+惰性刪除是如何工作的呢？
定期刪除，Redis默認每個100ms檢查是否有過期的Key，有過期Key則刪除。需要說明的是，Redis不是每個100ms將所有的Key檢查一次，而是隨機抽取進行檢查（如果每隔100ms，全部Key進行檢查，Redis豈不是卡死）。因此，如果只採用定期刪除策略，會導致很多Key到時間沒有刪除。
於是，惰性刪除派上用場。也就是說在你獲取某個Key的時候，Redis會檢查一下，這個Key如果設置了過期時間，那麼是否過期了？如果過期了此時就會刪除。
採用定期刪除+惰性刪除就沒其他問題了麼？
不是的，如果定期刪除沒刪除Key。然後你也沒及時去請求Key，也就是說惰性刪除也沒生效。這樣，Redis的內存會越來越高，那麼就應該採用內存淘汰機制。
在Redis.conf中有一行配置：
# maxmemory-policy volatile-lru
該配置就是配內存淘汰策略的：
Noeviction：當內存不足以容納新寫入數據時，新寫入操作會報錯。應該沒人使用吧；
Allkeys-lru：當內存不足以容納新寫入數據時，在鍵空間中，移除最近最少使用的Key。推薦使用，目前項目在用這種；
Allkeys-random：當內存不足以容納新寫入數據時，在鍵空間中，隨機移除某個key，應該也沒人使用吧；
Volatile-lru：當內存不足以容納新寫入數據時，在設置了過期時間的鍵空間中，移除最近最少使用的Key。這種情況一般是把Redis既當緩存又做持久化存儲的時候才用。不推薦；
Volatile-random：當內存不足以容納新寫入數據時，在設置了過期時間的鍵空間中，隨機移除某個Key。依然不推薦；
Volatile-ttl：當內存不足以容納新寫入數據時，在設置了過期時間的鍵空間中，有更早過期時間的Key優先移除。不推薦。
PS：如果沒有設置Expire的Key，不滿足先決條件（Prerequisites）；那麼Volatile-lru、Volatile-random和Volatile-ttl策略的行為，和Noeviction（不刪除）基本上一致。
六、Redis和數據庫雙寫一致性問題
一致性問題是分佈式常見問題，還可以再分為最終一致性和強一致性。數據庫和緩存雙寫，就必然會存在不一致的問題，想要回答這個問題，就要先明白一個前提：如果對數據有強一致性要求，就不能放緩存。我們所做的一切，只能保證最終一致性。
另外，我們所做的方案其實從根本上來說，只能說降低不一致發生的概率，無法完全避免。因此，有強一致性要求的數據不能放緩存。
《分佈式數據庫與緩存雙寫一致性方案解疑》給出了詳細的分析，在這裡簡單地說一說：首先，採取正確更新策略，先更新數據庫，再刪緩存；其次，因為可能存在刪除緩存失敗的問題，提供一個補償措施即可，例如利用消息隊列。
七、應對緩存穿透和緩存雪崩問題
關於“如何應對緩存穿透和緩存雪崩”這兩個問題，說句實在話，一般中小型傳統軟件企業很難碰到。如果有大併發的項目，流量有幾百萬左右，這兩個問題一定要深刻考慮：
1、應對緩存穿透
緩存穿透，即黑客故意去請求緩存中不存在的數據，導致所有的請求都懟到數據庫上，從而數據庫連接異常。
解決方案：
利用互斥鎖，緩存失效的時候，先去獲得鎖，得到鎖了，再去請求數據庫，沒得到鎖，則休眠一段時間重試；
採用異步更新策略，無論Key是否取到值，都直接返回。Value值中維護一個緩存失效時間，緩存如果過期，異步起一個線程去讀數據庫，更新緩存，需要做緩存預熱（項目啟動前，先加載緩存）操作；
提供一個能迅速判斷請求是否有效的攔截機制，比如利用布隆過濾器，內部維護一系列合法有效的Key，迅速判斷出，請求所攜帶的Key是否合法有效，如果不合法，則直接返回。
2、應對緩存雪崩
緩存雪崩，即緩存同一時間大面積的失效，這個時候又來了一波請求，結果請求都懟到數據庫上，從而導致數據庫連接異常。
解決方案：
給緩存的失效時間加上一個隨機值，避免集體失效；
使用互斥鎖，但是該方案吞吐量明顯下降了；
雙緩存。我們有兩個緩存，緩存A和緩存B。緩存A的失效時間為20分鐘，緩存B不設失效時間，自己做緩存預熱操作。然後細分以下幾個小點：
a. 從緩存A讀數據庫，有則直接返回；
b. A 沒有數據，直接從B讀數據，直接返回，並且異步啟動一個更新線程；
c. 更新線程同時更新緩存A和緩存B。
八、如何解決Redis併發競爭Key問題
這個問題大致就是同時有多個子系統去Set一個Key。這個時候要注意什麼呢？本人提前百度了一下，發現大家思考的答案基本都是推薦用Redis事務機制。但本人不推薦使用Redis的事務機制。因為我們的生產環境，基本都是Redis集群環境，做了數據分片操作。你一個事務中有涉及到多個Key操作的時候，這多個Key不一定都存儲在同一個Redis-Server上。因此，Redis的事務機制，十分雞肋。
解決方法如下：
如果對這個Key操作不要求順序
這種情況下，準備一個分佈式鎖，大家去搶鎖，搶到鎖就做Set操作即可，比較簡單。
如果對這個Key操作要求順序
假設有一個Key1，系統A需要將Key1設置為ValueA，系統B需要將Key1設置為ValueB，系統C需要將Key1設置為ValueC。期望按照Key1的Value值按照 ValueA→ValueB→ValueC的順序變化。這種時候我們在數據寫入數據庫的時候，需要保存一個時間戳。假設時間戳如下：
系統A Key 1 {ValueA 3:00}
系統B Key 1 {ValueB 3:05}
系統C Key 1 {ValueC 3:10}
那麼，假設這會系統B先搶到鎖，將Key1設置為{ValueB 3:05}。接下來系統A搶到鎖，發現自己的ValueA的時間戳早於緩存中的時間戳，那就不做Set操作了。以此類推。
其他方法，比如利用隊列，將Set方法變成串行訪問也可以。總之，靈活變通。
九、總結
本文對Redis的常見問題做了一個總結。大部分是筆者自己在工作中遇到，以及以前面試別人的時候常問的一些問題，希望大家能夠有所收穫。
近期熱文
近期活動
閱讀更多 dbaplus社群 的文章
