Redis配置詳解

Redis配置詳解

前言

Redis 是單進程,但線程IO複用,基於事件,類似於Netty。因為是單線程,所以浪費了,多核,如果開啟集群效果會更好

NoSql的最大優勢就是存儲的內存中

Redis支持持久化到硬盤,支持數據機構更多,且支持分佈式,沒有主節點之分,當集群中任意兩個節點宕機,不會導致數據的不可用。

Redis和Memcached整體對比

Redis和Memcached整體對比

Redis的作者Salvatore Sanfilippo曾經對這兩種基於內存的數據存儲系統進行過比較,總體來看還是比較客觀的,現總結如下:

  1. 性能對比:由於Redis只使用單核,而Memcached可以使用多核,所以平均每一個核上Redis在存儲小數據時比Memcached性能更高。而在100k以上的數據中,Memcached性能要高於Redis,雖然Redis最近也在存儲大數據的性能上進行優化,但是比起Memcached,還是稍有遜色。
  2. 內存使用效率對比:使用簡單的key-value存儲的話,Memcached的內存利用率更高,而如果Redis採用hash結構來做key-value存儲,由於其組合式的壓縮,其內存利用率會高於Memcached。
  3. Redis支持服務器端的數據操作:Redis相比Memcached來說,擁有更多的數據結構和並支持更豐富的數據操作,通常在Memcached裡,你需要將數據拿到客戶端來進行類似的修改再set回去。這大大增加了網絡IO的次數和數據體積。在Redis中,這些複雜的操作通常和一般的GET/SET一樣高效。所以,如果需要緩存能夠支持更復雜的結構和操作,那麼Redis會是不錯的選擇。

分佈式分析

什麼是哈希槽,就是根據key計算hash,根據hash到內置的哈希槽中尋找,這些哈希槽會適當的大致均勻的放在結群中每個節點中

為什麼當你往Redis Cluster中加入一個Key時,會根據crc16(key) mod 16384計算這個key應該分佈到哪個hash slot中,一個hash slot中會有很多key和value。你可以理解成表的分區,使用單節點時的redis時只有一個表,所有的key都放在這個表裡;改用Redis Cluster以後會自動為你生成16384個分區表,你insert數據時會根據上面的簡單算法來決定你的key應該存在哪個分區,每個分區裡有很多key。

Redis 集群中內置了 16384 個哈希槽,當需要在 Redis 集群中放置一個 key-value 時,redis 先對 key 使用 crc16 算法算出一個結果,然後把結果對 16384 求餘數,這樣每個 key 都會對應一個編號在 0-16383 之間的哈希槽,redis 會根據節點數量大致均等的將哈希槽映射到不同的節點。

使用哈希槽的好處就在於可以方便的添加或移除節點。

當需要增加節點時,只需要把其他節點的某些哈希槽挪到新節點就可以了;

當需要移除節點時,只需要把移除節點上的哈希槽挪到其他節點就行了;

內部機制,與我何干,對於我們來說,在新增或移除節點的時候不要讓我們先停掉所有的 redis 服務我就謝天謝地了,這點它做到了。

Redis配置信息

  • daemonize no 默認情況下,redis不是在後臺運行的。如果需要在後臺運行,把該項的值更改為yes;
  • pidfile /var/run/redis.pid當Redis在後臺運行的時候,Redis默認會把pid文件放在/var/run/redis.pid,你可以配置到其他地址。當運行多個redis服務時,需要指定不同的pid文件和端口;
  • port 6379指定redis運行的端口,默認是6379;
  • bind 127.0.0.1 指定redis只接收來自於該IP地址的請求,如果不進行設置,那麼將處理所有請求。在生產環境中最好設置該項;
  • loglevel debug 指定日誌記錄級別,其中Redis總共支持四個級別:debug、verbose、notice、warning,默認為verbose。debug表示記錄很多信息,用於開發和測試。verbose表示記錄有用的信息,但不像debug會記錄那麼多。notice表示普通的verbose,常用於生產環境。warning 表示只有非常重要或者嚴重的信息會記錄到日誌;
  • logfile /var/log/redis/redis.log 配置log文件地址,默認值為stdout。若後臺模式會輸出到/dev/null;
  • databases 16 可用數據庫數,默認值為16,默認數據庫為0,數據庫範圍在0-(database-1)之間;
  • save 900 1保存數據到磁盤,格式為save ,指出在多長時間內,有多少次更新操作,就將數據同步到數據文件rdb。相當於條件觸發抓取快照,這個可以多個條件配合。save 900 1就表示900秒內至少有1個key被改變就保存數據到磁盤;
  • rdbcompression yes 存儲至本地數據庫時(持久化到rdb文件)是否壓縮數據,默認為yes;
  • dbfilename dump.rdb本地持久化數據庫文件名,默認值為dump.rdb;
  • dir ./ 工作目錄,數據庫鏡像備份的文件放置的路徑。這裡的路徑跟文件名要分開配置是因為redis在進行備份時,先會將當前數據庫的狀態寫入到一個臨時文件中,等備份完成時,再把該臨時文件替換為上面所指定的文件。而這裡的臨時文件和上面所配置的備份文件都會放在這個指定的路徑當中,AOF文件也會存放在這個目錄下面。注意這裡必須指定一個目錄而不是文件;
  • slaveof 主從複製,設置該數據庫為其他數據庫的從數據庫。設置當本機為slave服務時,設置master服務的IP地址及端口。在Redis啟動時,它會自動從master進行數據同步;
  • masterauth 當master服務設置了密碼保護時(用requirepass制定的密碼)slave服務連接master的密碼;
  • slave-serve-stale-data yes 當從庫同主機失去連接或者複製正在進行,從機庫有兩種運行方式:如果slave-serve-stale-data設置為yes(默認設置),從庫會繼續相應客戶端的請求。如果slave-serve-stale-data是指為no,除去INFO和SLAVOF命令之外的任何請求都會返回一個錯誤"SYNC with master in progress";
  • repl-ping-slave-period 10從庫會按照一個時間間隔向主庫發送PING,可以通過repl-ping-slave-period設置這個時間間隔,默認是10秒;
  • repl-timeout 60 設置主庫批量數據傳輸時間或者ping回覆時間間隔,默認值是60秒,一定要確保repl-timeout大於repl-ping-slave-period;
  • requirepass foobared 設置客戶端連接後進行任何其他指定前需要使用的密碼。因為redis速度相當快,所以在一臺比較好的服務器下,一個外部的用戶可以在一秒鐘進行150K次的密碼嘗試,這意味著你需要指定非常強大的密碼來防止暴力破解;
  • rename-command CONFIG "" 命令重命名,在一個共享環境下可以重命名相對危險的命令,比如把CONFIG重名為一個不容易猜測的字符:# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52。如果想刪除一個命令,直接把它重命名為一個空字符""即可:rename-command CONFIG "";
  • maxclients 128設置同一時間最大客戶端連接數,默認無限制。Redis可以同時打開的客戶端連接數為Redis進程可以打開的最大文件描述符數。如果設置 maxclients 0,表示不作限制。當客戶端連接數到達限制時,Redis會關閉新的連接並向客戶端返回max number of clients reached錯誤信息;
  • maxmemory 指定Redis最大內存限制。Redis在啟動時會把數據加載到內存中,達到最大內存後,Redis會先嚐試清除已到期或即將到期的Key,Redis同時也會移除空的list對象。當此方法處理後,仍然到達最大內存設置,將無法再進行寫入操作,但仍然可以進行讀取操作。注意:Redis新的vm機制,會把Key存放內存,Value會存放在swap區;
  • maxmemory-policy volatile-lru 當內存達到最大值的時候Redis會選擇刪除哪些數據呢?有五種方式可供選擇:volatile-lru代表利用LRU算法移除設置過過期時間的key (LRU:最近使用 Least Recently Used ),allkeys-lru代表利用LRU算法移除任何key,volatile-random代表移除設置過過期時間的隨機key,allkeys_random代表移除一個隨機的key,volatile-ttl代表移除即將過期的key(minor TTL),noeviction代表不移除任何key,只是返回一個寫錯誤。
  • 注意:對於上面的策略,如果沒有合適的key可以移除,寫的時候Redis會返回一個錯誤;
  • appendonly no 默認情況下,redis會在後臺異步的把數據庫鏡像備份到磁盤,但是該備份是非常耗時的,而且備份也不能很頻繁。如果發生諸如拉閘限電、拔插頭等狀況,那麼將造成比較大範圍的數據丟失,所以redis提供了另外一種更加高效的數據庫備份及災難恢復方式。開啟append only模式之後,redis會把所接收到的每一次寫操作請求都追加到appendonly.aof文件中。當redis重新啟動時,會從該文件恢復出之前的狀態,但是這樣會造成appendonly.aof文件過大,所以redis還支持了BGREWRITEAOF指令對appendonly.aof 進行重新整理,你可以同時開啟asynchronous dumps 和 AOF;
  • appendfilename appendonly.aof AOF文件名稱,默認為"appendonly.aof";
  • appendfsync everysec Redis支持三種同步AOF文件的策略: no代表不進行同步,系統去操作,always代表每次有寫操作都進行同步,everysec代表對寫操作進行累積,每秒同步一次,默認是"everysec",按照速度和安全折中這是最好的。
  • slowlog-log-slower-than 10000 記錄超過特定執行時間的命令。執行時間不包括I/O計算,比如連接客戶端,返回結果等,只是命令執行時間。可以通過兩個參數設置slow log:一個是告訴Redis執行超過多少時間被記錄的參數slowlog-log-slower-than(微妙),另一個是slow log 的長度。當一個新命令被記錄的時候最早的命令將被從隊列中移除,下面的時間以微妙微單位,因此1000000代表一分鐘。注意制定一個負數將關閉慢日誌,而設置為0將強制每個命令都會記錄;
  • hash-max-zipmap-entries 512 && hash-max-zipmap-value 64 當hash中包含超過指定元素個數並且最大的元素沒有超過臨界時,hash將以一種特殊的編碼方式(大大減少內存使用)來存儲,這裡可以設置這兩個臨界值。Redis Hash對應Value內部實際就是一個HashMap,實際這裡會有2種不同實現。這個Hash的成員比較少時Redis為了節省內存會採用類似一維數組的方式來緊湊存儲,而不會採用真正的HashMap結構,對應的value redisObject的encoding為zipmap。當成員數量增大時會自動轉成真正的HashMap,此時encoding為ht;
  • list-max-ziplist-entries 512 list數據類型多少節點以下會採用去指針的緊湊存儲格式;
  • list-max-ziplist-value 64數據類型節點值大小小於多少字節會採用緊湊存儲格式;
  • set-max-intset-entries 512 set數據類型內部數據如果全部是數值型,且包含多少節點以下會採用緊湊格式存儲;
  • zset-max-ziplist-entries 128 zsort數據類型多少節點以下會採用去指針的緊湊存儲格式;
  • zset-max-ziplist-value 64 zsort數據類型節點值大小小於多少字節會採用緊湊存儲格式。
  • activerehashing yes Redis將在每100毫秒時使用1毫秒的CPU時間來對redis的hash表進行重新hash,可以降低內存的使用。當你的使用場景中,有非常嚴格的實時性需要,不能夠接受Redis時不時的對請求有2毫秒的延遲的話,把這項配置為no。如果沒有這麼嚴格的實時性要求,可以設置為yes,以便能夠儘可能快的釋放內存;
Redis配置詳解


分享到:


相關文章: