一次由redis keys * 引發的宕機,付出400萬沉重的代價

某公司技術部發生2起本年度PO級特大事故,造成公司資金損失400萬,原因如下:

由於php工程師直接操作上線redis,執行keys * wxdb(此處省略)cf8*這樣的命令,導致redis鎖住,導致CPU飆升,引起所有支付鏈路卡住,等十幾秒結束後,所有的請求流量全部擠壓到了rds數據庫中,使數據庫產生了雪崩效應,發生了數據庫宕機事件。

該公司表示,如再犯類似事故,將直接開除,並表示之後會逐步收回運維部各項權限。


分享到:


相關文章: