02.27 運維開發者一個命令,導致上市互聯網企業市值損失15億港元

水能載舟,亦能覆舟。

開發者如同水,企業就是一艘航行的船。

開發者對於互聯網企業正如水對船,一艘大船的正常運行依託於眾多水浪的平穩,但讓一艘船毀掉的也許一個浪就夠了。同樣一個互聯網企業的正常運轉,離不開眾多優秀的開發者齊心協力的共同進步。但讓互聯網系統的異常,也許一個員工就夠了。

微盟事件,導致公司損失15億港元

最近騰訊旗下微信的第三方服務商微盟出現在了公眾眼中,作為微信第三方服務商的最大提供者之一,它的系統大面積異常對於眾多依託微信的中小企業造成了很大的影響。


運維開發者一個命令,導致上市互聯網企業市值損失15億港元


微盟異常官方通報

據官方公佈消息,2020年2月23日19:00左右,公司連續收到了服務器系統的異常警告,隨後公司召集技術骨幹和騰訊雲技術骨幹,緊急排查,鎖定了是某位員工惡意刪除服務器數據庫數據,導致了這場災難的發生。具體原因目前還處於調查階段。

刪除過程是通過跳板機,登錄到數據庫服務器,估計是一個命令rm -rf /*,就把所有數據刪除了。就這樣一個衝動的決定,不知道後悔沒,這麼大損失估計以後的日子不好過。也許員工受了極大的委屈,才會兩敗俱傷吧。


運維開發者一個命令,導致上市互聯網企業市值損失15億港元


刪除服務器數據跑路,是考驗互聯網企業的縮影,既考驗公司的管理能力,也考驗我們用戶的數據能否得以保證其安全性,通過這次事件,我是懷遲疑態度的。

數據恢復

緊接著就是數據的恢復,由於主數據庫和備份數據庫同時刪除,造成了恢復的巨大艱難性,好在經過連軸轉兩天後,新用戶的業務初步得以恢復,新用戶可以繼續訂購新業務,但估計不會有太多用戶,這麼一折騰,本來想入微盟的估計也投奔有贊去了。

歷史用戶的數據恢復,那就是難上加難,官方通報是2020年2月28日晚上24:00前預計恢復,按照正常歷史已刪除數據的恢復,前提是數據刪除後,硬盤上沒有重複寫入別的數據,否則就異常艱難了。這種場景也正是考察騰訊雲和雲服務的時候了,號稱災備系統強大的雲服務,能否戰勝這場戰役,讓我們一起拭目以待。

歷史刪庫跑路事件

  • GitLab誤操作刪除數據

2017 年 2 月,GitLab遭受DDoS 攻擊後,系統管理員在阻止了這場攻擊之後,運維工作人員發現了數據庫有不同步的問題,然後緊接著開始修復,在修復過程中,錯誤地在生產環境上執行了數據庫目錄刪除命令:

sudo rm -rf

導致 300GB 數據被刪除,GitLab 無奈被迫下線

  • 順豐刪庫事件


運維開發者一個命令,導致上市互聯網企業市值損失15億港元

最後開除此員工,並全公司通報。


所以由此可見,不管是國內國外都有誤操作或者惡意操作,刪除服務器數據,導致公司業務被迫終止的。

誤操作很難避免只能是加大的權限的管控,讓擁有大權限的工作人員平時蓄精養銳,好好休息,以防在關鍵時刻,頭腦不清醒。

惡意的行為,除了加大權限管控,同時也需要公司和員工的一個利益磨合,把該給員工的利益給到位,並且同事之間或者上下級之間,能做到尊敬如賓,相濡以沫,畢竟人的感情是複雜的,不像計算機,只有0和1。


分享到:


相關文章: