02.27 运维开发者一个命令,导致上市互联网企业市值损失15亿港元

水能载舟,亦能覆舟。

开发者如同水,企业就是一艘航行的船。

开发者对于互联网企业正如水对船,一艘大船的正常运行依托于众多水浪的平稳,但让一艘船毁掉的也许一个浪就够了。同样一个互联网企业的正常运转,离不开众多优秀的开发者齐心协力的共同进步。但让互联网系统的异常,也许一个员工就够了。

微盟事件,导致公司损失15亿港元

最近腾讯旗下微信的第三方服务商微盟出现在了公众眼中,作为微信第三方服务商的最大提供者之一,它的系统大面积异常对于众多依托微信的中小企业造成了很大的影响。


运维开发者一个命令,导致上市互联网企业市值损失15亿港元


微盟异常官方通报

据官方公布消息,2020年2月23日19:00左右,公司连续收到了服务器系统的异常警告,随后公司召集技术骨干和腾讯云技术骨干,紧急排查,锁定了是某位员工恶意删除服务器数据库数据,导致了这场灾难的发生。具体原因目前还处于调查阶段。

删除过程是通过跳板机,登录到数据库服务器,估计是一个命令rm -rf /*,就把所有数据删除了。就这样一个冲动的决定,不知道后悔没,这么大损失估计以后的日子不好过。也许员工受了极大的委屈,才会两败俱伤吧。


运维开发者一个命令,导致上市互联网企业市值损失15亿港元


删除服务器数据跑路,是考验互联网企业的缩影,既考验公司的管理能力,也考验我们用户的数据能否得以保证其安全性,通过这次事件,我是怀迟疑态度的。

数据恢复

紧接着就是数据的恢复,由于主数据库和备份数据库同时删除,造成了恢复的巨大艰难性,好在经过连轴转两天后,新用户的业务初步得以恢复,新用户可以继续订购新业务,但估计不会有太多用户,这么一折腾,本来想入微盟的估计也投奔有赞去了。

历史用户的数据恢复,那就是难上加难,官方通报是2020年2月28日晚上24:00前预计恢复,按照正常历史已删除数据的恢复,前提是数据删除后,硬盘上没有重复写入别的数据,否则就异常艰难了。这种场景也正是考察腾讯云和云服务的时候了,号称灾备系统强大的云服务,能否战胜这场战役,让我们一起拭目以待。

历史删库跑路事件

  • GitLab误操作删除数据

2017 年 2 月,GitLab遭受DDoS 攻击后,系统管理员在阻止了这场攻击之后,运维工作人员发现了数据库有不同步的问题,然后紧接着开始修复,在修复过程中,错误地在生产环境上执行了数据库目录删除命令:

sudo rm -rf

导致 300GB 数据被删除,GitLab 无奈被迫下线

  • 顺丰删库事件


运维开发者一个命令,导致上市互联网企业市值损失15亿港元

最后开除此员工,并全公司通报。


所以由此可见,不管是国内国外都有误操作或者恶意操作,删除服务器数据,导致公司业务被迫终止的。

误操作很难避免只能是加大的权限的管控,让拥有大权限的工作人员平时蓄精养锐,好好休息,以防在关键时刻,头脑不清醒。

恶意的行为,除了加大权限管控,同时也需要公司和员工的一个利益磨合,把该给员工的利益给到位,并且同事之间或者上下级之间,能做到尊敬如宾,相濡以沫,毕竟人的感情是复杂的,不像计算机,只有0和1。


分享到:


相關文章: