再議資料庫軍規

再議數據庫軍規

上一篇《58到家數據庫30條軍規解讀》引發了廣泛的討論,某些軍規部分同學有疑惑,補充一文說明。

軍規:必須使用UTF8字符集

和DBA負責人確認後,糾正為“新庫默認使用utf8mb4字符集”。

這點感謝網友的提醒,utf8mb4是utf8的超集,emoji表情以及部分不常見漢字在utf8下會表現為亂碼,故需要升級至utf8mb4。

默認使用這個字符集的原因是:“標準,萬國碼,無需轉碼,無亂碼風險”,並不“節省空間”。

一個潛在坑:阿里雲上RDS服務如果要從utf8升級為utf8mb4,需要重啟實例,所以58到家並沒有把所有的數據庫升級成這個字符集,而是“新庫默認使用utf8mb4字符集”。

自搭的Mysql可以完成在線轉換,而不需要重啟數據庫實例。

軍規:數據表、數據字段必須加入中文註釋

這一點應該沒有疑問。

不過也有朋友提出,加入註釋會方便黑客,建議“註釋寫在文檔裡,文檔和數據庫同步更新”。這個建議根據經驗來說是不太靠譜的:

(1)不能怕bug就不寫代碼,怕黑客就不寫註釋,對吧?

(2)文檔同步更新也不太現實,還是把註釋寫好,代碼可讀性做好更可行,互聯網公司的文檔管理?呆過互聯網公司的同學估計都清楚。

軍規:禁止使用存儲過程、視圖、觸發器、Event

軍規:禁止使用外鍵,如果有外鍵完整性約束,需要應用程序控制

軍規:禁止大表使用JOIN查詢,禁止大表使用子查詢

很多網友提出,這些軍規不合理,完全做到不可能。

如原文所述,58到家數據庫30條軍規的背景是“併發量大、數據量大的互聯網業務”,這類業務架構設計的重點往往是吞吐量,性能優先(和錢相關的少部分業務是一致性優先),

對數據庫性能影響較大的數據庫特性較少使用。這類場景的架構方向是“解放數據庫CPU,把複雜邏輯計算放到服務層”,服務層具備更好的擴展性,容易實現“增機器就擴充性能”,數據庫擅長存儲與索引,勿讓數據庫揹負過重的任務。

關於這個點,再有較真的柳巖小編就不回覆了哈,任何事情都沒有百分之百,但58到家的數據庫使用確實沒有存儲過程、視圖、觸發器、外鍵、用戶自定義函數,針對業務特性設計架構,等單庫吞吐量到了幾千上萬,就明白這些軍規的重要性啦。

軍規:只允許使用內網域名,而不是ip連接數據庫

這一點應該也沒有疑問。

不只是數據庫,緩存(memcache、redis)的連接,服務(service)的連接都必須使用內網域名,機器遷移/平滑升級/運維管理…太多太多的好處,如果朋友你還是採用ip直連的,趕緊升級到內網域名吧。

軍規:禁止使用小數存儲國幣

有朋友問存儲前乘以100,取出後除以100是否可行,個人建議“儘量少的使用除法”。

曾經踩過這樣的坑,100元分3天攤銷,每天攤銷100/3元,結果得到3個33.33。後來實施對賬系統,始終有幾分錢對不齊,鬱悶了很久(不是幾分錢的事,是業務方質疑的眼神讓研發很不爽),最後發現是除法惹的禍。

解決方案:使用“分”作為單位,這樣數據庫裡就是整數了。

案例:SELECT uid FROM t_user WHERE phone=13812345678 會導致全表掃描,而不能命中phone索引

這個坑大家沒踩過麼?

phone是varchar類型,SQL語句帶入的是整形,故不會命中索引,加個引號就好了:

SELECT uid FROM t_user WHERE phone=’13812345678’

軍規:禁止使用負向查詢NOT、!=、<>、!、NOT IN、NOT LIKE等,會導致全表掃描

此軍規爭議比較大,部分網友反饋不這麼做很多業務實現不了,稍微解釋一下:

一般來說,WHERE過濾條件不會只帶這麼一個“負向查詢條件”,還會有其他過濾條件,舉個例子:查詢沈劍已完成訂單之外的訂單(好拗口):

SELECT oid FROM t_order WHERE uid=123 AND status != 1;

訂單表5000w數據,但uid=123就會迅速的將數據量過濾到很少的級別(uid建立了索引),此時再接上一個負向的查詢條件就無所謂了,掃描的行數本身就會很少。

但如果要查詢所有已完成訂單之外的訂單:

SELECT oid FROM t_order WHERE status != 1;

這就掛了,立馬CPU100%,status索引會失效,負向查詢導致全表掃描。

末了,除了《58到家數據庫30條軍規解讀》中提到的基礎規範、命名規範、表設計規範、字段設計規範、索引設計規範、SQL使用規範,還有一個行為規範的軍規:

(31)禁止使用應用程序配置文件內的帳號手工訪問線上數據庫

(32)禁止非DBA對線上數據庫進行寫操作,修改線上數據需要提交工單,由DBA執行,提交的SQL語句必須經過測試

(33)分配非DBA以只讀帳號,必須通過VPN+跳板機訪問授權的從庫

(34)開發、測試、線上環境隔離

為什麼要制定行為規範的軍規呢,大夥的公司是不是有這樣的情況:

任何研發、測試都有連接線上數據庫的帳號?

是不是經常有這類誤操作?

(1)本來只想update一條記錄,where條件搞錯,update了全部的記錄

(2)本來只想delete幾行記錄,結果刪多了,四下無人,再insert回去

(3)以為drop的是測試庫,結果把線上庫drop掉了

(4)以為操作的是分庫x,結果SecureCRT開窗口太多,操作成了分庫y

(5)寫錯配置文件,壓力測試壓到線上庫了,生成了N多髒數據

無數的事情,結果就是打電話給DBA,讓他們幫忙擦屁股。

所謂的“業務靈活性”都是扯淡,為什麼要有行為規範?不讓你帶刀,不是限制你,而是保護你的安全。要相信DBA是專業的,讓專業的人幹專業的事情。別把DBA看做你的對立面,多和他們溝通業務場景,溝通請求讀寫比,溝通訪問模式,他們真的能幫助到你,這是我帶DBA團隊的一些感觸。

誰都可能刪除全庫,能找回數據的,真的只有DBA。

==【完】==


分享到:


相關文章: