阿里P8架構師談:資料庫、JVM、緩存、SQL等性能調優方法和原則

阿里P8架構師談:數據庫、JVM、緩存、SQL等性能調優方法和原則

性能優化基本是BAT等一線互聯網公司程序員必備的技能,以下為大家完整揭曉性能完整的優化方案和方法:包含web網站調優、數據庫、JVM調優、架構調優等方案。

第一:Web網站調優

1、儘可能減少HTTP請求:圖片合併 (css sprites),Js腳本文件合併、css文件合併。

2、減少DNS查詢

3、將css放在頁面最上面,將js放在頁面最下面

4、壓縮js和css

減少文件體積,去除不必要的空白符、格式符、註釋(即對代碼進行格式化)

5、把js和css提取出來放在外部文件中

這一條要靈活運用,把js和css提取出來放在外部文件的優點是:減少html體積,提高了js和css的複用性,提高日後的可維護性

缺點:增加了http請求,不過這一點可以通過緩存來解決。

什麼情況下將js和css寫在頁面內呢,可以分為幾種情況:js和css代碼比較少;這個頁面不怎麼會訪問

6、避免重定向

重定向就是用戶請求的頁面被轉移到了別的地方,瀏覽器向服務請請求一個頁面,服務器告訴瀏覽器請求的頁面已經被轉移到另外一個頁面,並告知另一個頁面地址,瀏覽器就再發送請求到重定向的地址。這樣會增加服務器和瀏覽器之間的往返次數,影響網站性能。

重定向狀態碼有:301永久重定向 302臨時重定向。304 not modified 並不是真的重定向,它是用來告訴瀏覽器get請求的文件在緩存中,避免重新下載。

7、移除重複腳本

9、使用ajax緩存

ajax的get和post方法:

只要是瀏覽器的get請求,瀏覽器都會使用緩存,對於同一地址的請求,服務器會發送304狀態碼到瀏覽器,瀏覽器就會使用緩存中的數據

post的請求每次都會被執行,瀏覽器不會緩存

10、使用Gzip壓縮

11、使用CDN(內容分發網絡)

第二:數據庫調優

數據庫的調優,總的來說分為以下三部分:

1.SQL調優:主要集中在索引、減少跨表與大數據join查詢等。

2.數據庫端架構設計優化:

通過讀寫分離調整對數據庫的寫操作,通過垂直拆分以及水平拆分(分庫分表)來解決數據庫端連接池瓶頸等問題。

3.連接池調優

可以通過熟悉連接池的原理,以及具體的連接池監控數據,來不斷調試出最終的連接池參數。

第三:通過緩存減少後端壓力

目前分佈式緩存已經比較成熟,常見的有redis、memcached以及開源的淘寶分佈式tair等。

選型考慮

如果數據量小,並且不會頻繁地增長又清空(這會導致頻繁地垃圾回收),那麼可以選擇本地緩存。具體的話,如果需要一些策略的支持(比如緩存滿的逐出策略),可以考慮Ehcache;如不需要,可以考慮HashMap;如需要考慮多線程併發的場景,可以考慮ConcurentHashMap。

緩存是否會滿,緩存滿了怎麼辦?

對於一個緩存服務,理論上來說,隨著緩存數據的日益增多,在容量有限的情況下,緩存肯定有一天會滿的。如何應對?

① 給緩存服務,選擇合適的緩存逐出算法,比如最常見的LRU。

② 針對當前設置的容量,設置適當的警戒值,比如10G的緩存,當緩存數據達到8G的時候,就開始發出報警,提前排查問題或者擴容。

③ 給一些沒有必要長期保存的key,儘量設置過期時間。

第四:數據請求改造為異步

使用場景

用戶並不關心或者用戶不需要立即拿到這些事情的處理結果,這種情況就比較適合用異步的方式處理,這裡的原則就是能異步就異步。

常見做法

一種做法,是額外開闢線程,這裡可以採用額外開闢一個線程或者使用線程池的做法,在IO線程(處理請求響應)之外的線程來處理相應的任務,在IO線程中讓response先返回。

如果異步線程處理的任務設計的數據量非常巨大,那麼可以引入阻塞隊列BlockingQueue作進一步的優化。具體做法是讓一批異步線程不斷地往阻塞隊列裡扔數據,然後額外起一個處理線程,循環批量從隊列裡拿預設大小的一批數據,來進行批處理(比如發一個批量的遠程服務請求),這樣進一步提高了性能。

另一種做法,是使用消息隊列(MQ)中間件服務,MQ天生就是異步的。

第五:JVM調優

什麼時候調?

通過監控系統對一些機器關鍵指標(gc time、gc count、各個分代的內存大小變化、機器的Load值與CPU使用率、JVM的線程數等)的監控報警,也可以看gc log和jstat等命令的輸出,再結合線上JVM進程服務的一些關鍵接口的性能數據和請求體驗,基本上就能定位出當前的JVM是否有問題,以及是否需要調優。

調優工具:

Jconsole,jProfile,VisualVM

Jconsole : jdk自帶,功能簡單,但是可以在系統有一定負荷的情況下使用。對垃圾回收算法有很詳細的跟蹤。詳細說明參考這裡

JProfiler

:商業軟件,需要付費。功能強大。詳細說明參考這裡

VisualVM:JDK自帶,功能強大,與JProfiler類似。推薦。

如何調優?

觀察內存釋放情況、集合類檢查、對象樹

上面這些調優工具都提供了強大的功能,但是總的來說一般分為以下幾類功能

堆信息查看

可查看堆空間大小分配(年輕代、年老代、持久代分配)

阿里P8架構師談:數據庫、JVM、緩存、SQL等性能調優方法和原則

提供即時的垃圾回收功能

垃圾監控(長時間監控回收情況)

阿里P8架構師談:數據庫、JVM、緩存、SQL等性能調優方法和原則

查看堆內類、對象信息查看:數量、類型等

對象引用情況查看

有了堆信息查看方面的功能,我們一般可以順利解決以下問題:

--年老代年輕代大小劃分是否合理

--內存洩漏

--垃圾回收算法設置是否合理

線程監控

阿里P8架構師談:數據庫、JVM、緩存、SQL等性能調優方法和原則

線程信息監控:系統線程數量。

線程狀態監控:各個線程都處在什麼樣的狀態下

Dump線程詳細信息:查看線程內部運行情況

死鎖檢查

熱點分析

CPU熱點:檢查系統哪些方法佔用的大量CPU時間

內存熱點:檢查哪些對象在系統中數量最大(一定時間內存活對象和銷燬對象一起統計)

這兩個東西對於系統優化很有幫助。我們可以根據找到的熱點,有針對性的進行系統的瓶頸查找和進行系統優化,而不是漫無目的的進行所有代碼的優化。

快照

快照是系統運行到某一時刻的一個定格。在我們進行調優的時候,不可能用眼睛去跟蹤所有系統變化,依賴快照功能,我們就可以進行系統兩個不同運行時刻,對象(或類、線程等)的不同,以便快速找到問題

舉例說,我要檢查系統進行垃圾回收以後,是否還有該收回的對象被遺漏下來的了。那麼,我可以在進行垃圾回收前後,分別進行一次堆情況的快照,然後對比兩次快照的對象情況。

內存洩漏檢查

內存洩漏是比較常見的問題,而且解決方法也比較通用,這裡可以重點說一下,而線程、熱點方面的問題則是具體問題具體分析了。

內存洩漏一般可以理解為系統資源(各方面的資源,堆、棧、線程等)在錯誤使用的情況下,導致使用完畢的資源無法回收(或沒有回收),從而導致新的資源分配請求無法完成,引起系統錯誤。

內存洩漏對系統危害比較大,因為他可以直接導致系統的崩潰。

性能調優總結:

大型網站的性能瓶頸大部分瓶頸都在數據庫端,所以性能調優總是沿著如何減少對後端的壓力來操作,數據庫端的瓶頸經常會造成應用端的雪崩(比如:sql查詢過長,長事務)等,所以需要及時解決後端性能。

1.通過讀寫分離、垂直拆分、水平拆分降低對數據庫後端的壓力。

2.通過優化sql語句,索引等,縮短對sql的查詢時間。

2.通過緩存以及CDN來解決對圖片、文件等的讀操作,避免對數據庫產生壓力。

3.通過對web端的優化,js、css等壓縮,提高大文件讀取時間,儘量依賴CDN。

4.還有一個重點就是監控:對JVM、線程、sql查詢時間等健康指標就行及時監控,通過監控及時發現瓶頸,及時優化。

阿里P8架構師談:數據庫、JVM、緩存、SQL等性能調優方法和原則


分享到:


相關文章: