大型分布式伺服器架構原理解析

第一階段:初始階段的網站架構

一般來講,大型網站都是從小型網站發展而來,一開始的架構都比較簡單,隨著業務複雜和用戶量的激增,才開始做很多架構上的改進。當它還是小型網站的時候,沒有太多訪客,一般來講只需要一臺服務器就夠了,這時應用程序、數據庫、文件等所有資源都在一臺服務器上,網站架構如下圖所示:

大型分佈式服務器架構原理解析

大型分佈式服務器架構原理解析

第二階段: 應用服務和數據服務分離

隨著網站業務的發展和用戶量的增加,一臺服務器就無法再滿足需求了。大量用戶訪問導致訪問速度越來越慢,而逐漸增加的數據也會導致存儲空間不足。這時就需要將應用和數據分離,應用和數據分離後整個網站使用 3 臺服務器:應用服務器、文件服務器和數據庫服務器。這 3 臺服務器對硬件資源的要求各不相同:

1. 應用服務器業務邏輯,需要強大的CPU

2. 數據庫服務器對磁盤讀寫操作很多,需要更快的磁盤和更大的內存

3. 文件服務器存儲用戶上傳的文件,因此需要更大的磁盤空間

此時,網站系統的架構如下圖所示:

大型分佈式服務器架構原理解析

第三階段: 使用緩存改善網站性能

隨著用戶再增加,網站又會一次面臨挑戰:數據庫壓力太大導致整站訪問效率再此下降,用戶體驗受到影響。一個網站,往往 80% 的業務訪問集中在 20% 的數據上,比如微博請求量最多的肯定是那些千萬級粉絲的大 V 的微博,而幾乎沒有人關注的你的首頁,除了自己想起來之外根本不會被打開。既然大部分業務訪問集中在一小部分數據上,那就把這一小部分數據先提前緩存在內存中,而不是每次都去數據庫讀取,這樣就可以減少數據庫的訪問壓力,從而提高整個網站的訪問速度。

網站使用的緩存一般分為緩存到應用服務器或者緩存在專門的分佈式緩存服務器。緩存到應用服務器自己的訪問速度快很多,但是受自身內存限制,往往不太適用。遠程分佈式緩存使用一個集群專門負責緩存服務,當內存不夠還可以輕鬆得動態擴容。

大型分佈式服務器架構原理解析

第四階段:使用應用服務器集群改善網站的併發處理能力

使用緩存後,數據訪問壓力得到了緩解,但是單一應用服務器能夠處理的請求連接有限,在網站訪問高峰期,應用服務器就成了整個網站的效率瓶頸。使用分佈式集群是網站解決高併發、海量數據問題的常用手段。當一臺服務器的處理能力和存儲空間不足時,不要嘗試去更換更強大的服務器,對大型網站而言,多麼強大的服務器,都滿足不了網站持續增長的業務需求。這種情況下,更恰當的做法是增加一臺服務器分擔原有服務器的訪問及存儲壓力。 對網站架構而言,只要能通過增加一臺服務器的方式改善負載壓力,就可以以同樣的方式持續增加服務器不斷改善系統性能,從而實現系統的可伸縮性。應用服務器實現集群是網站可伸縮架構設計中較為簡單成熟的一種,如下圖所示:

大型分佈式服務器架構原理解析

通過負載均衡調度服務器,可以將來自用戶瀏覽器的訪問請求分發到應用服務器集群中的任何一臺服務器上,如果有更多用戶,就在集群中加入更多的應用服務器,使應用服務器的壓力不再成為整個網站的瓶頸。

第五階段:數據庫讀寫分離

網站在使用緩存後,使對大部分數據讀操作訪問都可以不通過數據庫就能完成,但是仍有一部分讀操作(緩存訪問不命中、緩存過期)和全部的寫操作都需要訪問數據庫,在網站的用戶達到一定規模後,數據庫因為負載壓力過高而成為網站的瓶頸。 目前大部分的主流數據庫都提供主從熱備功能,通過配置兩臺數據庫主從關係,可以將一臺數據庫服務器的數據更新同步到另一臺服務器上。網站利用數據庫的這一功能,實現數據庫讀寫分離,從而改善數據庫負載壓力。如下圖所示:

大型分佈式服務器架構原理解析

應用服務器在寫數據的時候,訪問主數據庫,主數據庫通過主從複製機制將數據更新同步到從數據庫,這樣當應用服務器讀數據的時候,就可以通過從數據庫獲得數據。為了便於應用程序訪問讀寫分離後的數據庫,通常在應用服務器端使用專門的數據訪問模塊,使數據庫讀寫分離對應用透明。

第六階段:使用反向代理和 CDN 加速網站響應

隨著網站業務不斷髮展,用戶規模越來越大,由於中國複雜的網絡環境,不同地區的用戶訪問網站時,速度差別也極大。有研究表明,網站訪問延遲和用戶流失率正相關,網站訪問越慢,用戶越容易失去耐心而離開。為了提供更好的用戶體驗,留住用戶,網站需要加速網站訪問速度。主要手段有使用 CDN 和反向代理。如下圖所示:

大型分佈式服務器架構原理解析

第七階段: 使用分佈式文件系統和分佈式數據庫系統

任何強大的單一服務器都滿足不了大型網站持續增長的業務需求。數據庫經過讀寫分離後,從一臺服務器拆分成兩臺服務器,但是隨著網站業務的發展依然不能滿足需求,這時需要使用分佈式數據庫。文件系統也一樣,需要使用分佈式文件系統。如下圖所示:

大型分佈式服務器架構原理解析

分佈式數據庫是網站數據庫拆分的最後手段,只有在單表數據規模非常龐大的時候才使用。不到不得已時,網站更常用的數據庫拆分手段是業務分庫,將不同業務的數據部署在不同的物理服務器上。

第八階段:使用 NoSQL 和搜索引擎

隨著網站業務越來越複雜,對數據存儲和檢索的需求也越來越複雜,網站需要採用一些非關係數據庫技術如 NoSQL 和非數據庫查詢技術如搜索引擎。如下圖所示:

大型分佈式服務器架構原理解析

NoSQL 和搜索引擎都是源自互聯網的技術手段,對可伸縮的分佈式特性具有更好的支持。應用服務器則通過一個統一數據訪問模塊訪問各種數據,減輕應用程序管理諸多數據源的麻煩。

第九階段:業務拆分

大型網站為了應對日益複雜的業務場景,通過使用分而治之的手段將整個網站業務分成不同的產品線。如大型購物交易網站都會將首頁、商鋪、訂單、買家、賣家等拆分成不同的產品線,分歸不同的業務團隊負責。

具體到技術上,也會根據產品線劃分,將一個網站拆分成許多不同的應用,每個應用獨立部署。應用之間可以通過一個超鏈接建立關係(在首頁上的導航鏈接每個都指向不同的應用地址),也可以通過消息隊列進行數據分發,當然最多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統,如下圖所示:

大型分佈式服務器架構原理解析

第十階段:分佈式服務

隨著業務拆分越來越小,存儲系統越來越龐大,應用系統的整體複雜度呈指數級增加,部署維護越來越困難。由於所有應用要和所有數據庫系統連接,在數萬臺服務器規模的網站中,這些連接的數目是服務器規模的平方,導致數據庫連接資源不足,拒絕服務。

既然每一個應用系統都需要執行許多相同的業務操作,比如用戶管理、商品管理等,那麼可以將這些共用的業務提取出來,獨立部署。由這些可複用的業務連接數據庫,提供共用業務服務,而應用系統只需要管理用戶界面,通過分佈式服務調用共用業務服務完成具體業務操作。如下圖所示:

大型分佈式服務器架構原理解析

好了,大型網站的架構演練到這裡,基本上大多數的技術問題都可以得以解決~點個讚唄~

為了讓學習變得輕鬆、高效,今天給大家免費分享一套阿里架構師傳授的一套教學資源。幫助大家在成為架構師的道路上披荊斬棘。

這套視頻課程詳細講解了(Spring,MyBatis,Netty源碼分析,高併發、高性能、分佈式、微服務架構的原理,JVM性能優化、分佈式架構)等這些成為架構師必備的內容!

而且還把框架需要用到的各種程序進行了打包,根據基礎視頻可以讓你輕鬆搭建分佈式框架環境,像在企業生產環境一樣進行學習和實踐。

大型分佈式服務器架構原理解析

後臺私信回覆 “ 架構 ” 就可以馬上免費獲得這套價值一萬八的內部教材!


分享到:


相關文章: