企業級分佈式 HTAP 數據庫管理系統,騰訊 TBase 正式開源 ​

導讀:騰訊雲首席架構師李躍森先生,主要負責TBase數據的技術研發和架構設計,有超過10年的數據庫內核開發設計經驗,進行過多種數據的架構設計和開發。將在即將到來的2019數據技術嘉年華分享主題“騰訊TBase數據庫核心原理”,歡迎大家前來交流學習。

報名鏈接:modb.pro/dtc(複製到瀏覽器中打開)

TBase簡介

TBase是騰訊數據平臺團隊在開源的PostgreSQL基礎上研發的企業級分佈式HTAP數據庫管理系統:

  • 具備高性能可擴展的分佈式事務能力,支持RC和RR兩種隔離級別;
  • 通過安全、管理、審計三權分立體系,提供全方位的數據安全保證機制;
  • 支持高性能分區表,可使得數據檢索效率成倍提升;
  • SQL方面兼容2003標準、PostgreSQL語法和常用Oracle函數&數據類型、窗口函數等;
  • 提供大小商戶數據分離、冷熱數據分離等高效的數據治理能力。

TBase架構

企業級分佈式 HTAP 數據庫管理系統,騰訊 TBase 正式開源 ​

集群中有三種節點類型,各自承擔不同的功能,通過網絡連接成為一個系統。這三種節點類型分別是:

  • Coordinator:協調節點,對外提供接口,負責數據的分發和查詢規劃,多個節點位置對等,每個節點都提供相同的數據庫視圖,CN存儲系統的全局元數據。
  • Datanode:處理存儲本節點相關的元數據,每個節點還存儲數據的一個分片。在功能上,DN節點負責完成執行協調節點分發的執行請求。
  • GTM: 全局事務管理器(Global transaction manager.),負責管理集群事務信息,同時管理集群的全局對象,比如序列,除此之外GTM上不提供其他的功能。

TBase適用場景

  • 在國產化落地、業務核心領域去O場景;
  • 對HTAP混合事務分析應用模型有需要的業務場景;
  • 對物聯網地理信息系統有需求的業務場景;
  • 對實時高併發環境下的分佈式事務強一致性有要求的業務(如金融、證券等業務)場景;
  • 對企業級數據安全、審計、治理應用相關功能有需求的業務場景;
  • 對高可用、異地容災、7*24小時服務能力有需求的業務場景;
  • 有海量存儲計算需求、彈性擴容、在線擴容需求的業務場景;
  • 對異構數據互通共享有需求的業務場景。

TBase功能介紹

  • 分佈式事務全局一致性能力:通過擁有自主專利的分佈式事務一致性技術,包括兩階段提交(Two Phase Commit)以及全局時鐘(Global Timestamp)的策略來保證在全分佈式環境下的事務一致性。
  • SQL兼容能力:SQL2003標準、PostgreSQL語法、常用Oracle函數&數據類型、UDF/UDAF、常見窗口函數、JSON/JSONB/XML/數組等多種 NoSQL 類型 、遞歸WITH、無鎖DDL操作、擴展插件等。
  • HTAP能力:提供 OLTP 以及 OLAP 兩個平面視角 ,OLTP 業務運行在 datanode 主節點上,OLAP 業務運行在 datanode 節點的備節點上,二者的數據同步採用流複製的方式來進行。
  • 讀寫分離能力:提供了讀寫和只讀兩個平面視角,讀寫流量請求由主節點來處理,只讀流量請求由備節點來處理,主備節點的數據同步採用流複製的方式來進行。
  • 卓越的數據安全保障能力:通過三權分立的體系,將傳統數據庫系統DBA的角色分解為三個相互獨立的角色:安全管理員、審計管理員、數據管理員;基於此提出安全策略,主要細分為三個部分:數據加密、數據脫敏訪問、強制訪問控制,三者組合提供多個層級的數據安全保障能力。
  • 高效的數據治理能力:數據傾斜治理,用以解決數據分佈不均帶來的存儲以及性能壓力;冷熱數據分級存儲 ,用以降低業務的存儲成本、提升熱數據的性能。
  • 多核並行計算能力:
    節點內部採用了並行計算,根據表大小同時啟動多個進程來協同完成一個查詢。
  • 多租戶能力:基於節點組node group的集群內多租戶解決方案,做到數據庫集群內部的業務和資源隔離,多個業務在TBase內部相互隔離的運行。
  • 多級容災能力:採用強同步複製來保證主從數據完全一致,保障主節點故障時數據無丟失;提供基於任意時間點的恢復特性來防止誤操作帶來的數據丟失。
  • 在線擴容能力:通過引入shard map層(shard map 中每一項存儲 shardid 和 DN 的 映射關係 ), 在新加節點時,只需要把一些 shard map 中的 shardid 映射到新加的節點,並把對應的數據搬遷過去就可以了,大大縮短擴容時間。
  • 豐富的周邊生態能力:PostGIS、異構數據複製、LVS負載均衡、FDW聯邦能力等。

TBase項目規劃

  • 加強TBase的HTAP能力,支持多種存儲格式;
  • 異構數據互通功能豐富,添加數據更新訂閱發佈功能;
  • 完善周邊生態,豐富數據庫聯邦數據源;
  • 運維管理能力全面提升,PASS能力持續增強。

關於2019數據技術嘉年華


本次大會以 “開源 • 智能 • 雲數據 - 自主驅動發展 創新引領未來” 為主題,打造 “開源自研,雲和數據,智能運維,智能業務,數據前沿,用戶實踐” 六大模塊,匯聚學術精英、國產數據庫領袖、行業數據庫專家、互聯網卓越產品,相邀數據英雄,探索數據價值,共論智能未來!

企業級分佈式 HTAP 數據庫管理系統,騰訊 TBase 正式開源 ​

掃碼上方二維碼或進入購票鏈接:https://www.modb.pro/dtc


分享到:


相關文章: