HBase中的SplitRegionPolicy實現原理及其源碼解讀

我的HBase是使用的是CDH5.15中的版本，其版本對應的是HBase的版本為1.2，後續的分析都是基於該版本的源碼做的分析。

一、SplitRegionPolicy及其子類介紹

在HBase的1.2版本中，RegionSplitPolicy的實現子類共有6個，如下類圖：

以下針對這幾個拆分策略做單獨的說明。

1、RegionSplitPolicy

RegionSplitPolicy是一個抽象類，其做為所有Region拆分策略的父類。在0.94版本以前，默認的拆分策略是ConstantSizeRegionSplitPolicy，在0.94版本以後，默認的拆分策略為IncreasingToUpperBoundRegionSplitPolicy，這個在RegionSplitPolicy的類註釋也有說明：

在RegionSplitPolicy中，需要重點關注一個方法getSplitPoint()，其返回Region分裂點的邏輯，其實現代碼如下：

 /**
 * @return the key at which the region should be split, or null
 * if it cannot be split. This will only be called if shouldSplit
 * previously returned true.
 */
 protected byte[] getSplitPoint() {
 byte[] explicitSplitPoint = this.region.getExplicitSplitPoint();
 if (explicitSplitPoint != null) {
 return explicitSplitPoint;
 }
 List<store> stores = region.getStores();

 byte[] splitPointFromLargestStore = null;
 long largestStoreSize = 0;
 for (Store s : stores) {
 byte[] splitPoint = s.getSplitPoint();
 long storeSize = s.getSize();
 if (splitPoint != null && largestStoreSize < storeSize) {
 splitPointFromLargestStore = splitPoint;
 largestStoreSize = storeSize;
 }
 }

 return splitPointFromLargestStore;
 }/<store>

其首先是判斷該Resion是否有用戶顯示定義的分裂點，如果有則使用用戶定義的分裂點，如果則沒有則取當前Region的Store中Size最大的那個定義的分裂點。

用戶通過在HBase Shell中創建表，通過SPLITS或者SPLITS_FILE參數指定，如下：

hbase>create 'test1','f1',SPLITS => ['10','20','30']

則其分裂點的分佈如下：

Region_Name Start_Key End_Key
r1 10
r2 10 20
r3 20 30
r4 30 

生成4個Regions。

如果分裂點比較多，不方便寫在命令行，可將其列到一個文件中如splits.txt，每行寫一個分裂Key，如將上面的分裂Key寫到文件中如下：

10
20
30

此時通過如下命令指定分裂Key：

hbase>create 'test1','f1',SPLITS_FILE=>'splits.txt'

2、IncreasingToUpperBoundRegionSplitPolicy
從上面的類圖也可以看出IncreasingToUpperBoundRegionSplitPolicy是ConstantSizeRegionSplitPolicy的子類，其優化了原來ConstantSizeRegionSplitPolicy只是單一按照Region文件大小（通常默認為10G，其配置控制參數為hbase.hregion.max.filesize）的拆分策略，增加了對當前表的分片數做為判斷因子。如果表的分片數為0或者大於100,則切分大小還是以設置的單一Region文件大小為標準；如果分片數在1～99之間，則取min(單一Region文件大小 , Region增加策略的初使化大小（其可由配置控制參數為hbase.increasing.policy.initial.size指定；如果沒有配置該參數，由取值MemStore的緩存刷新值大小的兩倍，MemStore緩存刷新值默認其值為128M，即此時取值256M）* 當前Table Region數的3次方)的結果做為拆分控制大小。

確定initialSize大小的代碼邏輯如下：

 Configuration conf = getConf(); 

 initialSize = conf.getLong("hbase.increasing.policy.initial.size", -1);
 if (initialSize > 0) {
 return;
 }
 HTableDescriptor desc = region.getTableDesc();
 if (desc != null) {
 initialSize = 2 * desc.getMemStoreFlushSize();
 }
 if (initialSize <= 0) {
 initialSize = 2 * conf.getLong(HConstants.HREGION_MEMSTORE_FLUSH_SIZE,
 HTableDescriptor.DEFAULT_MEMSTORE_FLUSH_SIZE);
 }

確定其拆分控制大小的實現方法如下：

/**
 * @return Region max size or {@code count of regions cubed * 2 * flushsize},
 * which ever is smaller; guard against there being zero regions on this server.
 */
 protected long getSizeToCheck(final int tableRegionsCount) {
 // safety check for 100 to avoid numerical overflow in extreme cases
 return tableRegionsCount == 0 || tableRegionsCount > 100
 ? getDesiredMaxFileSize()
 : Math.min(getDesiredMaxFileSize(),
 initialSize * tableRegionsCount * tableRegionsCount * tableRegionsCount);
 }

要想達到每次拆分大小為10G的標準，則需要經過以下4次拆分：

第一次split：1^3 * 256 = 256MB 
第二次split：2^3 * 256 = 2048MB 
第三次split：3^3 * 256 = 6912MB 
第四次split：4^3 * 256 = 16384MB > 10GB，因此取較小的值10GB 
後面每次split的size都是10GB了

3、SteppingSplitPolicy

SteppingSplitPolicy是IncreasingToUpperBoundRegionSplitPolicy的子類，其總共源碼只有幾行，如下：

public class SteppingSplitPolicy extends IncreasingToUpperBoundRegionSplitPolicy {
 /**
 * @return flushSize * 2 if there's exactly one region of the table in question
 * found on this regionserver. Otherwise max file size.
 * This allows a table to spread quickly across servers, while avoiding creating
 * too many regions.
 */
 protected long getSizeToCheck(final int tableRegionsCount) {
 return tableRegionsCount == 1 ? this.initialSize : getDesiredMaxFileSize();
 }
}

其對Region拆分文件大小做了優化，如果只有1個Region的情況下，那第1次的拆分就是256M，後續則按配置的拆分文件大小（10G）做為拆分標準。在IncreasingToUpperBoundRegionSplitPolicy策略中，針對大表的拆分表現很不錯，但是針對小表會產生過多的Region，SteppingSplitPolicy則將小表的Region控制在一個合理的範圍，對大表的拆分也不影響。

4、KeyPrefixRegionSplitPolicy

根據rowKey的前綴對數據進行分組，以便於將這些數據分到相同的Region中，這裡是通過指定rowKey的前多少位作為前綴做為拆分控制參數，其參數控制為通過指定Table的描述參數KeyPrefixRegionSplitPolicy.prefix_length（舊版為prefix_split_key_policy.prefix_length）控制拆分前綴的長度，比如rowKey都是16位的，指定前5位是前綴，那麼前5位相同的rowKey在進行region split的時候會分到相同的region中。

獲取拆分點的實現原碼如下：

 @Override
 protected byte[] getSplitPoint() {
 byte[] splitPoint = super.getSplitPoint();
 if (prefixLength > 0 && splitPoint != null && splitPoint.length > 0) { 

 // group split keys by a prefix
 return Arrays.copyOf(splitPoint,
 Math.min(prefixLength, splitPoint.length));
 } else {
 return splitPoint;
 }
 }

5、DelimitedKeyPrefixRegionSplitPolicy

DelimitedKeyPrefixRegionSplitPolicy和KeyPrefixRegionSplitPolicy要達到的結果類似，都是通過將Rowkey的部分前綴做這拆分串，將其以這些前綴前頭的RowKey，寫到相同的Region中；DelimitedKeyPrefixRegionSplitPolicy的實現方式和KeyPrefixRegionSplitPolicy通過指定前綴固定長度的實現不同的是，其是根據RowKey中指定分隔字符做為拆分的，顯得更加靈活，如RowKey的值為“userid_eventtype_eventid”，且指定了分隔字符串為下劃線"_"，則DelimitedKeyPrefixRegionSplitPolicy將取RowKey值中從左往右且第一個分隔字符串之前的字符做為拆分串，在該示例中就是“userid”。其實現代碼如下：

 @Override
 protected byte[] getSplitPoint() {
 byte[] splitPoint = super.getSplitPoint();
 if (splitPoint != null && delimiter != null) {

 //find the first occurrence of delimiter in split point
 int index = com.google.common.primitives.Bytes.indexOf(splitPoint, delimiter);
 if (index < 0) {
 LOG.warn("Delimiter " + Bytes.toString(delimiter) + " not found for split key "
 + Bytes.toString(splitPoint));
 return splitPoint;
 }

 // group split keys by a prefix
 return Arrays.copyOf(splitPoint, Math.min(index, splitPoint.length));
 } else {
 return splitPoint;
 }
 }

6、DisabledRegionSplitPolicy

DisabledRegionSplitPolicy就是不使用Region拆分策略，將所有的數據都寫到同一個Region中，其實現非常簡單，代碼如下：

public class DisabledRegionSplitPolicy extends RegionSplitPolicy {
 @Override
 protected boolean shouldSplit() {
 return false;
 }
}

HBase在執行Region拆分之前，都會調用該方法執行檢查是否可以拆分，如果不可以則不會執行後面的拆分點的檢查了。

二、RegionSplitPolicy的使用

Region拆分策略可以全局統一配置，也可以為單獨的表指定拆分策略。

1、通過hbase-site.xml全局統一配置

<property>
 <name>hbase.regionserver.region.split.policy/<name>
 <value>org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy/<value>
/<property>

2、通過Java API為單獨的表指定Region拆分策略

HTableDescriptor tableDesc = new HTableDescriptor("test1");
tableDesc.setValue(HTableDescriptor.SPLIT_POLICY, IncreasingToUpperBoundRegionSplitPolicy.class.getName());
tableDesc.addFamily(new HColumnDescriptor(Bytes.toBytes("cf1")));
admin.createTable(tableDesc);
----

3、通過HBase Shell為單個表指定Region拆分策略

hbase> create 'test1', {METADATA => {'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy'}},{NAME => 'cf1'}

閱讀更多 瘋狂架構師 的文章

關鍵字: F1賽車 子類 版本