HBase MapReduce讀寫示例

以下是使用 HBase 作為 MapReduce 的源代碼和接收器的示例。這個例子將簡單地將數據從一個表複製到另一個表。


HBase MapReduce讀寫示例

需要解釋的是 TableMapReduceUtil 正在做什麼,特別是對於減速器。TableOutputFormat 被用作 outputFormat 類,並且正在配置幾個參數(例如,TableOutputFormat.OUTPUT_TABLE),以及將 reducer 輸出鍵設置為 ImmutableBytesWritable 和 reducer 值為 Writable。這些可以由程序員在作業和 conf 中設置,但 TableMapReduceUtil 試圖讓事情變得更容易。

以下是示例映射器,它將創建 Put 並匹配輸入 Result 併發出它。注意:這是 CopyTable 實用程序的功能。


HBase MapReduce讀寫示例

實際上並沒有一個簡化步驟,所以 TableOutputFormat 負責將 Put 發送到目標表。

這只是一個例子,開發人員可以選擇不使用 TableOutputFormat 並連接到目標表


分享到:


相關文章: