HBase MapReduce摘要到RDBMS

有時候給 RDBMS 生成摘要更為合適。對於這些情況,可以通過自定義減速器直接向 RDBMS 生成摘要。該 setup 方法可以連接到 RDBMS(連接信息可以通過上下文中的自定義參數傳遞),並且清理方法可以關閉連接。

有時候給 RDBMS 生成摘要更為合適。對於這些情況,可以通過自定義減速器直接向 RDBMS 生成摘要。該 setup 方法可以連接到 RDBMS(連接信息可以通過上下文中的自定義參數傳遞),並且清理方法可以關閉連接。

重要的是,要了解工作中的減速器的數量會影響到摘要的實現,您必須將其設計到您的減速器中。具體而言,它是否被設計為以單例(一個減速器)或多個減速器運行。是或不是,這取決於你的用例。認識到分配給作業的減速者越多,同時建立到 RDBMS 的連接就會越多 - 這將會擴展,但僅限於某一點。


HBase MapReduce摘要到RDBMS

最後,摘要結果將寫入您的 RDBMS 表。


分享到:


相關文章: