企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

在上一篇我們講到了業務人員可以用永洪產品的自服務數據集進行自助式分析,那麼IT管理員如何管理業務人員進行分析呢?


企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下


某財險類客戶案例
永洪的某財險客戶需要業務用戶進行自助式分析,高峰期在350併發以上,企業IT管理部希望對所有IT人員和業務人員查詢數據的數據量大小優先級進行管控,然後讓業務用戶進行自助式分析。

如何設置?

因為該財險公司已經將數據存儲在了Cloudera Impala集群中。該財險的IT管理部門會根據每一個用戶的數據量大小、業務類型分配隊列,並且詳細設置該隊列中的默認查詢參數,尤其是mem_limit參數和最大併發數,這樣可以較好的限制用戶之間的影響,為了避免惡意用戶的使用,可以限制用戶自己設置mem_limit參數,儘可能得保證Impala集群的穩定性。
1、在Impala數據庫層面,IT管理員或者DBA可以在session建立之後進行設置。

設置隊列限制

set request_pool = queue_it;


用戶在創建一個數據源連接(connection)之後,可以通過set request_pool=pool_name的方式設置改session的請求提交的對應的隊列。

設置最大內存使用限制

set mem_limit=10G;

設置內存10G(單節點上的內存量),impala經常會over estimate SQL語句需要的資源,所以強烈建議在執行SQL之前,使用 set mem_limit 限制SQL查詢的內存消耗。


2、永洪產品設置

提供了在數據源連接後對session進行設置的屬性。

針對於不同2種類的用戶,IT管理員期望根據數據量大小、業務類型設置分配的隊列。


企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

實現步驟:

選擇永洪產品數據源,impala:

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

在設置好Impala數據源的基礎連接信息後,選擇數據源的高級屬性進行如圖設置。

直接在隊列名設置queue_it , 並且點擊添加高級屬性限制mem_limit=2G。

如下所示,IT部門的數據源為Impala_it,設置如下:

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

財務部門的數據源Impala_finance,設置如下:

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

兩者存儲在數據源上的資源樹上,如下圖所示:

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

財險部門的用戶(user_finance)在製作數據集時直接選擇對應的數據源即可查詢數據。

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

以上就是關於永洪產品Impala數據源的高級屬性的使用介紹,永洪科技強大的產品功能,不僅可以幫助企業人員實現數據化管理,也讓更多業務人員能夠進行自助式分析查詢。關於永洪產品的功能介紹,我們將持續更新。想體驗永洪科技數據分析強大的功能,可以下載Yonghong Desktop進行一鍵安裝體驗。


分享到:


相關文章: