presto安裝

作為一個小白,安裝還是參考官網比較好


因為工作需要,所以趁著最近比較閒,安裝一個presto大數據查詢引擎。

安裝之前需要準備幾樣東西,一個是安裝包 presto-server-0.227.tar.gz,一個是控制檯管理工具presto-server-0.227.tar.gz,當然必不可少的還有linux系統和官網地址。


我準備的是Ubuntu16,上傳presto-server-0.227.tar.gz

<code>tar -xvf presto-server-0.227.tar.gz\t/<code>

按照官網的要求,需要在解壓的目錄下創建一個名為 etc的文件夾

<code>cd presto-server-0.227/<code>

在 etc 創建如下文件

創建node.properties

  • 節點配置:每個節點的環境信息
<code>node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/home/filing/stats2/install/presto_data #數據保存的位置/<code>

創建jvm.config

  • JVM 配置:JVM的命令行選項
<code>-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError/<code>

創建config.properties

  • 參數配置:Presto server的參數信息
<code>coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8071
query.max-memory=5GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://192.168.248.137:8071/<code>

創建log.properties

  • 日誌信息:配置輸出日誌級別
<code>com.facebook.presto=INFO/<code>

創建catalog目錄:

  • configuration forConnectors(數據源)的配置信息

catalog目錄下面主要是連接各個數據庫的配置文件,我已經配置了兩個,具體如下:

  • mongodb.properties
<code>connector.name=mongodb
mongodb.seeds=192.168.248.137:27017
mongodb.credentials=filing:Gwssi@)16@ggj-working #如果mongo配置了權限,則需要添加/<code>
  • mysql.properties
<code>connector.name=mysql
connection-url=jdbc:mysql://localhost:3306
connection-user=root
connection-password=12345/<code>


配置完成後,切換到bin目錄下面

  • 後臺進程啟動
<code> ./launcher start/<code>
  • 前臺運行 ,日誌和相關輸出將會寫入stdout/stderr
<code>./launcher run/<code>

啟動是否成功可以查看進程或者在日誌中查看啟動詳情


啟動成功後,可以使用presto-cli-0.232-executable.jar控制檯進行一些簡單的查詢操作

將presto-cli-0.232-executable.jar上傳到linux上,具體位置隨便,本人放在bin目錄下面

可以將presto-cli-0.232-executable.jar修改為presto.jar,這樣啟動方便一下

<code>./presto.jar --server 192.168.248.137:8071 --catalog mongodb --schema ggj-working/<code>

這樣啟動後可以查詢mongo中的數據

<code>

這樣可以查看mysql中的數據


分享到:


相關文章: