storm集群拓撲規劃

在搭建Storm集群前，先看下下面的拓撲圖，在1.1.0版本中，支持 Nimbus的HA模式，Nimbus、Supervisor，需要使用Zookeeper作為協同。

相關依賴

• jDK1.8

• zookeeper3.4.9 部署說明

• python2.6.6+

安裝包下載

wget http://mirror.bit.edu.cn/apache/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz

Nimbus安裝配置

Nimbus可以配置多臺，實現HA，這裡暫時就配置一臺

需要對外開放的端口：

6627: Nimbus 默認端口

8080: Storm UI Web端口

8000: LogView端口

配置文件

storm github提供的配置默認

https://github.com/apache/sto...

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
 - "192.168.2.149"
 - "192.168.2.150"
 - "192.168.2.151"nimbus.seeds: ["192.168.2.149"]
#配置數據存儲路徑
storm.local.dir: "/data/ms/storm-1.1.1/data"##配置節點健康檢測
storm.health.check.dir: "healthchecks"storm.health.check.timeout.ms: 5000storm.local.hostname: "192.168.2.149"#配置Storm UI
ui.port: 8080

啟動程序

./storm nimbus >/dev/null 2>&1 & 

./storm ui >/dev/null 2>&1 &
./storm logviewer >/dev/null 2>&1 &

在瀏覽器訪問：http://192.168.2.149:8080, 查看Storm UI主頁

Supervisor安裝配置

Supervisor安裝的時候，只需要指定Nimbus地址，就可以自動加入Storm集群

配置文件

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
 - "192.168.2.149"
 - "192.168.2.150"
 - "192.168.2.151"#
nimbus.seeds: ["192.168.2.149"]
#配置數據存儲路徑
storm.local.dir: "/data/ms/storm-1.1.1/data"#
##配置節點健康檢測
storm.health.check.dir: "healthchecks"storm.health.check.timeout.ms: 5000storm.local.hostname: "192.168.2.150"#配置supervisor： 開啟幾個端口插槽，就開啟幾個對應的worker進程
supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703

啟動程序

./storm supervisor >/dev/null 2>&1 &
./storm logviewer >/dev/null 2>&1 &

知識點

storm0.9版本後不在採用ZeroMQ

storm配置詳解

storm UI參數詳解

FAQ

• Storm UI 中顯示的Supervisor 的個數與實際的不符

刪除Supervisor中的 storm.local.dir 目錄的數據，之前拷貝到各個節點的時候，把這個目錄頁拷貝過去了。如果 storm.local.dir的目錄為空的話，每個Supervisor就會創建自己的ID

• Storm ui展示主機名

每臺storm這裡hostname配置自己的ip地址

storm.local.hostname: "192.168.2.150"

• 日誌鏈接鏈接失敗

需啟動LogView服務

./storm logviewer >/dev/null 2>&1 &

閱讀更多 程序員Home 的文章

關鍵字: 集群 技術 拓撲圖