這篇文章主要記錄 Elasticsearch 和 Kibana 環境的配置，以及採集服務追蹤數據的顯出處理。
1. ELK Stack 簡介
ELK 是三個開源軟件的縮寫，分別為：Elasticsearch、Logstash 以及 Kibana，它們都是開源軟件。不過現在還新增了一個 Beats，它是一個輕量級的日誌收集處理工具（Agent），Beats 佔用資源少，適合於在各個服務器上搜集日誌後傳輸給 Logstash，官方也推薦此工具，目前由於原本的 ELK Stack 成員中加入了 Beats 工具所以已改名為 Elastic Stack。
根據 Google Trend 的信息顯示，Elastic Stack 已經成為目前最流行的集中式日誌解決方案。
Elastic Stack 包含：
Elasticsearch 是個開源分佈式搜索引擎，提供蒐集、分析、存儲數據三大功能。它的特點有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful 風格接口，多數據源，自動搜索負載等。詳細可參考 Elasticsearch 權威指南
Logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具，支持大量的數據獲取方式。一般工作方式為 c/s 架構，client 端安裝在需要收集日誌的主機上，server 端負責將收到的各節點日誌進行過濾、修改等操作在一併發往 Elasticsearch 上去。
Kibana 也是一個開源和免費的工具，Kibana 可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助彙總、分析和搜索重要數據日誌。
Beats 在這裡是一個輕量級日誌採集器，其實 Beats 家族有 6 個成員，早期的 ELK 架構中使用 Logstash 收集、解析日誌，但是 Logstash 對內存、cpu、io 等資源消耗比較高。相比 Logstash，Beats 所佔系統的 CPU 和內存幾乎可以忽略不計。
ELK Stack （5.0版本之後）--> Elastic Stack == （ELK Stack + Beats）。
目前 Beats 包含六種工具：
Packetbeat： 網絡數據（收集網絡流量數據）
Metricbeat： 指標（收集系統、進程和文件系統級別的 CPU 和內存使用情況等數據）
Filebeat： 日誌文件（收集文件數據）
Winlogbeat： windows 事件日誌（收集 Windows 事件日誌數據）
Auditbeat ：審計數據（收集審計日誌）
Heartbeat：運行時間監控（收集系統運行時的數據）
ELK 簡單架構圖：
2. 環境準備
服務器環境：Centos 7.0（目前單機，後續再部署集群）
Elasticsearch 和 Logstash 需要 Java 環境，Elasticsearch 推薦的版本為 Java 8，安裝教程：確定穩定的 Spring Cloud 相關環境版本
另外，我們需要修改下服務器主機信息：
[root@node1 ~]# vi /etc/hostnamenode1[root@node1 ~]# vi /etc/hosts192.168.0.11 node1127.0.0.1 node1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 node1 localhost localhost.localdomain localhost6 localhost6.localdomain6
注意：我之前安裝 Elasticsearch 和 Kibana 都是最新版本（6.x），但和 Spring Cloud 集成有些問題，所以就採用了 5.x 版本（具體 5.6.9 版本）
3. 安裝 Elasticsearch
運行以下命令將 Elasticsearch 公共 GPG 密鑰導入 rpm：
[root@node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
在/etc/yum.repos.d/目錄中，創建一個名為elasticsearch.repo的文件，添加下面配置：
[elasticsearch-5.x]name=Elasticsearch repositoryfor5.x packagesbaseurl=https://artifacts.elastic.co/packages/5.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md
Elasticsearch 源創建完成之後，通過 makecache 查看源是否可用，然後通過 yum 安裝 Elasticsearch：
[root@node1 ~]# yum makecache && yum install elasticsearch -y
修改配置（啟動地址和端口）：
[root@node1 ~]# vi /etc/elasticsearch/elasticsearch.ymlnetwork.host: node1# 默認localhost，自定義為iphttp.port: 9200
要將 Elasticsearch 配置為在系統引導時自動啟動，運行以下命令：
[root@node1 ~]# sudo /bin/systemctl daemon-reload[root@node1 ~]# sudo /bin/systemctl enable elasticsearch.service
Elasticsearch 可以按如下方式啟動和停止：
[root@node1 ~]# sudo systemctl start elasticsearch.service[root@node1 ~]# sudo systemctl stop elasticsearch.service
列出 Elasticsearch 服務的日誌：
[root@node1 ~]# sudo journalctl --unit elasticsearch-- Logs begin at 三 2018-05-09 10:13:46 CEST, end at 三 2018-05-09 10:53:53 CEST. --5月 09 10:53:43 node1 systemd[1]: [/usr/lib/systemd/system/elasticsearch.service:8] Unknown lvalue'RuntimeDirectory'insection'Service'5月 09 10:53:43 node1 systemd[1]: [/usr/lib/systemd/system/elasticsearch.service:8] Unknown lvalue'RuntimeDirectory'insection'Service'5月 09 10:53:48 node1 systemd[1]: Starting Elasticsearch...5月 09 10:53:48 node1 systemd[1]: Started Elasticsearch.5月 09 10:53:48 node1 elasticsearch[2908]:which: no javain(/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin)5月 09 10:53:48 node1 elasticsearch[2908]: could not find java;setJAVA_HOME or ensure java isinPATH5月 09 10:53:48 node1 systemd[1]: elasticsearch.service: main process exited, code=exited, status=1/FAILURE5月 09 10:53:48 node1 systemd[1]: Unit elasticsearch.service entered failed state.
出現了錯誤，具體信息是未找到JAVA_HOME環境變量，但我們明明已經配置過了。
解決方式（參考資料：https://segmentfault.com/q/1010000004715131）：
[root@node1 ~]# vi /etc/sysconfig/elasticsearchJAVA_HOME=/usr/local/java
重新啟動：
sudo systemctl restart elasticsearch.service
或者通過systemctl命令，查看 Elasticsearch 啟動狀態：
[root@node1 ~]# systemctl status elasticsearch.serviceelasticsearch.service - Elasticsearch Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; enabled) Active: active (running) since 一 2018-05-14 05:13:45 CEST; 4h 5min ago Docs: http://www.elastic.co Process: 951 ExecStartPre=/usr/share/elasticsearch/bin/elasticsearch-systemd-pre-exec (code=exited, status=0/SUCCESS) Main PID: 953 (java) CGroup: /system.slice/elasticsearch.service └─953 /usr/local/java/bin/java -Xms2g -Xmx2g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingO...5月 14 05:13:45 node1 systemd[1]: Started Elasticsearch.
發現 Elasticsearch 已經成功啟動。
查看 Elasticsearch 信息：
[root@node1 ~]# curl -XGET 'http://node1:9200/?pretty'{"name":"AKmrtMm","cluster_name":"elasticsearch","cluster_uuid":"r7lG3UBXQ-uTLHInJxbOJA","version": {"number":"5.6.9","build_hash":"877a590","build_date":"2018-04-12T16:25:14.838Z","build_snapshot":false,"lucene_version":"6.6.1"},"tagline":"You Know, for Search"}
4. 安裝 Kibana
運行以下命令將 Elasticsearch 公共 GPG 密鑰導入 rpm：
[root@node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
在/etc/yum.repos.d/目錄中，創建一個名為kibana.repo的文件，添加下面配置：
[kibana-5.x]name=Kibana repositoryfor5.x packagesbaseurl=https://artifacts.elastic.co/packages/5.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md
安裝 Kibana：
[root@node1 ~]# yum makecache && yum install kibana -y
修改配置（地址和端口，以及 Elasticsearch 的地址，注意server.host只能填寫服務器的 IP 地址）：
[root@node1 ~]# vi /etc/kibana/kibana.yml# Kibana is served by a back end server. This setting specifies the port to use.server.port: 5601# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.# The default is 'localhost', which usually means remote machines will not be able to connect.# To allow connections from remote users, set this parameter to a non-loopback address.server.host:"192.168.0.11"# The Kibana server's name. This is used for display purposes.server.name:"kibana-server"# The URL of the Elasticsearch instance to use for all your queries.elasticsearch.url:"http://node1:9200"# 配置kibana的日誌文件路徑，不然默認是messages裡記錄日誌logging.dest: /var/log/kibana.log
創建日誌文件：
[root@node1 ~]# touch /var/log/kibana.log; chmod 777 /var/log/kibana.log
要將 Kibana 配置為在系統引導時自動啟動，運行以下命令：
[root@node1 ~]# sudo /bin/systemctl daemon-reload[root@node1 ~]# sudo /bin/systemctl enable kibana.service
Kibana 可以如下啟動和停止
[root@node1 ~]# sudo systemctl start kibana.service[root@node1 ~]# sudo systemctl stop kibana.service
查看啟動日誌：
[root@node1 ~]# sudo journalctl --unit kibana5月 09 11:14:48 node1 systemd[1]: Starting Kibana...5月 09 11:14:48 node1 systemd[1]: Started Kibana.
然後瀏覽器訪問：http://node1:5601
初次使用時，會讓你配置一個默認的 index，也就是你至少需要關聯一個 Elasticsearch 裡的 Index，可以使用 pattern 正則匹配。
注意：如果 Elasticsearch 中沒有數據的話，你是無法創建 Index 的。
如果 Spring Cloud Sleuth Zipkin + Stream + RabbitMQ 配置正確的話（以後再詳細說明），服務追蹤的數據就已經存儲在 Elasticsearch 中了。
5. Kibana 使用
創建zipkin:*索引（*匹配後面所有字符）：
然後就可以查看服務追蹤的數據了：
也可以創建自定義儀表盤：
6. Elasticsearch 命令
創建索引：
$ curl -XPUT'http://node1:9200/twitter'
查看 Index 索引列表：
$ curl -XGET http://node1:9200/_cat/indices
yellow open twitter k1KnzWyYRDeckjt7GASh8w 5 1 1 0 5.1kb 5.1kb
yellow open .kibana 8zJGQkq8TwC4s3JJLMX44g 1 1 1 0 4kb 4kb
yellow open student iZPqPcwrQbifGOfE9DQYvg 5 1 0 0 955b 955b
添加 Document 數據：
$ curl -XPUT'http://node1:9200/twitter/tweet/1'-d'{
"user" : "kimchy",
"post_date" : "2009-11-15T14:12:12",
"message" : "trying out Elastic Search"
}'
獲取 Document 數據：
$ curl -XGET'http://node1:9200/twitter/tweet/1'{"_index":"twitter","_type":"tweet","_id":"1","_version":1,"found":true,"_source":{"user":"kimchy","post_date":"2009-11-15T14:12:12","message":"trying out Elastic Search"}}%
查詢zipkin索引下面的數據：
$ curl -XGET'http://node1:9200/zipkin:*/_search'
閱讀更多 戚小柒說IT 的文章
