ELK 是 ElasticSearch + Logstash + Kibana 這套組合工具的簡稱，是一個常用的日誌系統。
- ElasticSearch：是一款開源的基於 Lucene 之上實現的一個分佈式搜索引擎，也是一個存儲引擎（例如：日誌），它的特點有：分佈式、零配置、自動發現、索引自動分片、索引副本機制、Restful 風格的接口、多數據源和自動搜索負載等。
- Logstash：是一款開源的日誌收集工具，它可以對日誌進行收集、分析、過濾，並將其存儲（例如：ElasticSearch）起來供以後使用。
- Kibana：是一款開源的可視化工具，可以為 ElasticSearch 提供的日誌分析友好的 Web 界面，可以彙總、分析和搜索重要的數據日誌。
安裝 ELK
我們使用 Docker 安裝 ELK，運行如下命令：
$ docker run -p 5601:5601 \
-p 9200:9200 \
-p 5044:5044 \
-p 15044:15044/udp \
-it --name elk sebp/elk
進入容器：
$ docker exec -it elk /bin/bash
運行以下命令設置 logstash 的 input 和 output：
# /opt/logstash/bin/logstash --path.data /tmp/logstash/data \
-e 'input { udp { codec => "json" port => 15044 } } output { elasticsearch { hosts => ["localhost"] } }'
這裡我們啟動一個 15044 的 UDP 端口，用來接收通過 UDP 發送到 Logstash 的日誌。
用瀏覽器打開 localhost:5601，如下所示：
目前還沒有指定 index（ElasticSearch 的 index 類似於 MySQL/MongoDB 中的 database），即日誌來源。下面我們嘗試向 ELK 中寫入一些日誌。
使用 ELK
這裡以使用 koa-await-breakpoint 為例，來演示如何將日誌發送到 ELK。
app.js
const koaAwaitBreakpoint = require('koa-await-breakpoint')({
name: 'api',
files: ['./routes/*.js'],
store: require('./logger')
})
const Paloma = require('paloma')
const app = new Paloma()
app.use(koaAwaitBreakpoint)
app.route({ method: 'POST', path: '/users', controller: require('./routes/user').createUser })
app.listen(3000)
logger.js
const Logstash = require('logstash-client')
const logstash = new Logstash({
type: 'udp',
host: 'localhost',
port: 15044
})
module.exports = {
save (log) {
if (log.error) {
log.errMsg = log.error.message
log.errStack = log.error.stack
}
logstash.send(log)
}
}
routes/user.js
const Mongolass = require('mongolass')
const mongolass = new Mongolass('mongodb://localhost:27017/test')
const User = mongolass.model('User')
const Post = mongolass.model('Post')
const Comment = mongolass.model('Comment')
exports.createUser = async function (ctx) {
const name = ctx.query.name || 'default'
const age = +ctx.query.age || 18
await createUser(name, age)
ctx.status = 204
}
async function createUser (name, age) {
const user = (await User.create({
name,
age
})).ops[0]
await createPost(user)
}
async function createPost (user) {
const post = (await Post.create({
uid: user._id,
title: 'post',
content: 'post'
})).ops[0]
await createComment(user, post)
}
async function createComment (user, post) {
await Comment.create({
userId: user._id,
postId: post._id,
content: 'comment'
})
}
運行：
$ curl -XPOST localhost:3000/users
此時刷新 Kibana，如下所示：
在初次使用 Kibana 時，需要配置 Kibana 從 ElasticSearch 的哪些 index 中搜索日誌，我們在 Index pattern 處填 logstash-*，然後單擊 Next step 按鈕，在 Time Filter field name 中選擇 timestamp，單擊 Create index pattern 完成配置。
注意：我們選擇 timestamp 而不是默認的 @timestamp，是因為在 koa-await-breakpoint 的日誌中有 timestamp 字段。
單擊左側目錄的 Discover，我們發現已經有日誌了。分別單擊左側出現的 Available Fields 的 fn、type、step、take，然後按 step 升序展示，如下所示：
是不是一目瞭然！我們把每個請求的每一步的函數及其執行時間都記錄下來了。
修改 routes/users.js 的 createComment，throw 一個 new Error('test')。重啟程序併發起一個請求，ELK 顯示如下：
小提示：在實際應用中會有非常多的日誌，我們可以通過 requestId 找到一個請求的所有日誌，在 7.2 小節會講解。
ELK 非常強大，基本能滿足所有日誌查詢需求，Kibana 的查詢使用 lucene 語法，用 10 分鐘左右就能大體上手。Kibana 還能創建各種儀表盤和聚合圖表，讀者可自行嘗試。
閱讀更多 滬漂程序員的生活史 的文章
