淺談ELK實時日誌分析平台架構原理

為什麼用到ELK

一般我們需要進行日誌分析場景：直接在日誌文件中 grep、awk 就可以獲得自己想要的信息。但在規模較大的場景中，此方法效率低下，面臨問題包括日誌量太大如何歸檔、文本搜索太慢怎麼辦、如何多維度查詢。需要集中化的日誌管理，所有服務器上的日誌收集彙總。常見解決思路是建立集中式日誌收集系統，將所有節點上的日誌統一收集，管理，訪問。

一般大型系統是一個分佈式部署的架構，不同的服務模塊部署在不同的服務器上，問題出現時，大部分情況需要根據問題暴露的關鍵信息，定位到具體的服務器和服務模塊，構建一套集中式日誌系統，可以提高定位問題的效率

一個完整的集中式日誌系統，需要包含以下幾個主要特點：

• 收集－能夠採集多種來源的日誌數據
• 傳輸－能夠穩定的把日誌數據傳輸到中央系統
• 存儲－如何存儲日誌數據
• 分析－可以支持 UI 分析
• 警告－能夠提供錯誤報告，監控機制

ELK提供了一整套解決方案，並且都是開源軟件，之間互相配合使用，完美銜接，高效的滿足了很多場合的應用。目前主流的一種日誌系統。

ELK簡介

ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個FileBeat，它是一個輕量級的日誌收集處理工具(Agent)，Filebeat佔用資源少，適合於在各個服務器上搜集日誌後傳輸給Logstash，官方也推薦此工具。

Elasticsearch是個開源分佈式搜索引擎，提供蒐集、分析、存儲數據三大功能。它的特點有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

Logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具，支持大量的數據獲取方式。一般工作方式為c/s架構，client端安裝在需要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操作在一併發往elasticsearch上去。

Kibana 也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助彙總、分析和搜索重要數據日誌。

Filebeat隸屬於Beats。目前Beats包含四種工具：

• Packetbeat（蒐集網絡流量數據）
• Topbeat（蒐集系統、進程和文件系統級別的 CPU 和內存使用情況等數據）
• Filebeat（蒐集文件數據）
• Winlogbeat（蒐集 Windows 事件日誌數據）

ELK架構圖：

ELK架構圖一

這是最簡單的一種ELK架構方式。優點是搭建簡單，易於上手。缺點是Logstash耗資源較大，運行佔用CPU和內存高。另外沒有消息隊列緩存，存在數據丟失隱患。

此架構由Logstash分佈於各個節點上搜集相關日誌、數據，並經過分析、過濾後發送給遠端服務器上的Elasticsearch進行存儲。Elasticsearch將數據以分片的形式壓縮存儲並提供多種API供用戶查詢，操作。用戶亦可以更直觀的通過配置Kibana Web方便的對日誌查詢，並根據數據生成報表。

ELK架構圖二

此種架構引入了消息隊列機制，位於各個節點上的Logstash Agent先將數據/日誌傳遞給Kafka（或者Redis），並將隊列中消息或數據間接傳遞給Logstash，Logstash過濾、分析後將數據傳遞給Elasticsearch存儲。最後由Kibana將日誌和數據呈現給用戶。因為引入了Kafka（或者Redis）,所以即使遠端Logstash server因故障停止運行，數據將會先被存儲下來，從而避免數據丟失。

ELK架構圖三

此種架構將收集端logstash替換為beats，更靈活，消耗資源更少，擴展性更強。同時可配置Logstash 和Elasticsearch 集群用於支持大集群系統的運維日誌數據監控和查詢。

Filebeat工作原理：

Filebeat由兩個主要組件組成：prospectors 和 harvesters。這兩個組件協同工作將文件變動發送到指定的輸出中。

Prospector（勘測者）：負責管理Harvester並找到所有讀取源。

Prospector會找到/apps/logs/*目錄下的所有info.log文件，併為每個文件啟動一個Harvester。Prospector會檢查每個文件，看Harvester是否已經啟動，是否需要啟動，或者文件是否可以忽略。若Harvester關閉，只有在文件大小發生變化的時候Prospector才會執行檢查。只能檢測本地的文件。

Filebeat如何記錄文件狀態：

將文件狀態記錄在文件中（默認在/var/lib/filebeat/registry）。此狀態可以記住Harvester收集文件的偏移量。若連接不上輸出設備，如ES等，filebeat會記錄發送前的最後一行，並再可以連接的時候繼續發送。Filebeat在運行的時候，Prospector狀態會被記錄在內存中。Filebeat重啟的時候，利用registry記錄的狀態來進行重建，用來還原到重啟之前的狀態。每個Prospector會為每個找到的文件記錄一個狀態，對於每個文件，Filebeat存儲唯一標識符以檢測文件是否先前被收集。

Filebeat如何保證事件至少被輸出一次：

Filebeat之所以能保證事件至少被傳遞到配置的輸出一次，沒有數據丟失，是因為filebeat將每個事件的傳遞狀態保存在文件中。在未得到輸出方確認時，filebeat會嘗試一直髮送，直到得到回應。若filebeat在傳輸過程中被關閉，則不會再關閉之前確認所有時事件。任何在filebeat關閉之前為確認的時間，都會在filebeat重啟之後重新發送。這可確保至少發送一次，但有可能會重複。可通過設置shutdown_timeout 參數來設置關閉之前的等待事件回應的時間（默認禁用）。

Logstash工作原理：

Logstash事件處理有三個階段：inputs → filters → outputs。是一個接收，處理，轉發日誌的工具。支持系統日誌，webserver日誌，錯誤日誌，應用日誌，總之包括所有可以拋出來的日誌類型。

Input：輸入數據到logstash。

一些常用的輸入為：

• file：從文件系統的文件中讀取，類似於tial -f命令
• syslog：在514端口上監聽系統日誌消息，並根據RFC3164標準進行解析
• redis：從redis service中讀取
• beats：從filebeat中讀取

Filters：數據中間處理，對數據進行操作。

一些常用的過濾器為：

• grok：解析任意文本數據，Grok 是 Logstash 最重要的插件。它的主要作用就是將文本格式的字符串，轉換成為具體的結構化的數據，配合正則表達式使用。內置120多個解析語法。
• mutate：對字段進行轉換。例如對字段進行刪除、替換、修改、重命名等。
• drop：丟棄一部分events不進行處理。
• clone：拷貝 event，這個過程中也可以添加或移除字段。
• geoip：添加地理信息(為前臺kibana圖形化展示使用)

Outputs：outputs是logstash處理管道的最末端組件。一個event可以在處理過程中經過多重輸出，但是一旦所有的outputs都執行結束，這個event也就完成生命週期。

一些常見的outputs為：

• elasticsearch：可以高效的保存數據，並且能夠方便和簡單的進行查詢。
• file：將event數據保存到文件中。
• graphite：將event數據發送到圖形化組件中，一個很流行的開源存儲圖形化展示的組件。

Codecs：codecs 是基於數據流的過濾器，它可以作為input，output的一部分配置。Codecs可以幫助你輕鬆的分割發送過來已經被序列化的數據。

一些常見的codecs：

• json：使用json格式對數據進行編碼/解碼。
• multiline：將匯多個事件中數據彙總為一個單一的行。比如：java異常信息和堆棧信息。

那如何學習才能快速入門並精通呢？

當真正開始學習的時候難免不知道從哪入手，導致效率低下影響繼續學習的信心。

但最重要的是不知道哪些技術需要重點掌握，學習時頻繁踩坑，最終浪費大量時間，所以有一套實用的視頻課程用來跟著學習是非常有必要的。

為了讓學習變得輕鬆、高效，今天給大家免費分享一套阿里架構師傳授的一套教學資源。幫助大家在成為架構師的道路上披荊斬棘。

這套視頻課程詳細講解了（Spring，MyBatis，Netty源碼分析，高併發、高性能、分佈式、微服務架構的原理，JVM性能優化、分佈式架構）等這些成為架構師必備的內容！

而且還把框架需要用到的各種程序進行了打包，根據基礎視頻可以讓你輕鬆搭建分佈式框架環境，像在企業生產環境一樣進行學習和實踐。

後臺私信回覆“架構” 就可以馬上免費獲得這套價值一萬八的內部教材！

• 最後，做一個愛思考，懂思考，會思考的程序員。

閱讀更多 Java高級架構資訊 的文章

關鍵字: Redis 淺談 開源軟件