前言
前几篇我们介绍了项目中
如何使用logback组件记录系统的日志情况；现在我们的系统都是分布式的，集群化的，那就代表着我们的应用会分布在很多服务器上面；那应用的日志文件就会分布在各个服务器上面。问题
突然有一天我们系统出现了问题，我们第一时间想到的是先要判断到底哪个服务出现了问题；我们的技术人员就连接生产环境服务器，查看服务器上面的应用日志。
那么多的服务器，技术人员这个时候就会很抓狂，一个个的查看分析日志，是比较愚蠢的方法。那有什么好的方式呢？今天老顾给大家介绍常规的方案。
ELK方案
ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。
ElasticSearch简称ES，它是一个
实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析，并将数据发送给ES。
Kibana为 Elasticsearch 提供了分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格、图形。
这三款软件都是开源软件，通常配合使用，而且又先后归于Elastic.co公司名下
ELK的用途
传统意义上，ELK是作为替代Splunk的一个开源解决方案。Splunk 是日志分析领域的领导者。日志分析并不仅仅包括系统产生的错误日志，异常，也包括业务逻辑，或者任何文本类的分析。而基于日志的分析，能够在其上产生非常多的解决方案，譬如：
1.问题排查。我们常说，运维和开发这一辈子无非就是和问题在战斗，运维和开发能够快速的定位问题，甚至防微杜渐，把问题杀死在摇篮里。日志分析技术显然问题排查的基石。
2.监控和预警。 日志，监控，预警是相辅相成的。基于日志的监控，预警使得运维有自己的机械战队，大大节省人力以及延长运维的寿命。
3.关联事件。多个数据源产生的日志进行联动分析，通过某种分析算法，就能够解决生活中各个问题。比如金融里的风险欺诈等。
4.数据分析。 这个对于数据分析师，还有算法工程师都是有所裨益的。
ElasticSearch介绍
ElasticSearch是一个实时的分布式搜索和分析引擎，采用java语言编写，现在的最新版本已经ElasticSearch7.5.x，他的主要特点如下：
实时搜索、实时分析
分布式架构、实时文件存储
文档导向，所有对象都是文档
高可用，易扩展，支持集群，分片与复制
接口友好，支持json
Logstash介绍
logstash是一款轻量级的、开源的日志收集处理框架，它可以方便的把分散的、多样化的日志收集起来，并进行自定义的过滤分析处理，然后输出到指定的位置（如：es）。
Logstash工作原理
如上图，Logstash的数据处理过程主要包括：Inputs, Filters, Outputs 三部分， 另外在Inputs和Outputs中可以使用Codecs对数据格式进行处理。这四个部分均以插件形式存在，用户通过定义pipeline配置文件，设置需要使用的input，filter，output, codec插件，以实现特定的数据采集，数据处理，数据输出等功能 。
（1）Inputs：用于从数据源获取数据，常见的插件如file, syslog, redis, beats等
（2）Filters：用于处理数据如格式转换，数据派生等，常见的插件如grok, mutate, drop, clone, geoip等
（3）Outputs：用于数据输出，常见的插件如elastcisearch，file, graphite, statsd等
（4）Codecs：Codecs不是一个单独的流程，而是在输入和输出等插件中用于数据转换的模块，用于对数据进行编码处理，常见的插件如json，multiline
Kibana介绍
Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。
可以用Kibana来
搜索，查看，并存储在Elasticsearch索引中的数据进行交互。可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。
Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsearch查询的变化。
什么是Filebeat
虽然我们的logstash功能已经非常强大了，里面包含采集，过滤，转换等功能；正因为有很多的功能，导致了它比较耗资源。其实在我们应用服务器端只需要采集日志功能就行了，没有必要logstash其他的功能；所以Filebeat等beat组件就出现了，它们比较小巧，而且不耗资源，也完全够用。
Filebeat是一个轻量级的托运人，用于转发和集中日志数据。Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们
转发到Elasticsearch或 Logstash进行索引。Filebeat的工作原理：启动Filebeat时，它会启动一个或多个输入，这些输入将查找您为日志数据指定的位置。对于Filebeat找到的每个日志，Filebeat启动一个收集器。每个收集器为新内容读取单个日志，并将新日志数据发送到libbeat，libbeat聚合事件并将聚合数据发送到您为Filebeat配置的输出。
官方流程图如下:
ELK常见架构
最简单的ELK应用架构
上面架构是简单粗暴的架构，这种架构对数据源服务器（即应用服务器）性能影响较大，因为Logsash是需要安装和运行在需要收集的数据源服务器（即应用服务器）中，然后将收集到的数据实时进行过滤，
过滤环节是很耗时间和资源的，过滤完成后才传输到ES中。下面是优化后的架构图：
用filebeat采集日志有效降低了收集日志对业务系统的系统资源的消耗。再通过logstash服务器可以过滤，转换日志。这样即满足了日志的过滤转换，也保障了业务系统的性能。
当然上面的架构中，是支持集群的
如果日志文件量特别大，以及收集的服务器日志比较多；这样架构中需加入消息中间件做一下缓冲
此架构适合大型集群，海量数据的业务场景，消息队列kafka集群架构有效保障了收集数据的安全性和稳定性，而后端logstash和es均采用了集群模式搭建，从整体上提高了ELK的系统的高效性，扩展性和吞吐量。
总结
今天老顾介绍了ELK的基本介绍，带领了我们小伙伴们进入了 Elastic Stack技术栈，也开启了小伙伴们大数据技术的大门。上面介绍的几个技术组件，延展下去会有很多技术点。老顾下面会一一介绍分享给大家，小伙伴们也可以自行上网学习。谢谢！！！
---End---
最近老顾上传了微服务网关的分享课程，请大家多多支持
1、基于RocketMq的SpringCloud Stream框架实战入门
2、如何搭建消息中间件应用框架之SpringCloud Stream
3、面试必备：网关异常了怎么办？如何做全局异常处理？
4、Gateway网关系列(二)：SpringCloud Gateway入门实战，路由规则
5、Gateway网关系列开篇：SpringCloud的官方网关Gateway介绍
6、API网关在微服务架构中的应用，这一篇就够了
7、学习Lambda表达式看这篇就够了，不会让你失望的哦（续篇）
8、Lambda用在哪里？几种场景？
9、为什么会出现Lambda表达式，你知道吗？
10、不说“分布式事务”理论，直接上大厂阿里的解决方案，绝对实用
11、女程序员问到这个问题，让我思考了半天，Mysql的“三高”架构
12、大厂二面：CAP原则为什么只能满足其中两项？而不能同时满足
13、阿里P7二面：聊聊零拷贝的原理
14、秒杀系统的核心点都在这里，快来取
15、你了解如何利用token方式实现分布式Session吗？
16、Mysql索引结构演变，为什么最终会是那个结构呢？让你一看就懂
17、一场比赛涉及到的知识，用通俗易通的方式介绍并发协调
18、企业实战Redis全方面思考，你思考了吗？
19、面试题：Thread的start和run的区别
20、面试题：什么是CAS？CAS的作用以及缺点
21、如何访问redis中的海量数据？避免事故产生
22、如何解决Redis热点问题？以及如何发现热点？
23、如何设计API接口，实现统一格式返回？
24、你真的知道在生产环境下如何部署tomcat吗？
25、分享一线互联网大厂分布式唯一ID设计 之 snowflake方案
26、分享大厂分布式唯一ID设计方案，快来围观
27、你想了解一线大厂的分布式唯一ID生成方案吗？
28、你知道如何处理大数据量吗？(数据拆分篇)
29、如何永不迁移数据和避免热点? 根据服务器指标分配数据量(揭秘篇)
30、你知道怎么分库分表吗？如何做到永不迁移数据和避免热点吗？
31、你了解大型网站的页面静态化吗？
32、你知道如何更新缓存吗？如何保证缓存和数据库双写一致性？
33、你知道怎么解决DB读写分离，导致数据不一致问题吗？
34、DB读写分离情况下，如何解决缓存和数据库不一致性问题？
35、你真的知道怎么使用缓存吗？
36、如何利用锁，防止缓存击穿？重构思想的重要性
37、海量订单产生的业务高峰期，如何避免消息的重复消费？
38、你知道如何保障生产端100%消息投递成功吗？
39、微服务下的分布式session该如何管理？
40、阿里二面：filter、interceptor、aspect应如何选择？很多人中招
41、互联网架构重要组员CDN，很多高级开发都没有实操过，来看这里
42、阿里二面：CDN缓存控制原理，看看能不能难住你
43、SpringCloud Alibaba之Nacos多环境多项目管理
44、SpringCloud Alibaba系列之Nacos配置中心玩法
45、SpringCloud Alibaba之Nacos注册中心
46、SpringCloud Plus版本之SpringCloud Alibaba
47、SpringCloud Alibaba之Nacos集群、持久化
48、SpringCloud Alibaba之Nacos共享配置、灰度配置
49、SpringCloud Alibaba之Sentinel工作原理
50、SpringCloud Alibaba之Sentinel流控管理
51、SpringCloud Alibaba之Sentinel降级管理
52、SpringCloud Alibaba之Sentinel热点参数限流
53、SpringCloud Alibaba之Sentinel的API实战
閱讀更多 老顧聊技術 的文章
