ELK扫盲及搭建

阅读原文时间：2023年07月09日阅读：1

1. ELK部署说明

1.1.1 ELK是什么？

ELK是三个开源软件的缩写，分别表示：ElasticSearch , Logstash, Kibana , 它们都是开源软件，ELK指依靠这三个软件组合起来搭建的日志收集分析系统。

ElasticSearch：

开源的分布式搜索引擎，可以用来存储和搜索数据，可以看成是一个分布式数据库，蜂巢，对外提供rest风格的http接口来操作数据。

Logstash：

日志搜集过滤工具，角色为搬运工，从A处把数据搬运到B处，自己本身不处理数据，在ELK里通常用于把数据搬运到ElasticSearch存储，就像采蜜的蜜蜂。

Kibana：

为ElasticSearch提供可视化的搜索、分析服务，就像是ElasticSearch的管理后台，可以用界面的方式来搜索ElasticSearch的数据。

1.1.2我们用ELK解决什么问题？

互联网应用为了可用性和吞吐量等考虑，往往应用服务器不可能只有一台，通常部署多台应用服务器作为集群，靠负载均衡的方式访问，这样带来的问题就是请求和日志分散在多台机器上，需要排查问题时需要挨台挨台服务器去查看日志，两三台服务器还勉强能接受，万一有一百台服务器又该如何查呢？

如果有一种工具能帮助我们把集群的日志全搜集到一处，查询集群日志就像查询单机应用一样方便，就可以节省很多时间精力。

最基本的ELK架构：

1.ElasticSearch、Kibana节点：xxxx。

2.Logstash节点：各个应用节点，每个节点部署一个logstash，采集应用日志后向ElasticSearch节点xxxxxx:9200发送，由ElasticSearch节点存储。

3.nginx代理节点：由nginx对xxxxx:5601 kibana服务进行代理，nginx代理负责校验用户名和密码，然后跳转到kibana服务。

ELK架构中最核心的部分是ElasticSearch节点，由于ElasticSearch对内存消耗很大，所以单独使用一台服务器独立部署，防止抢占应用服务器资源影响应用稳定性。

2. ELK的安装

准备工作：

1. 服务器端创建elk安装目录，例如/usr/local/elk。

2. 将elk安装文件目录下的elk_install.tar.gz压缩包上传到服务器/usr/local/elk目录下，执行tar –xvf elk_install.tar.gz命令解压，得到如下目录：

执行cd elasticsearch-6.1.4/config命令，进入elasticsearch配置文件目录，可以看到有三个配置文件:

各个文件作用如下：

1.elasticsearch.yml：elasticsearch的核心配置文件，用来配置集群节点名称、内存、网络等参数。

2.jvm.options：配置elasticsearch的jvm相关参数，例如初始堆大小、最大堆大小、垃圾收集器类型、GC日志等。

3.log4j2.properties：配置日志格式。

首先配置elasticsearch.yml文件，下面是初始elasticsearch.yml文件截图：

首先找到如下参数，去掉前面的#注释并配置：

cluster.name: my-application #集群名称，集群唯一标示

node.name: node-1 #节点名称

network.host: 0.0.0.0 #能被哪个本机ip监听到，四个0表示所有本机ip都可以访问

http.port: 9200 #elasticsearch http方式访问端口，默认9200

文件末尾追加如下配置

http.cors.enabled: true

http.cors.allow-origin: "*"

node.master: true

node.data: true

注意：每个配置参数的”:”后面要加个空格，正例：name: value，反例：name:value。

接下来配置jvm参数，编辑jvm.options文件，官网提示除非对jvm理解十分深刻不然尽量不要动垃圾收集器相关配置，我们只配置堆大小。

-Xms2g # 初始堆大小，单位为g或者m，此处设置为和最大堆大小一样

-Xmx2g # 最大堆大小，官方文档建议设置为机器内存的一半，最大不能超过32G，否则将不能使用jvm的对象指针压缩技术，如果机器内存十分大，可以考虑虚拟化出多个32G虚拟机。此参数只能限制elasticsearch最多使用这么多堆内存，而elasticsearch内置的lucene则不受限制，根据自己的需要来吃掉剩余内存，没有可以限制最大的配置。

配置完成后，执行bin/elasticsearch命令启动elasticsearch，浏览器访问http://ip:9200如果出现elasticsearch节点信息说明完成了单机安装。

[图片上传中…(image.png-2aa3a3-1578386539197-0)]

进入logstash-6.1.4/config目录，创建logstash.conf文件配置logstash的日志收集策略，这个文件的配置内容用一句话描述就是日志从哪里来(input)，到哪里去(output)，中间有个过滤器(filter)进行格式转换和放行的操作。

此处直接使用配置好的config/logstash.conf模版即可，修改path参数为日志文件的绝对路径。想了解各个参数的作用，请看下面配置模版的注释：

配置logstash的堆大小，打开config/jvm.options文件，编辑如下两个参数：

-Xms500m # 单位g和m,初始堆大小

-Xmx500m # 单位g和m，最大堆大小

这两个参数官方文档没有推荐的配置，根据自己的日志量和机器配置调整即可。

配置完成后，运行bin/logstash –f config/logstash.conf命令即可启动logstash

进入kibana-6.1.4-linux-x86_64\config目录，将kibana.yml文件的server.host参数注释去掉，按如下配置：

server.host: "0.0.0.0" # kibana可以绑定在本机哪个ip上，四个0表示所有ip都能访问kibana

返回上级目录，运行bin/kibana命令即可启动kibana，浏览器访问http://ip:5601看到kibana首页说明安装成功。

由于kibana自身不具备登录功能，想使用登录功能需要使用xpack付费插件实现。而直接把kibana的日志查看页面暴露给外网无异于裸奔，所以需要使用nginx对kibana的访问地址做一层代理，禁用掉kibana端口5601，外网访问nginx的地址，录入用户名和密码通过nginx的鉴权后由nginx转发到kibana。

参考博客：

https://blog.csdn.net/dwyane__wade/article/details/80190771

3. ELK的启动关闭

ELK启动顺序：首先启动ElasticSearch,然后启动Kibana或者Logstash。

ELK关闭顺序：Logstash->Kibana->ElasticSearch。

1.进入到ElasticSearch安装目录:

cd /usr/local/elk/elasticsearch-6.1.4

2. ElasticSearch不能使用root账户启动，需要切换到elk_user用户：

su elk_user

3. 启动ElasticSearch:

bin/elasticsearch &

4. 访问http:// ip地址:9200，看到如下返回信息则为启动成功

1. 查看ElasticSearch是否正在运行：

ps -aux|grep elasticsearch| grep -v grep

2. 如果正在运行，查看进程id：

ps -aux|grep elasticsearch| grep -v grep | awk '{print $2}'

4. 执行kill命令，停止进程：

kill -9进程id

1. 进入kibana安装目录：

cd /usr/local/elk/kibana-6.1.4-linux-x86_64

2. 启动kibana：

bin/kibana

1. 查看Kibana是否正在运行：

ps -aux|grep kibana| grep -v grep

2. 如果正在运行，查看进程id：

ps -aux|grep kibana| grep -v grep | awk '{print $2}'

3. 执行kill命令，停止进程：

kill -9进程id

1. 进入Logstash安装目录：

cd /usr/local/elk/logstash-6.1.4

2.启动Logstash：

bin/logstash -f config/logstash.conf &

3.看到如下启动日志说明启动成功：

1. 查看logstash是否正在运行：

ps -aux|grep logstash | grep -v grep

4. 如果正在运行，查看进程id：

ps -aux|grep logstash | grep -v grep | awk '{print $2}'

5. 执行kill命令，停止进程：

kill -9 进程id

3. ELK性能参数配置

常用参数都已经在/usr/local/elk/elasticsearch-6.1.4/elasticsearch.yml和/usr/local/elk/logstash-6.1.4/config/logstash.yml文件里配置完成并且标上注释，下面主要说明影响ELK稳定性、日志采集实时性、吞吐量的参数。