ELK简介

ElasticSearch工作原理以及专用名词

ELK是Elasticsearch（ES） , Logstash, Kibana的结合，是一个开源日志收集软件。

Elasticsearch（ES）：开源分布式搜索引擎，提供搜集、分析、存储数据功能。

Logstash：日志搜集、分析、过滤，支持大量数据获取。其自带输入（input）、过滤语法（grok）、输出（output）三部分。其输入有两种方式：①由各beat采集器输入，经过滤后输出到ES ②本机数据输入，经过滤后输出到ES。

Kibana：提供日志分析友好的 Web 界面。数据存储到ES中后，可以在Kibana页面上增删改查，交互数据，并生成各种维度表格、图形。

新增的Filebeat是一个轻量级的日志收集处理工具(Agent)，占用资源少，官方也推荐此工具。还有其他beat等，可以在各服务器上搜集信息，传输给Logastash。

总的来说就是：beats+Logstash收集，ES存储，Kibana可视化及分析。

Filebeat隶属于Beats。目前Beats包含四种工具：

Packetbeat（搜集网络流量数据）

Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）

Filebeat（搜集文件数据）

Winlogbeat（搜集 Windows 事件日志数据）

1、解压jdk压缩包

abc@elk:~$ sudo tar -zxvf jdk-11.0.18_linux-x64_bin.tar.gz -c jdk11

2、添加环境变量

abc@elk:~$ vim ~/.bashrc
export JAVA_HOME=/home/abc/jdk11
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

1、安装Elasticsearch软件包

abc@elk:~$ sudo dpkg -i elasticsearch-8.5.1-amd64.deb

2、启动Elasticsearch并设置开机自启

abc@elk:~$ sudo systemctl enable elasticsearch.service
abc@elk:~$ sudo systemctl start elasticsearch.service

3、修改elasticsearch配置文件

切换到root用户下修改

abc@elk:~$ sudo su
root@elk:/home/abc# vim /etc/elasticsearch/elasticsearch.yml
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["host1"]
xpack.security.enabled: false
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: true
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["elk"]
http.host: 0.0.0.0

4、重启Elasticsearch服务

abc@elk:~$ sudo systemctl restart elasticsearch.service

5、查看Elasticsearch

1、安装Kibana软件包

abc@elk:~$ dpkg -i kibana-8.5.1-amd64.deb

2、启动Kibana并设置开机自启

abc@elk:~$ sudo systemctl enable kibana.service
abc@elk:~$ sudo systemctl start Kibana.service

3、修改Kibana配置文件

切换到root用户下修改

abc@elk:~$ sudo su
root@elk:/home/abc# vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://10.4.14.5:9200"]    ##填写ES服务地址
logging:
  appenders:
    file:
      type: file
      fileName: /var/log/kibana/kibana.log
      layout:
        type: json
  root:
    appenders:
      - default
      - file
pid.file: /run/kibana/kibana.pid
i18n.locale: "zh-CN"

4、重启kibana服务

abc@elk:~$ sudo systemctl restart elasticsearch.service