ABP 使用ElasticSearch、Kibana、Docker 进行日志收集

阅读原文时间：2022年03月07日阅读：1

后续会根据公司使用的技术，进行技术整理分享，都是干货哦别忘了关注我！！！

最近领导想要我把项目日志进行一个统一收集，因为现在环境有什么报错信息都是看Logs文件夹的日志数据，如果只有一个项目那到无所谓，但是我们现在的服务进行了模块拆分，所以看日志需要一个一个的找不方便，之前我有接触过Seq、ElasticSearch进行日志收集统一查看。

技术点

ElasticSearch

ElasticSearch 是一个非常适合索引日志和分析数据的开源数据库。

Kibana

Kibana 是 ElasticSearch 的开源数据可视化用户界面。将 ElasticSearch 视为数据库，将 Kibana 视为 Web 用户界面，您可以使用它在 ElasticSearch 中构建图形和查询数据。

Serilog

Serilog 是一个用于 ASP.NET Core 的插件，它使日志记录变得容易。Serilog 有多种可用的接收器 - 例如，您可以获得纯文本、SQL 和 ElasticSearch 接收器等等。

为什么用ElasticSearch（当然后面也会介绍Seq）

它是免费和开源

基本功能是免费的，大部分都是免费的。如果您需要 Kibana 中的安全和警报功能，您可以购买 Kibana 的商业 X-pack 订阅，也可以安装一些开源替代品。

RESTful API

查询结果以 JSON 格式返回，这意味着结果易于使用。通过 RESTful API 查询和插入数据意味着可以轻松使用任何编程语言来处理 ElasticSearch。

易于查询

ElasticSearch 有一个基于 Apache Lucene 的内置全文搜索引擎。与其他数据库相比，Lucene 易于查询。即使是非技术人员也可以编写常见查询。

速度很快 - 非常快

查询大型 SQL 数据库可能需要 10 或 20 秒。大型 ElasticSearch 数据库上的类似查询通常会在 10 毫秒内返回结果。

它是可扩展

它很容易扩展。再加上它是开源的，这意味着它在钱包上也很容易。

易于设置

只需启动一个包含 ElasticSearch 和 Kibana 容器的 docker compose 文件，您就可以开始记录和搜索了。

Docker搭建Elasticsearch 和 Kibana环境

这里我们使用了docker-compose所以我们需要安装docker-compose然后创建一个 docker-compose.yml 文件。

mkdir -p home/docker/docker-compose
cd home/docker/docker-compose

创建一个名为 docker-compose.yml 的新文件

vi docker-compose.yml

docker-compose.yml文件内容

设置es内存,java程序一般很吃内存,根据服务器配置进行调优- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
kibana汉化(7.0以上版本),根据个人情况决定- output.i18n.locale="zh-CN"

version: '3.1'
services:
elasticsearch:
container_name: elasticsearch
hostname: elasticsearch
image: docker.elastic.co/elasticsearch/elasticsearch:7.9.2
restart: always
ports:
- 9200:9200
- 9300:9300
volumes:
- elasticsearch-data:/usr/share/elasticsearch/data
environment:
- xpack.monitoring.enabled=true
- xpack.watcher.enabled=false
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- discovery.type=single-node
kibana:
container_name: kibana
hostname: kibana
image: docker.elastic.co/kibana/kibana:7.9.2
restart: always
ports:
- 5601:5601
depends_on:
- elasticsearch
environment:
- ELASTICSEARCH_URL=http://localhost:9200
volumes:
elasticsearch-data:

运行 docker-compose.yml 文件

容器启动之后需要等待一会，因为初始化需要一段时间

# 构建启动容器  -d 后台运行
docker-compose up -d

# 停止up 命令所启动的容器，并移除网络
docker-compose down

验证环境

验证 Elasticsearch 是否已启动并正在运行,我们可以访问http://localhost:9200(就是我们刚才开放Elasticsearch的9200端口)

验证 Kibana 是否已启动并正在运行,我们可以访问http://localhost:5601(就是我们刚才开放Kibana的5601端口)

使用Abp配合Serilog 记录日志到 Elasticsearch

Serilog 包添加到项目中
- Serilog.AspNetCore
- Serilog.Enrichers.Environment
- Serilog.Sinks.Debug
- Serilog.Sinks.ElasticSearch
- Serilog.Exceptions
appsettings.json 中添加 Serilog 日志和Elasticsearch地址

{
// Serilog 日志配置
"Serilog": {
"MinimumLevel": {
"Default": "Information",
"Override": {
"Microsoft": "Information",
"System": "Warning"
}
}
},
// Elasticsearch地址
"ElasticConfiguration": {
"Uri": "http://localhost:9200"
},
"AllowedHosts": "*"
}

在 Program.cs 中配置日志记录

接下来，通过添加以下 using 语句在 Program.cs 中配置日志记录：

using Microsoft.AspNetCore.Hosting;
using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.Hosting;
using Serilog;
using Serilog.Sinks.Elasticsearch;
using System;
using System.Reflection;
using Serilog.Exceptions;

接下来，设置 main 方法。我们要做的是在创建主机之前设置日志记录。这样，如果主机无法启动，我们可以记录任何错误。

public static void Main(string[] args)
{
    // 配置日志信息
    ConfigureLogging();

    // 然后创建主机，这样如果主机出现故障，我们就可以记录错误
    CreateHost(args);
}

然后，在 program.cs 中添加 ConfigureLogging 和 ElasticsearchSinkOptions 方法

private static void ConfigureLogging()
{
    var environment = Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT");
    var configuration = new ConfigurationBuilder()
        .AddJsonFile("appsettings.json", optional: false, reloadOnChange: true)
        .AddJsonFile(
            $"appsettings.{Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT")}.json",
            optional: true)
        .Build();

    Log.Logger = new LoggerConfiguration()
        .Enrich.FromLogContext()
                .Enrich.WithExceptionDetails()
        .Enrich.WithMachineName()
        .WriteTo.Debug()
        .WriteTo.Console()
        .WriteTo.Elasticsearch(ConfigureElasticSink(configuration, environment))
        .Enrich.WithProperty("Environment", environment)
        .ReadFrom.Configuration(configuration)
        .CreateLogger();
}

private static ElasticsearchSinkOptions ConfigureElasticSink(IConfigurationRoot configuration, string environment)
{
    return new ElasticsearchSinkOptions(new Uri(configuration["ElasticConfiguration:Uri"]))
    {
                // 自动创建模块
        AutoRegisterTemplate = true,
                // 创建索引（如果不设置默认就是logstash-2022.03.06这种时间格式的）
        IndexFormat = $"{Assembly.GetExecutingAssembly().GetName().Name.ToLower().Replace(".", "-")}-{environment?.ToLower().Replace(".", "-")}"
    };
}

最后，添加 CreateHost 和 CreateHostBuilder 方法。请注意 CreateHostBuilder 周围的 try/catch 块。

private static void CreateHost(string[] args)
{
    try
    {
        CreateHostBuilder(args).Build().Run();
    }
    catch (System.Exception ex)
    {
        Log.Fatal($"Failed to start {Assembly.GetExecutingAssembly().GetName().Name}", ex);
        throw;
    }
}

public static IHostBuilder CreateHostBuilder(string[] args) =>
    Host.CreateDefaultBuilder(args)
        .ConfigureWebHostDefaults(webBuilder =>
        {
            webBuilder.UseStartup<Startup>();
        })
        .ConfigureAppConfiguration(configuration =>
        {
            configuration.AddJsonFile("appsettings.json", optional: false, reloadOnChange: true);
            configuration.AddJsonFile(
                $"appsettings.{Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT")}.json",
                optional: true);
        })
        .UseSerilog();

然后运行一次你的程序，让它自动创建好索引信息，后面我们就只需要配置了