什么是链路追踪

借用阿里云链路追踪文档来解释

分布式链路追踪（Distributed Tracing），也叫 分布式链路跟踪，分布式跟踪，分布式追踪 等等，它为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，提高微服务时代下的开发诊断效率。

为了应对各种复杂的业务，开发工程师开始采用敏捷开发、持续集成等开发方式。系统架构也从单机大型软件演化成微服务架构。微服务构建在不同的软件集上，这些软件模块可能是由不同团队开发的，可能使用不同的编程语言来实现，还可能发布在多台服务器上。因此，如果一个服务出现问题，可能导致几十个应用都出现服务异常。

分布式追踪系统可以记录请求范围内的信息，例如一次远程方法调用的执行过程和耗时，是我们排查系统问题和系统性能的重要工具。

调用链

在广义上，一个调用链代表一个事务或者流程在（分布式）系统中的执行过程。在OpenTracing标准中，调用链是多个Span组成的一个有向无环图（Directed Acyclic Graph，简称DAG），每一个Span代表调用链中被命名并计时的连续性执行片段。

下图是一个分布式调用的例子：客户端发起请求，请求首先到达负载均衡器，接着经过认证服务、计费服务，然后请求资源，最后返回结果。

图 1. 分布式调用示例

数据被采集存储后，分布式追踪系统一般会选择使用包含时间轴的时序图来呈现这个调用链。

图 2. 包含时间轴的链路图

追踪信息

追踪信息包含时间戳、事件、方法名（Family+Title）、注释（TAG/Comment）。

客户端和服务器上的时间戳来自不同的主机，我们必须考虑到时间偏差，RPC 客户端发送一个请求之后，服务器端才能接收到，对于响应也是一样的（服务器先响应，然后客户端才能接收到这个响应）。这样一来，服务器端的 RPC 就有一个时间戳的一个上限和下限。

追踪采样

链路追踪在生成追踪和收集追踪数据的时候会消耗系统资源，在服务高负载情况下可能会导致系统性能下降，因为在链路追踪上可以参考跟踪采样的思路降低链路追踪的消耗。

1. 固定采样（1/1024）

   这种采样方案对于高吞吐高负载的线上服务来说相当有用，在大吞吐量的情况下某些事件仍然可能经常出现，并且被采样到，但是在比较低的负载情况下这种采样方式往往可能会漏掉某些重要事件，而选择较高的采样率就需要接受性能损耗。

2. 积极采样

   在低负载情况下固定采样无法采集到重要数据的情况下，可以采用动态的积极采样方式，例如在高QPS情况下采样率下降，低QPS下提高采样率。

如何使用

目前业界开源的知名链路追踪系统比如Google的Dapper，Twitter的zipkin，淘宝的鹰眼，新浪的Watchman，京东的Hydra等

而本文则使用Jaeger来作为链路追踪系统

简单用docker起一个jaeger

docker的安装

docker run -d -e COLLECTOR_ZIPKIN_HTTP_PORT=9411 -p 5775:5775/udp -p 6831:6831/udp -p 6832:6832/udp -p 5778:5778  -p 16686:16686 -p 14268:14268  -p 14269:14269   -p 9411:9411 jaegertracing/all-in-one:latest

访问127.0.0.1:16686

看到这个页面就OK了

在kratos中植入链路追踪

根据官方文档kratos 框架提供的自带中间件中有一个名为 tracing 中间件，它基于 Opentelemetry 实现了kratos 框架的链路追踪功能

1. 在main.go中构建链路追踪

   //构建全链路追踪
   // tracerProvider returns an OpenTelemetry TracerProvider configured to use
   // the Jaeger exporter that will send spans to the provided url. The returned
   // TracerProvider will also use a Resource configured with all the information
   // about the application.
   func tracerProvider(url string) (*trace.TracerProvider, error) {
   // Create the Jaeger exporter
   exp, err := jaeger.New(jaeger.WithCollectorEndpoint(jaeger.WithEndpoint(url)))
   if err != nil {
   return nil, err
   }
   tp := trace.NewTracerProvider(
   // Always be sure to batch in production.
   trace.WithBatcher(exp),
   // Record information about this application in an Resource.
   trace.WithResource(resource.NewWithAttributes(
   semconv.SchemaURL,
   semconv.ServiceNameKey.String(Name), //实例名称
   attribute.String("environment", Name), // 相关环境
   attribute.String("ID", Version), //版本
   )),
   )
   return tp, nil
   }

2. 在main方法中调用tracerProvider

   //启动链路追踪，此处需要填写链路追踪采集地址
   //http://127.0.0.1:14268/api/traces
   tp, err := tracerProvider(config.GetConfig().GetString("jaeger.ipaddr"))
   if err != nil {
       panic(err)
   }
   //将tp作为全局链路追踪的提供程序
   otel.SetTracerProvider(tp)

3. 在client和server端加上链路追踪中间件

   server端

   //grpc
   var opts = []grpc.ServerOption{
   grpc.Middleware(
   recovery.Recovery(),
   logging.Server(logger), //日志中间件
   tracing.Server(), //链路追踪中间件
   ),
   }
   //http
   var opts = []http.ServerOption{
   http.Middleware(
   recovery.Recovery(),
   logging.Server(logger), //日志中间件
   tracing.Server(), //链路追踪中间件
   ),
   }

client端

    grpc.WithMiddleware(
            recovery.Recovery(),
            logging.Client(logger), //日志中间件,
            tracing.Client(),       //链路追踪中间件
        ),

启动server端和client端，访问一下接口

可以发现jaeger上成功监测到请求链路

拓扑图也成功展示出来

References

https://go-kratos.dev/blog/go-kratos-opentelemetry-practice

https://www.jianshu.com/p/07cf4093536a?from=singlemessage

https://help.aliyun.com/document_detail/90277.html?spm=5176.22294701.J_5253785160.4.49451088XuirYu

如有错误请留言反馈