如何使用 Blackbox Exporter 监控 URL?

V2AS问路

如何使用 Blackbox Exporter 监控 URL?

阅读原文时间：2023年07月09日阅读：3

监控域名和 URL 是可观察性的一个重要方面，主要用于诊断可用性问题。接下来会详细介绍如何使用 Blackbox Exporter 和 Prometheus 在 Kubernetes 中实现 URL 监控。

Blackbox Exporter 是 Prometheus 的一个可选组件，像其他 Exporter 一样，主要用于将监控数据转换为 Prometheus 可理解的指标格式，即 Prometheus exposition format。

Endpoint 监控

Endpoint 监控是指监控内部和外部 Endpoint（HTTP/S、DNS、TCP、ICMP 和 grpc）的各种参数，包括 HTTP 响应时间、DNS 查询延迟、SSL 证书过期信息、TLS 版本等等。

在 Kubernetes 中，不仅仅是外部 Endpoint 需要被监控，内部 Endpoint 也需要被监控响应时间和其他参数。这些指标是基础设施的一个重要部分，以确保服务的连续性、可用性和符合一些安全认证。

白盒（WhiteBox）与黑盒（Blackbox）监控

白盒监控是指对系统内部的监控，包括应用 logging、handlers、tracing 和 metrics。与之相对，黑盒监控主要从外部发起探测，探测影响用户的行为，如服务器停机、页面不工作或网站性能下降。

Blackbox Exporter

Blackbox Exporter 用于探测 HTTPS、HTTP、TCP、DNS、ICMP 和 grpc 等 Endpoint。在你定义 Endpoint 后，Blackbox Exporter 会生成指标，可以使用 Grafana 等工具进行可视化。Blackbox Exporter 最重要的功能之一是测量 Endpoint 的可用性。

下图显示了 Blackbox Exporter 监控一个 Endpoint 的流程：

使用 Helm 安装 Blackbox Exporter

Blackbox Exporter 的安装很简单，可以通过 Helm Chart 安装：

# 添加 repo
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

# Install chart
helm install [RELEASE_NAME] prometheus-community/prometheus-blackbox-exporter

Blackbox 基本配置

下面是 Blackbox Exporter 配置中定义的一个默认模块：

blackbox.yaml:

modules:
  http_2xx:
    prober: http
    timeout: 15s
    http:
      fail_if_not_ssl: true
      ip_protocol_fallback: false
      method: GET
      follow_redirects: true
      preferred_ip_protocol: ip4
      valid_http_versions:
        - HTTP/1.1
        - HTTP/2.0
      valid_status_codes:
        - 200
        - 204

你可以相应地配置你自己的blackbox.yml，使探针 (probe) 根据你的配置返回成功/失败。以上面配置为例，详细说明下 module 和 http probe 的配置：

prober: 探测的协议（可以是：http, tcp, dns, icmp, grpc）。
timeout: 探测超时时间。
http: http probe

接下来是 http probe 的配置：

valid_status_codes: <int>, ... | default = 2xx: 该 Probe 可接受的状态码。默认为 2xx。建议使用默认值。
valid_http_versions: 该 Probe 接受的 http 版本。可选值：HTTP/1.1 HTTP/2.0
method: <string> | default = "GET": probe 使用的 http method
headers: probe 使用的 header, 比如可以加一些 user-agent 之类的 header 避免被 WAF 拦截
body_size_limit: <size> | default = 0 将被处理的最大未压缩的主体长度（字节）。值为 0 意味着没有限制。
compression: 用于解压响应的压缩算法（gzip、br、deflate、ident）。
follow_redirects: <boolean> | default = true: 是否 follow 重定向
fail_if_ssl: 如果存在 SSL，则探测失败
fail_if_not_ssl: 如果不存在 SSL, 则探测失败
fail_if_body_matches_regexp: 如果返回的 body 匹配该正则则失败
fail_if_body_not_matches_regexp: 如果返回的 body 不匹配该正则则失败
fail_if_header_matches: 如果返回的 header 匹配该正则，则失败。对于有多个值的 header，如果至少有一个符合，则失败。
fail_if_header_not_matches: 如果返回的 header 不匹配该正则，则失败。
tls_config: HTTP probe 的 TLS 协议配置，常用于私人证书。
basic_auth: 目标的 HTTP basic auth 凭证。
bearer_token: <secret>: 模板的 bearer token.
proxy_url 用于连接到目标的 proxy server 的配置
skip_resolve_phase_with_proxy 当设置了 HTTP 代理（proxy_url）时，跳过 DNS 解析和 URL 变更。
oauth2 用于连接到模板的 OAuth 2.0 配置
enable_http2 是否启用 http2
preferred_ip_protocol HTTP probe 的 IP 协议 (ip4, ip6)
ip_protocol_fallback
body probe 中使用的 HTTP 请求的主体。

你可以查看这个 example.yml 中的详细例子，了解更多情况。另外还需要在 Prometheus 做一些配置上的改变，Blackbox Exporter 才会发送与应用的配置相关的指标。

Prometheus 中的配置

需要在 Prometheus 里配置 scrape 的配置，以及 Blackbox 相关的 Alert Rules.

Blackbox 的 Prometheus Scrape 配置

示例如下：

scrape_configs:
  - job_name: blackbox-exporter
    params:
      module:
        - http_2xx
    scrape_interval: 1m
    scrape_timeout: 10s
    metrics_path: /probe
    scheme: http
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: prometheus-blackbox-exporter.monitoring:9115
        action: replace
    static_configs:
      - targets:
          - https://ewhisper.cn
          - https://www.ewhisper.cn
          - https://rancher.ewhisper.cn
        labels:
          domain: ewhisper
          environment: test
          cluster: home-k3s

这样直接改 Prometheus 的配置是比较容易出错的，如果你已经安装了 Prometheus Operator, 则可以直接通过 probe CRD 来配置，非常方便：

apiVersion: monitoring.coreos.com/v1
kind: Probe
metadata:
  name: ewhisper
  namespace: monitoring
spec:
  jobName: http-get
  interval: 60s
  module: http_2xx
  prober:
    url: prometheus-blackbox-exporter.monitoring:9115
    scheme: http
    path: /probe
  targets:
    staticConfig:
      static:
      - targets:
          - https://ewhisper.cn
          - https://www.ewhisper.cn
          - https://rancher.ewhisper.cn
        labels:
          domain: ewhisper
          environment: test
          cluster: home-k3s

单论 URL, 总结起来，Blackbox Exporter 有以下探测场景：

探测外部 URL
探测 K8S 集群内部 service
探测 K8S 集群内部 Ingress
探测 K8S 集群内部 Pod

场景一：探测外部 URL

配置上面已经提过，这里就不在赘述。

场景二：探测 K8S 集群内部 service

在 Kubernetes 系统中，资源和 Endpoint 会随着时间的推移而出现和消失，可以非常有用的探测是对资源的动态探测，包括 pods、service 和 ingress。

在 Prometheus 中使用 Kubernetes 服务发现配置，我们可以实现 Endpoint 的动态探测。Kubernetes 服务发现配置允许从 Kubernetes 的 API 中获取刮削目标，并始终与集群状态保持同步。你可以在文档的 kubernetes_sd_config 部分找到可以配置为发现目标的可用角色列表。

kubernetes_sd_configs:
  - role: service
    metrics_path: /probe
    params:
      module:
      - http_2xx
    relabel_configs:
    - action: keep
      regex: true
      source_labels:
      - __meta_kubernetes_service_annotation_prometheus_io_probe
    - source_labels:
      - __address__
      target_label: __param_target
    - replacement: prometheus-blackbox-exporter.monitoring:9115
      target_label: __address__
    - source_labels:
      - __param_target
      target_label: instance
    - action: labelmap
      regex: __meta_kubernetes_service_label_(.+)
    - source_labels:
      - __meta_kubernetes_namespace
      target_label: kubernetes_namespace
    - source_labels:
      - __meta_kubernetes_service_name
      target_label: kubernetes_name

这里我们可以使用[__meta_kubernetes_service_annotation_prometheus_io_probe]来只检查那些有prometheus.io/probe = true注释的服务，示例如下：

➜ kubectl describe svc nginx
...
Annotations:              prometheus.io/probe: true
...

场景三：探测 K8S 集群内部 Ingress

    - job_name: "blackbox-kubernetes-ingresses"
      metrics_path: /probe
      params:
        module: [http_2xx]
      kubernetes_sd_configs:
      - role: ingress
      relabel_configs:
      # 示例重新标记，只探测有 "prometheus.io/probe = true"注释的一些接入点。
      #  - source_labels: [__meta_kubernetes_ingess_annotation_prometheus_io_probe]
      #    action: keep
      #    regex: true
        - source_labels:
            [
              __meta_kubernetes_ingress_scheme,
              __address__,
              __meta_kubernetes_ingress_path,
            ]
          regex: (.+);(.+);(.+)
          replacement: ${1}://${2}${3}
          target_label: __param_target
        - target_label: __address__
          replacement: prometheus-blackbox-exporter.monitoring:9115
        - source_labels: [__param_target]
          target_label: instance
        - action: labelmap
          regex: __meta_kubernetes_ingress_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          target_label: kubernetes_namespace
        - source_labels: [__meta_kubernetes_ingress_name]
          target_label: ingress_name

场景四：探测 K8S 集群内部 Pod

    - job_name: "blackbox-kubernetes-pods"
      metrics_path: /probe
      params:
        module: [http_2xx]
      kubernetes_sd_configs:
      - role: pod
      relabel_configs:
      # 示例重新标记，只探测有
      # "prometheus.io/probe = true"注释的 pod。
      #  - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_probe]
      #    action: keep
      #    regex: true
        - source_labels: [__address__]
          target_label: __param_target
        - target_label: __address__
          replacement:  prometheus-blackbox-exporter.monitoring:9115
        - source_labels: [__param_target]
          replacement: ${1}/health
          target_label: instance
        - action: labelmap
          regex: __meta_kubernetes_pod_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          target_label: kubernetes_namespace
        - source_labels: [__meta_kubernetes_pod_name]
          target_label: kubernetes_pod_name