统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

阅读原文时间：2023年07月10日阅读：3

作者：闻洪

开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎。本文旨在分享阿里云Prometheus对EMR平台大数据服务的监控实践。

开源大数据开发平台E-MapReduce（简称“EMR”）作为大数据处理的系统解决方案被越来越多的企业所接受。而阿里云EMR构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据，还可以与阿里云OSS和RDS等云数据存储系统和数据库系统进行数据传输，让企业可以快速搭建Hadoop、Spark、Flink、Kafka和HBase等开源大数据服务。

我们可以看到，E-MapReduce的核心是集群。E-MapReduce集群是由一个或多个ECS实例组成的Hadoop、Flink、Druid、ZooKeeper集群。以Hadoop为例，每个ECS 实例上通常都运行了一些daemon进程（例如，NameNode、DataNode、ResouceManager和NodeManager），这些daemon进程共同组成了Hadoop集群。在众多大数据组件背后，是海量需要被观测的指标，这就给运维工程师、SRE工程师带来了巨大的挑战。那么，构建E-MapReduce之后，我们针对不同组件，应该关注哪些指标呢？

Metric指标采集

E-MapReduce指标观测主要包括HOST监控、HDFS 、YARN、Hive、Kafka、Zookeeper、ClickHouse和Flink等，那么接下来我们将进行逐一解读。

HOST指标[1]

提供ECS节点CPU、内存、磁盘、load、网络、socket等监控指标。

HDFS指标[2]

HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，适用于大规模数据的分布式读写，特别是读多写少的场景。HDFS指标包括HOME、NameNodes、DataNodes和JournanlNodes指标。

HDFS-HOME
HDFS-NameNodes
HDFS-DataNodes
HDFS-JournanlNodes

YARN指标[3]

YARN是Hadoop系统的核心组件，主要功能包括负责Hadoop集群的资源管理，对作业进行调度运行以及监控。YARN指标包括HOME、Queue、ResourceManager、NodeManager、TimeLineServer和JobHistory。

YARN-HOME
YARN-Queues
YARN-ResourceManager
YARN-NodeManagers
YARN-TimeLineServer
YARN-JobHistory

Hive指标[4]

Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。Hive由HiveServer2(HiveQL查询服务器)、Hive MetaStore(元数据管理模块)和Hive Client构成，其指标包括HiveMetaStore和HiveServer2。

HiveMetaStore

指标

描述

hive_memory_heap_max

JVM最大可用堆内存，单位：Byte。

hive_memory_heap_used

JVM已使用堆内存，单位：Byte。

hive_memory_non_heap_used

JVM已使用堆外内存量，单位：Byte。

hive_active_calls_api_alter_table

当前活跃的alter table请求数。

hive_active_calls_api_create_table

当前活跃的create table请求数。

hive_active_calls_api_drop_table

当前活跃的drop table请求数。

hive_api_alter_table

alter table请求平均时间，单位：ms。

hive_api_alter_table_with_environment_context

alter table with env context请求平均时间，单位：ms。

hive_api_create_table

create table请求平均时间，单位：ms。

hive_api_create_table_with_environment_context

create table with env context请求平均时间，单位：ms。

api_drop_table

drop table请求平均时间，单位：ms。

hive_api_drop_table_with_environment_context

drop table with env context请求平均时间，单位：ms。

hive_api_get_all_databases

get all databases请求平均时间，单位：ms。

hive_api_get_all_functions

get all functions请求平均时间，单位：ms。

hive_api_get_database

get database请求平均时间，单位：ms。

hive_api_get_databases

get databases请求平均时间，单位：ms。

hive_api_get_multi_table

get multi table请求平均时间，单位：ms。

hive_api_get_tables_by_type

get table请求平均时间，单位：ms。

hive_api_get_table_objects_by_name_req

get table objects by name请求平均时间，单位：ms。

hive_api_get_table_req

get table req请求平均时间，单位：ms。

hive_api_get_table_statistics_req

get table statistics请求平均时间，单位：ms。

hive_api_get_tables

get tables请求平均时间，单位：ms。

hive_api_get_tables_by_type

get tables by type请求平均时间，单位：ms。

HiveServer2

指标

描述

hive_metrics_hs2_active_sessions

当前活跃的session个数。

hive_metrics_memory_total_init

JVM初始化总内存，单位：Byte。

hive_metrics_memory_total_committed

JVM已预留总内存，单位：Byte。

hive_metrics_memory_total_max

JVM最大可用总内存，单位：Byte。

hive_metrics_memory_heap_committed

JVM已预留堆内存，单位：Byte。

hive_metrics_memory_heap_inithive_metrics_memory_heap_committed

JVM初始化堆内存，单位：Byte。

hive_metrics_memory_non_heap_committed

JVM已预留堆外内存，单位：Byte。

hive_metrics_memory_non_heap_init

JVM初始化堆外内存，单位：Byte。

hive_metrics_memory_non_heap_max

JVM最大可用堆外内存，单位：Byte。

hive_metrics_gc_PS_MarkSweep_count

JVM PS MarkSweep GC次数。

hive_metrics_gc_PS_MarkSweep_time

JVM PS MarkSweep GC时间，单位：ms。

hive_metrics_gc_PS_Scavenge_time

JVM PS Scavenge GC时间，单位：ms。

hive_metrics_threads_daemon_count

JVM daemon线程数。

hive_metrics_threads_count

JVM线程数。

hive_metrics_threads_blocked_count

JVM blocked线程数。

hive_metrics_threads_deadlock_count

JVM deadlock线程数。

hive_metrics_threads_new_count

JVM new状态线程数。

hive_metrics_threads_runnable_count

JVM runnable线程数。

hive_metrics_threads_terminated_count

JVM terminated线程数。

hive_metrics_threads_waiting_count

JVM waiting线程数。

hive_metrics_threads_timed_waiting_count

JVM timed_waiting线程数。

hive_metrics_memory_heap_max

JVM最大可用堆内存，单位：Byte。

hive_metrics_memory_heap_used

JVM已使用堆内存，单位：Byte。

hive_metrics_memory_non_heap_used

JVM已使用堆外内存量，单位：Byte。

hive_metrics_hs2_open_sessions

当前打开的session数。

hive_metrics_hive_mapred_tasks

提交的Hive on MR作业总数。

hive_metrics_hive_tez_tasks

提交的Hive on Tez作业总数。

hive_metrics_cumulative_connection_count

累计连接数。

hive_metrics_active_calls_api_runTasks

当前runtask请求数。

hive_metrics_hs2_completed_sql_operation_FINISHED

已结束的SQL总数。

hive_metrics_hs2_sql_operation_active_user

当前活跃用户数。

hive_metrics_open_connections

当前打开的连接数。

hive_metrics_api_PostHook_com_aliyun_emr_meta_hive_hook_LineageLoggerHook

执行LineageLoggerHook的平均时间，单位：ms。

hive_metrics_api_hs2_sql_operation_PENDING

SQL任务处于PEEDING状态的平均时间，单位：ms。

hive_metrics_api_hs2_sql_operation_RUNNING

运SQL任务处于RUNNING状态的平均时间，单位：ms。

hive_metrics_hs2_submitted_queries

提交查询的平均时间，单位：ms。

hive_metrics_hs2_executing_queries

执行查询的平均时间，单位：ms。

hive_metrics_hs2_succeeded_queries

服务启动后成功的查询数。

hive_metrics_hs2_failed_queries

服务启动后失败的查询数。

ZooKeeper指标[5]

ZooKeeper是一个分布式、高可用性的协调服务。ZooKeeper提供分布式配置服务、同步服务和命名注册等功能。

指标

描述

zk_packets_received

ZooKeeper接收的包的数量。

zk_packets_sent

ZooKeeper发送的包的数量。

zk_avg_latency

ZooKeeper平均请求延迟，单位：ms。

zk_min_latency

ZooKeeper最小请求延迟，单位：ms。

zk_max_latency

ZooKeeper最大请求延迟，单位：ms。

zk_watch_count

ZooKeeper watch的数量。

zk_znode_count

ZooKeeper znode的数量。

zk_num_alive_connections

ZooKeeper存活的连接数。

zk_outstanding_requests

ZooKeeper排队请求的数量。当ZooKeeper超过了它的处理能力时，该值会增大。

zk_approximate_data_size

ZooKeeper的数据大小（近似值），单位：Byte。

zk_open_file_descriptor_count

ZooKeeper打开文件的数量。

zk_max_file_descriptor_count

ZooKeeper最大允许打开的文件数量。

zk_node_status

ZooKeeper节点状态：- -1：节点不可用。

0：作为follower节点。
1：作为leader节点。 |

| zk_synced_followers | 同步的ZooKeeper服务数量。 |

Kafka指标[6]

消息队列Kafka版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。

Kafka-HOME
Kafka-Broker
* Status
- Throughput
- Performance
- Storage
- Request Rate
- Request Time
- MessageConversion
- ZK session
- JVM
Kafka-Topic
* Status
- Throughput
- Request Rate
- MessageConversion
- Storage

Impala指标[7]

Impala为存储在Apache Hadoop中的数据提供了高性能和低延迟的SQL查询。

指标

描述

impala_impala_server_resultset_cache_total_bytes

结果集缓存大小，单位：Byte。

impala_num_executing_queries

当前正在执行的查询数量。

impala_num_waiting_queries

当前正在等待的查询数量。

impala_impala_server_query_durations_ms_95th

95%的查询耗时时间，单位：ms。

impala_num_in_flight_queries

集群正在in fight状态的查询数量。

impala_impala_server_query_durations_ms_75th

75%的查询耗时时间，单位：ms。

impala_impala_thrift_server_CatalogService_svc_thread_wait_time_99_9th

Catalog Service的客户端对服务线程的等待时间，单位：ms。

impala_impala_thrift_server_CatalogService_connection_setup_time_99_9th

99%的Catalog Service客户端等待建立连接所花费的时间，单位：ms。

impala_impala_server_query_durations_ms_99_9th

99%的查询耗时时间，单位：ms。

impala_impala_server_ddl_durations_ms_99_9th

99%的DDL操作耗时时间，单位：ms。

impala_impala_server_query_durations_ms_90th

90%的查询耗时时间，单位：ms。

impala_impala_server_ddl_durations_ms_90th

90%的DDL操作耗时时间，单位：ms。

impala_impala_server_query_durations_ms_50th

50%的查询耗时时间，单位：ms。

impala_impala_server_ddl_durations_ms_50th

50%的DDL操作耗时时间，单位：ms。

impala_impala_server_ddl_durations_ms_95th

95%的DDL操作耗时时间，单位：ms。

impala_impala_server_scan_ranges_num_missing_volume_id

在进程生命周期内缺失volume id的scan range总数。

impala_impala_server_ddl_durations_ms_75th

75%的DDL操作耗时时间，单位：ms。

impala_impala_server_num_queries_spilled

任何运算符溢出的查询数。

impala_impala_server_scan_ranges_total

在进程生命周期内读取的扫描范围总数。

impala_impala_server_num_queries_expired

由于不活动而过期的查询数。

impala_impala_server_resultset_cache_total_num_rows

结果集缓存记录数。

impala_impala_server_num_open_hiveserver2_sessions

打开的HiveServer2会话数。

impala_impala_server_num_sessions_expired

由于不活动而过期的会话数。

impala_impala_server_num_fragments_in_flight

当前正在执行的查询片段实例的数量。

impala_impala_server_num_queries_registered

在此Impala服务器实例上注册的查询总数。包括正在进行中并等待关闭的查询。

impala_impala_server_num_files_open_for_insert

当前为写入而打开的HDFS文件数。

impala_impala_server_num_queries

在进程生命周期内处理的查询总数。

impala_impala_server_hedged_read_ops

在进程生命周期内尝试的hedged reads总数。

impala_impala_server_num_open_beeswax_sessions

打开Beeswax会话的数量。

impala_impala_server_backend_num_queries_executed

在进程的生命周期内在此后端执行的查询总数。

impala_impala_server_num_fragments

在进程生命周期内处理的查询片段总数。

impala_rpc_impala_ControlService_rpcs_queue_overflow

ControlService由于服务队列溢出而被拒绝的传入RPC总数。

impala_impala_server_hedged_read_ops_win

Hedged read比常规读取操作快的总次数。

impala_mem_tracker_DataStreamService_current_usage_bytes

Memtracker DataStreamService当前使用的字节数。

impala_impala_server_backend_num_queries_executing

当前在此后端上执行的查询数。

impala_cluster_membership_executor_groups_total_healthy

处于健康状态的执行器组总数。

impala_rpc_impala_DataStreamService_rpcs_queue_overflow

DataStreamService由于服务队列溢出而被拒绝的传入RPC总数。

impala_cluster_membership_backends_total

向statestore注册的后端总数。

impala_mem_tracker_DataStreamService_peak_usage_bytes

Memtracker DataStreamService峰值使用的字节数。

impala_total_senders_blocked_on_recvr_creation

已被阻止等待接收片段初始化的发件人总数。

impala_mem_tracker_ControlService_peak_usage_bytes

Memtracker ControlService峰值使用字节数。

impala_simple_scheduler_local_assignments_total

本地作业数。

impala_mem_tracker_ControlService_current_usage_bytes

Memtracker ControlService当前使用字节数。

impala_memory_total_used

已使用内存，单位：Byte。

impala_cluster_membership_executor_groups_total

至少有一个执行程序的执行程序组总数。

impala_memory_rss

RSS的内存大小，包括TCMalloc、缓冲池和JVM，单位：Byte。

impala_total_senders_timedout_waiting_for_recvr_creation

超时等待接收片段初始化的发送者总数。

impala_senders_blocked_on_recvr_creation

等待接收片段初始化的发送者数量。

impala_simple_scheduler_assignments_total

作业数。

impala_memory_mapped_bytes

进程中内存映射的总字节数（虚拟内存大小），单位：Byte。

HUE指标[8]

指标

描述

hue_requests_response_time_avg

请求响应时间平均值。

hue_requests_response_time_95_percentile

95%的请求响应时间。

hue_requests_response_time_std_dev

请求响应时间标准差。

hue_requests_response_time_median

50%的请求响应时间。

hue_requests_response_time_75_percentile

75%的请求响应时间。

hue_requests_response_time_count

请求响应时间计数。

hue_requests_response_time_5m_rate

最近5分钟的请求响应速率。

hue_requests_response_time_min

请求响应时间最小值。

hue_requests_response_time_sum

请求响应时间总和。

hue_requests_response_time_max

请求响应时间的最大值。

hue_requests_response_time_mean_rate

请求响应速率平均值。

hue_requests_response_time_99_percentile

99%的最近一小时请求响应时间。

hue_requests_response_time_15m_rate

最近15分钟请求响应速率。

hue_requests_response_time_999_percentile

99.9%的请求响应时间。

hue_requests_response_time_1m_rate

最近1分钟的请求响应速率。

hue_users_active_total

活跃用户总数。

hue_users_active

最近1小时的活跃用户数。

hue_users

用户总数。

hue_threads_total

当前线程总数。

hue_threads_daemon

常驻线程数量。

hue_queries_number

查询数量总和。

hue_requests_exceptions

当前异常请求数。

hue_requests_active

当前活跃请求数。

Kudu指标[9]

参数

指标

描述

op_apply_queue_length（99）

kudu_op_apply_queue_length_percentile_99

99%的操作队列的长度。

op_apply_queue_length（75）

kudu_op_apply_queue_length_percentile_75

75%的操作队列的长度。

op_apply_queue_length（mean）

kudu_op_apply_queue_length_mean

操作队列的长度的平均值。

rpc_incoming_queue_time（99）

kudu_rpc_incoming_queue_time_percentile_99

99%的RPC队列的等待时间，单位：μs。

rpc_incoming_queue_time（75）

kudu_rpc_incoming_queue_time_percentile_75

75%的RPC队列的等待时间，单位：μs。

rpc_incoming_queue_time（mean）

kudu_rpc_incoming_queue_time_mean

RPC队列的等待时间的平均值，单位：μs。

reactor_load_percent（99）

kudu_reactor_load_percent_percentile_99

99%的Reactor线程的负载。

reactor_load_percent（75）

kudu_reactor_load_percent_percentile_75

75%的Reactor线程的负载。

reactor_load_percent（mean）

kudu_reactor_load_percent_mean

Reactor线程的负载的平均值。

op_apply_run_time（99）

kudu_op_apply_run_time_percentile_99

99%的操作执行时间，单位：μs。

op_apply_run_time（75）

kudu_op_apply_run_time_percentile_75

75%的操作执行时间，单位：μs。

op_apply_run_time（mean）

kudu_op_apply_run_time_mean

操作执行时间的平均值，单位：μs。

op_prepare_run_time（99）

kudu_op_prepare_run_time_percentile_99

99%的操作准备时间，单位：μs。

op_prepare_run_time（75)

kudu_op_prepare_run_time_percentile_75

75%的操作准备时间，单位：μs。

op_prepare_run_time（mean）

kudu_op_prepare_run_time_mean

操作准备时间的平均值，单位：μs。

flush_mrs_duration（99）

kudu_flush_mrs_duration_percentile_99

99%的MemRowSet flush时间，单位：ms。

flush_mrs_duration（75）

kudu_flush_mrs_duration_percentile_75

75%的MemRowSet flush时间，单位：ms。

flush_mrs_duration（mean）

kudu_flush_mrs_duration_mean

MemRowSet flush时间的平均值，单位：ms。

log_append_latency（99）

kudu_log_append_latency_percentile_99

99%的日志的append时间，单位：μs。

log_append_latency（75）

kudu_log_append_latency_percentile_75

75%的日志的append时间，单位：μs。

log_append_latency（mean）

kudu_log_append_latency_mean

日志的append时间的平均值，单位：μs。

flush_dms_duration（99）

kudu_flush_dms_duration_percentile_99

99%的DeltaMemStore flush时间，单位：ms。

flush_dms_duration（75）

kudu_flush_dms_duration_percentile_75

75%的DeltaMemStore flush时间，单位：ms。

flush_dms_duration（mean）

kudu_flush_dms_duration_mean

DeltaMemStore flush时间的平均值，单位：ms。

op_prepare_queue_length（99)

kudu_op_prepare_queue_length_percentile_99

99%的准备队列的长度。

op_prepare_queue_length（75）

kudu_op_prepare_queue_length_percentile_75

75%的准备队列的长度。

op_prepare_queue_length（mean）

kudu_op_prepare_queue_length_mean

准备队列的长度的平均值。

log_gc_duration（99）

kudu_log_gc_duration_percentile_99

99%的日志GC的时间，单位：ms。

log_gc_duration（75）

kudu_log_gc_duration_percentile_75

75%的日志GC的时间，单位：ms。

log_gc_duration（mean）

kudu_log_gc_duration_mean

日志GC的时间的平均值，单位：ms。

log_sync_latency（99）

kudu_log_sync_latency_percentile_99

99%的日志Sync的时间，单位：μs。

log_sync_latency(75)

kudu_log_sync_latency_percentile_75

75%的日志Sync的时间，单位：μs。

log_sync_latency（mean）

kudu_log_sync_latency_mean

日志Sync的时间的平均值，单位：μs。

prepare_queue_time（99）

kudu_op_prepare_queue_time_percentile_99

99%的操作在准备队列的等待时间，单位：μs。

prepare_queue_time（75）

kudu_op_prepare_queue_time_percentile_75

75%的操作在准备队列的等待时间，单位：μs。

prepare_queue_time（mean）

kudu_op_prepare_queue_time_mean

操作在准备队列的等待时间的平均值，单位：μs。

rpc_connections_accepted

kudu_rpc_connections_accepted

RPC请求接收的数量。

block_cache_usage

kudu_block_cache_usage

Tserver Block缓存的使用量，单位：Byte。

active_scanners

kudu_active_scanners

处于Active状态的Scanner数量。

data_dirs_full

kudu_data_dirs_full

Full状态的数据目录个数。

rpcs_queue_overflow

kudu_rpcs_queue_overflow

RPC队列溢出次数。

cluster_replica_skew

kudu_cluster_replica_skew

服务器上承载的最多的tablet数量与最少的tablet数量的差值。

log_gc_running

kudu_log_gc_running

正在GC的日志数量。

data_dirs_failed

kudu_data_dirs_failed

失效的数据目录个数。

leader_memory_pressure_rejections

kudu_leader_memory_pressure_rejections

内存压力拒绝的请求个数。

transaction_memory_pressure_rejections

kudu_transaction_memory_pressure_rejections

内存压力拒绝的事务个数。

ClickHouse指标[10]

EMR ClickHouse完全兼容开源版本的产品特性，并且在开源的基础上优化了读写性能，提升了ClickHouse与EMR其他组件快速集成的能力。

指标

描述

clickhouse_server_events_ReplicatedPartFailedFetches

数据无法从Replicated*MergeTree表中任一副本获取的次数。

clickhouse_server_events_ReplicatedPartChecksFailed

Replicated*MergeTree表中数据检查失败的次数。

clickhouse_server_events_ReplicatedDataLoss

Replicated*MergeTree表中数据不在任何一个副本中的次数。

clickhouse_server_events_ReplicatedMetaDataChecksFailed

Replicated*MergeTree表检查元数据失败的次数。

clickhouse_server_events_ReplicatedMetaDataLoss

Replicated*MergeTree表中元数据丢失的次数。

clickhouse_server_events_DuplicatedInsertedBlocks

写入Replicated*MergeTree表中的Block重复的次数。

clickhouse_server_events_ZooKeeperUserExceptions

Zookeeper中与ClickHouse状态相关错误出现的次数。

clickhouse_server_events_ZooKeeperHardwareExceptions

ZooKeeper网络或类似的错误出现的次数。

clickhouse_server_events_ZooKeeperOtherExceptions

ZooKeeper中非硬件或状态错误出现的次数。

clickhouse_server_events_DistributedConnectionFailTry

分布式连接重试出错的次数。

clickhouse_server_events_DistributedConnectionMissingTable

分布式连接无法找到表的次数。

clickhouse_server_events_DistributedConnectionStaleReplica

分布式连接得到的副本不新鲜的次数。

clickhouse_server_events_DistributedConnectionFailAtAll

在所有次重试结束后分布式连接失败的次数。

clickhouse_server_events_SlowRead

Slow Read的次数。

clickhouse_server_events_ReadBackoff

由于Slow Read导致的线程减少的次数。

clickhouse_server_metrics_BackgroundPoolTask

background_pool中的任务个数。

clickhouse_server_metrics_BackgroundMovePoolTask

background_move_pool中的任务个数。

clickhouse_server_metrics_BackgroundSchedulePoolTask

schedule_pool中的任务个数。

clickhouse_server_metrics_BackgroundBufferFlushSchedulePoolTask

buffer_flush_schedule_pool中的任务个数。

clickhouse_server_metrics_BackgroundDistributedSchedulePoolTask

distributed_schedule_pool中的任务个数。

clickhouse_server_metrics_BackgroundTrivialSchedulePoolTask

trivial_schedule_pool中的任务个数。

clickhouse_server_metrics_TCPConnection

TCP连接个数。

clickhouse_server_metrics_HTTPConnection

HTTP连接个数。

clickhouse_server_metrics_InterserverConnection

用于从其他副本上获取数据的连接个数。

clickhouse_server_metrics_MemoryTracking

Server使用的总内存，单位：Byte。

clickhouse_server_metrics_MemoryTrackingInBackgroundProcessingPool

background_pool中任务执行所使用的内存，单位：Byte。

clickhouse_server_metrics_MemoryTrackingInBackgroundMoveProcessingPool

background_move_pool中任务执行所使用的内存，单位：Byte。

clickhouse_server_metrics_MemoryTrackingInBackgroundBufferFlushSchedulePool

buffer_flush_schedule_pool中任务执行所使用的内存，单位：Byte。

clickhouse_server_metrics_MemoryTrackingInBackgroundSchedulePool

schedule_pool中任务执行所使用的内存，单位：Byte。

clickhouse_server_metrics_MemoryTrackingInBackgroundDistributedSchedulePool

distributed_schedule_pool中任务执行所使用的内存，单位：Byte。

clickhouse_server_metrics_MemoryTrackingInBackgroundTrivialSchedulePool

trivial_schedule_pool中任务执行所使用的内存，单位：Byte。

clickhouse_server_metrics_MemoryTrackingForMerges

后台执行Merge时使用的内存，单位：Byte。

Flink指标[11]

Flink是一个流式数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。

Overview

参数

指标

描述

Num Of RunningJobs

numRunningJobs

JM中正在运行的作业数。

Job Uptime

job_uptime

作业已运行时间，单位：ms。仅支持返回单个系列或表的查询。

TaskSlots Available

taskSlotsAvailable

当前可用的TaskSlots数量。

TaskSlots Total

taskSlotsTotal

TaskSlots的总数量。

Num of TM

numRegisteredTaskManagers

已注册的TM数量。

sourceIdleTime

源没有处理任何记录的时间，单位：ms。

currentFetchEventTimeLag

业务延时（fetch=数据发生时间与数据进入Flink Source时间之间的差值）。

currentEmitEventTimeLag

业务延时（emit=数据发生时间与数据离开Flink Source时间之间的差值）。

Checkpoint

参数

指标

描述

Num of Checkpoints

totalNumberOfCheckpoints

检查点总数。

numberOfFailedCheckpoints

失败的检查点数量。

numberOfCompletedCheckpoints

已完成的检查点数量。

numberOfInProgressCheckpoints

正在进行的检查点数量。

lastCheckpointDuration

最近一个检查点完成时间，单位：ms。

lastCheckpointSize

最近一个检查点的大小，单位：Byte。

lastCheckpointRestoreTimestamp

协调器上最近一个检查点的恢复时间，单位：ms。

Network

参数

指标

描述

InPool Usage

inPoolUsage

输入缓冲区使用量。

OutPool Usage

outPoolUsage

输出缓冲区使用量。

OutputQueue Length

outputQueueLength

输出缓冲区排队数量。

InputQueue Length

inputQueueLength

输入缓冲区排队数量。

参数

指标

描述

numBytesIn PerSecond

numBytesInLocalPerSecond

每秒本地读取数据的字节数。

numBytesInRemotePerSecond

每秒远端读取数据的字节数。

numBuffersInLocalPerSecond

每秒本地读取网络缓冲区的数量。

numBuffersInRemotePerSecond

每秒远端读取网络缓冲区的数量。

numBytesOut PerSecond

numBytesOutPerSecond

每秒发出字节数。

numBuffersOutPerSecond

每秒发出网络缓冲区的数量。

Task numRecords I/O PerSecond

numRecordsInPerSecond

每秒接收的记录数。

numRecordsOutPerSecond

每秒发出的记录数。

Task numRecords I/O

numRecordsIn

接收的记录数。

numRecordsOut

发出的记录数。

Operator CurrentSendTime

currentSendTime

发送最新一条记录的耗时时间，单位：ms。

Watermark

参数

指标

描述

Task InputWatermark

currentInputWatermark

任务收到最后一个水印的时间，单位：ms。

Operator In/Out Watermark

currentInputWatermark

算子收到最后一个水印的时间，单位：ms。

currentOutputWatermark

算子发出最后一个水印的时间，单位：ms。

watermarkLag

Watermark滞后时间，单位：ms。

参数

指标

描述

JM CPU Load

CPU_Load

JM CPU使用率。

TM CPU Load

CPU_Load

TM CPU使用率。

CPU Usage

CPU_Usage

TM CPU使用率（基于ProcessTree）。

Memory

参数

指标

描述

JM Heap Memory

Memory_Heap_Used

JM Heap Memory已使用量，单位：Byte。

Memory_Heap_Committed

JM Heap Memory已申请量，单位：Byte。

Memory_Heap_Max

JM Heap Memory最大可用量，单位：Byte。

JM NonHeap Memory

Memory_NonHeap_Used

JM NonHeap Memory已使用量，单位：Byte。

Memory_NonHeap_Committed

JM NonHeap Memory已申请量，单位：Byte。

Memory_NonHeap_Max

JM NonHeap Memory最大可用量，单位：Byte。

TM Heap Memory

Memory_Heap_Used

TM Heap Memory已使用量，单位：Byte。

Memory_Heap_Committed

TM Heap Memory已申请量，单位：Byte。

Memory_Heap_Max

TM Heap Memory最大可用量，单位：Byte。

TM NonHeap Memory

Memory_NonHeap_Used

TM NonHeap Memory已使用量，单位：Byte。

Memory_NonHeap_Committed

TM NonHeap Memory已申请量，单位：Byte。

Memory_NonHeap_Max

TM NonHeap Memory最大可用量，单位：Byte。

Memory RSS

Memory_RSS

TM当前已使用的堆内存量，单位：Byte。

参数

指标

描述

JM Threads

Threads_Count

JM活跃线程总数。

TM Threads

Threads_Count

TM活跃线程总数。

JM GC Time

GarbageCollector_PS_Scavenge_Time

JM年轻代垃圾回收器运行时间。

GarbageCollector_PS_MarkSweep_Time

JM老年代“标记-清除”垃圾回收器的运行时间。

JM GC Count

GarbageCollector_PS_Scavenge_Count

JM年轻代垃圾回收器运行次数。

GarbageCollector_PS_MarkSweep_Count

JM老年代“标记-清除”垃圾回收器的运行次数。

TM GC Count

GarbageCollector_PS_Scavenge_Count

TM年轻代垃圾回收器运行次数。

GarbageCollector_PS_MarkSweep_Count

TM老年代“标记-清除”垃圾回收器的运行次数。

TM GC Time

GarbageCollector_PS_Scavenge_Time

TM年轻代垃圾回收器运行时间。

GarbageCollector_PS_MarkSweep_Time

TM老年代“标记-清除”垃圾回收器的运行时间。

TM ClassLoader

ClassLoader_ClassesLoaded

TM自JVM启动以来已加载的类总数。

ClassLoader_ClassesUnloaded

TM自JVM启动以来已卸载的类总数。

JM ClassLoader

ClassLoader_ClassesLoaded

JM自JVM启动以来已加载的类总数。

ClassLoader_ClassesUnloaded

JM自JVM启动以来已卸载的类总数。

下面介绍如何使用阿里云Prometheus进行EMR的监控，包括接入配置、查看监控大盘和配置告警规则等三方面。

接入EMR配置

开启exporter端口

创建完EMR集群后会默认在ECS上安装taihao-exporter，但prometheus端口未打开，需要手动开启。

先进入**EMR控制台 [ 12] **找到EMR集群id和集群名称

点击“集群名称”找到master和core节点，并远程登录ECS

查找exporter进程，ps -ef | grep taihao_exporter，修改taihao_exporter.yaml配置prom_sink_enable=true并重启服务(记得修改所有节点配置)

sed -i 's/prom_sink_enable:\s*false/prom_sink_enable: true/g' /usr/local/taihao_exporter/taihao_exporter.yamlservice taihao_exporter restart

接入EMR组件

选择“阿里云ECS环境”和Prometheus实例并填写接入配置信息:

EMR集群ID：到EMR控制台查找
EMR集群名称：建议和EMR集群名称一致
exporter名称：job名称（建议默认值+集群名称）
exporter端口：默认9712
采集路径：Prometheus采集exporter的HTTP Path，使用默认值/metrics_preget
采集间隔（秒）：采集时间间隔
ECS标签Key：部署Exporter的ECS标签和标签值，Prometheus通过该标签进行服务发现，具体配置根据上图ECS标签设置，key取值: acs:emr:nodeGroupType或acs:emr:hostGroupType
ECS标签值：参考ECS标签值，默认是CORE,MASTER (多个值用逗号分割)

常见问题

context deadline exceeded，将EMR实例的ECS加入vpc安全组，安装时有安全组提示

查看监控大盘

阿里云Prometheus提供HOST、HDFS、Hive、YARN、Impala、ZooKeeper、Spark、Flink、ClickHouse等共24个大盘，其中包括：

HOST大盘：ECS节点CPU、内存、磁盘、load、network、socket等
HDFS大盘：HDFS-HOME、HDFS-NameNodes、HDFS-DataNodes、HDFS-JournanlNodes
Hive大盘：

HiveServer2: HiveQL查询服务器, 接收来自JDBC客户端提交的SQL请求
HiveMetaStore: 元数据管理模块，用于存储Database和Table等元信息

YARN大盘：

HOME: 集群状态、内存、任务、节点、container等
NodeManager: 负责节点的资源管理、监控和作业运行。
ResourceManager: 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源
TimeLineServer: 收集作业的指标，并展示作业执行情况
JobHistory:

ClickHouse大盘
Flink大盘
Impala大盘
ZooKeeper大盘
Spark大盘进入集成EMR的prometheus实例，点击“E-MapReduce”标签，在弹出界面选择“大盘”tab页，点击大盘缩略图，即可查看对应Grafana大盘。

HOST大盘

HDFS大盘

HDFS-HOME

HDFS-NameNodes

HDFS-DataNodes

HDFS-JournanlNodes

Hive大盘

HiveMetaStore

HiveServer2

YARN大盘

HOME

YARN-HOME-copy

YARN-HOME2

NodeManagers

JobHistory

ResourceManager

TimeLineServer

Kafka大盘

KAFKA-HOME

KAFKA-Broker

KAFKA-Topic

Impala大盘

Spark大盘

ZooKeeper大盘

ClickHouse大盘

Prometheus作为目前最主流的可观测开源项目之一，已经被众多企业所广泛应用。但在实际生产过程中，还是遇到各种各样问题，其中包括：

由于安全、组织管理等因素，用户业务通常部署在多个相互隔离的 VPC，需要在多个 VPC 内都重复、独立部署 Prometheus，导致部署和运维成本高。
每套完整的自建观测系统都需要安装并配置 Prometheus、Grafana、AlertManager 等组件，部署过程复杂、实施周期长，并且每次升级都需要对每个组件进行维护。
随着监控规模不断扩大，资源消耗呈非线性快速增加，系统可用性无法得到保障。
对于EMR的相关组件，自建 Prometheus 无法实现一站式、全局视角的监控建设。
开源分享的相关大盘不够专业，却少开箱即用的丰富指标，不能帮助用户更迅速的了解EMR的整体运行状况

针对以上问题，阿里云Proemtheus监控进行了以下几个方面的优化：

一、性能强化&降低资源消耗，压降IT运维成本

为了进一步进行性能优化，阿里云Prometheus监控将Agent 部署在用户侧，保留原生采集能力同时，尽量使用最少资源；通过采集存储分离架构，提高整体性能；采集组件优化，提升单副本采集能力，降低资源消耗；通过多副本横向扩展均衡分解采集任务，实现动态扩缩，解决开源水平扩展问题。采集/数据处理/存储组件支持多副版本，保证核心数据链路高可用；基于集群规模可直接进行弹性扩容；支持数据重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。

同时，为了应对大规模数据、长时间区间的查询场景，通过DAG执行优化、算子下推，提升大规模数据查询性能并支持长时间区间秒级查询；通过Global DataSource和Global View实现对多集群统一监控与跨集群聚合查询。

在提供企业级能力强化同时，全方位降低企业使用Prometheus的IT运维成本。通过包年包月、按量付费等多种计费方式让费用支出与规划更加清晰与灵活，相较于开源版本节省37%以上。

二、与各类数据云服务深度集成

云产品在各自控制台都提供自身产品的可观测性，但这些云产品的指标及看板散落在各控制台，且无法进行精细化的指标数据应用。Prometheus服务提供云产品监控功能，将这些数据进行统一展现、查询、告警，为运维团队提供更加便捷的日常运维监控界面。

三、Grafana看板增强，让云服务监控更简单

想要更好、更快速的呈现相关指标图表，阿里云Prometheus监控预置Grafana组件，预置常见云服务、应用等看板模板，如应用实时监控服务ARMS、云监控CMS、日志服务SLS、阿里云Elasticsearch等云服务，提供各种云服务的数据源配置及预置大盘，实现各种可观测数据的统一展示。如容器、消息队列Kafka等，进一步提供GrafanaPro大盘，帮助运维进行更加精细化的指标观测。在预置看板之外，可以通过Grafana官方自由增加新插件，添加新的可视化模板以及数据源，进一步满足个性化运维监控需求。