理解 Heartbeat 日志中的指标
编辑理解 Heartbeat 日志中的指标
编辑Heartbeat 默认每 30 秒收集其自身指标的快照。Heartbeat 根据此快照计算增量快照；此增量快照包含自上次快照以来已更改的任何指标。请注意，指标的值是在拍摄快照时的值，而不是自上次快照以来值的差值。
如果此增量快照包含任何指标（表示自上次快照以来至少有一个指标已更改），则此增量快照将被序列化为 JSON 并以INFO日志级别在 Heartbeat 的日志中发出。大多数快照字段报告自上次快照以来指标的变化，但是某些字段是测量值，它们始终报告当前值。以下是一个此类日志条目的示例：
{"log.level":"info","@timestamp":"2023-07-14T12:50:36.811Z","log.logger":"monitoring","log.origin":{"file.name":"log/log.go","file.line":187},"message":"Non-zero metrics in the last 30s","service.name":"filebeat","monitoring":{"metrics":{"beat":{"cgroup":{"memory":{"mem":{"usage":{"bytes":0}}}},"cpu":{"system":{"ticks":692690,"time":{"ms":60}},"total":{"ticks":3167250,"time":{"ms":150},"value":3167250},"user":{"ticks":2474560,"time":{"ms":90}}},"handles":{"limit":{"hard":1048576,"soft":1048576},"open":32},"info":{"ephemeral_id":"2bab8688-34c0-4522-80af-db86948d547d","uptime":{"ms":617670096},"version":"8.6.2"},"memstats":{"gc_next":57189272,"memory_alloc":43589824,"memory_total":275281335792,"rss":183574528},"runtime":{"goroutines":212}},"filebeat":{"events":{"active":5,"added":52,"done":49},"harvester":{"open_files":6,"running":6,"started":1}},"libbeat":{"config":{"module":{"running":15}},"output":{"events":{"acked":48,"active":0,"batches":6,"total":48},"read":{"bytes":210},"write":{"bytes":26923}},"pipeline":{"clients":15,"events":{"active":5,"filtered":1,"published":51,"total":52},"queue":{"max_events":3500,"filled":{"events":5,"bytes":6425,"pct":0.0014},"added":{"events":52,"bytes":65702},"consumed":{"events":52,"bytes":65702},"removed":{"events":48,"bytes":59277},"acked":48}}},"registrar":{"states":{"current":14,"update":49},"writes":{"success":6,"total":6}},"system":{"load":{"1":0.91,"15":0.37,"5":0.4,"norm":{"1":0.1138,"15":0.0463,"5":0.05}}}},"ecs.version":"1.6.0"}}
详情
编辑关注.monitoring.metrics字段，并格式化 JSON，其值为：
{
"beat": {
"cgroup": {
"memory": {
"mem": {
"usage": {
"bytes": 0
}
}
}
},
"cpu": {
"system": {
"ticks": 692690,
"time": {
"ms": 60
}
},
"total": {
"ticks": 3167250,
"time": {
"ms": 150
},
"value": 3167250
},
"user": {
"ticks": 2474560,
"time": {
"ms": 90
}
}
},
"handles": {
"limit": {
"hard": 1048576,
"soft": 1048576
},
"open": 32
},
"info": {
"ephemeral_id": "2bab8688-34c0-4522-80af-db86948d547d",
"uptime": {
"ms": 617670096
},
"version": "8.6.2"
},
"memstats": {
"gc_next": 57189272,
"memory_alloc": 43589824,
"memory_total": 275281335792,
"rss": 183574528
},
"runtime": {
"goroutines": 212
}
},
"filebeat": {
"events": {
"active": 5,
"added": 52,
"done": 49
},
"harvester": {
"open_files": 6,
"running": 6,
"started": 1
}
},
"libbeat": {
"config": {
"module": {
"running": 15
}
},
"output": {
"events": {
"acked": 48,
"active": 0,
"batches": 6,
"total": 48
},
"read": {
"bytes": 210
},
"write": {
"bytes": 26923
}
},
"pipeline": {
"clients": 15,
"events": {
"active": 5,
"filtered": 1,
"published": 51,
"total": 52
},
"queue": {
"max_events": 3500,
"filled": {
"events": 5,
"bytes": 6425,
"pct": 0.0014
},
"added": {
"events": 52,
"bytes": 65702
},
"consumed": {
"events": 52,
"bytes": 65702
},
"removed": {
"events": 48,
"bytes": 59277
},
"acked": 48
}
}
},
"registrar": {
"states": {
"current": 14,
"update": 49
},
"writes": {
"success": 6,
"total": 6
}
},
"system": {
"load": {
"1": 0.91,
"15": 0.37,
"5": 0.4,
"norm": {
"1": 0.1138,
"15": 0.0463,
"5": 0.05
}
}
}
}
下表解释了.monitoring.metrics下最重要字段的含义，并提供可能有助于解决 Heartbeat 问题的提示。
字段路径（相对于.monitoring.metrics） |
类型 | 含义 | 故障排除提示 |
|---|---|---|---|
|
对象 |
所有 Beats 共有的信息，例如版本、goroutine、文件句柄、CPU、内存 |
|
|
对象 |
关于发布者管道和输出的信息，也适用于所有 Beats |
字段路径（相对于.monitoring.metrics.beat） |
类型 | 含义 | 故障排除提示 |
|---|---|---|---|
|
整数 |
正在运行的 goroutine 数量 |
如果此数字随时间增长，则表示存在 goroutine 泄漏 |
字段路径（相对于.monitoring.metrics.libbeat） |
类型 | 含义 | 故障排除提示 |
|---|---|---|---|
|
整数 |
当前位于 libbeat 发布者管道中的事件数量。 |
如果此数字随时间增长，则可能表示 Heartbeat 的事件产生速度快于输出的消耗速度。考虑增加输出工作程序的数量（如果此设置受输出支持；Elasticsearch 和 Logstash 输出支持此设置）。管道包括当前正在处理的事件以及队列中的事件。因此，此指标有时最终会略高于队列大小。如果此指标达到最大队列大小（内存队列的 |
|
整数 |
当前由输出处理的事件数量。 |
如果此数字随时间增长，则可能表示输出目标（例如 Logstash 管道或 Elasticsearch 集群）无法以与 Heartbeat 发送到它的速度相同或更快的速度接受事件。 |
|
整数 |
输出目标确认的事件数量。 |
通常，我们希望此数字与 |
|
整数 |
Heartbeat 尝试发送到输出目标但目标未能接收的事件数量。 |
通常，我们希望此字段不存在或其值为零。当值大于零时，检查此日志条目 |
|
整数 |
由于永久性（不可重试）错误而 Heartbeat 放弃发送到输出目标的事件数量。 |
|
整数 |
Heartbeat 在无法将事件导入主索引后成功发送到已配置的死信索引的事件数量。 |
|
对象 |
字段路径（相对于.monitoring.metrics.libbeat.pipeline） |
类型 | 含义 | 故障排除提示 |
|---|---|---|---|
|
整数（测量值） |
如果队列有一个最大事件计数，则为该计数，否则为零。 |
|
整数（测量值） |
如果队列有一个最大字节计数，则为该计数，否则为零。 |
|
整数（测量值） |
当前由队列存储的事件数量。 |
|
整数（测量值） |
|
当前由队列存储的字节数。 |
|
浮点数（测量值） |
|
队列的满度相对于其最大大小的比例，范围为 0 到 1。 |
当 |
|
整数 |
输入工作程序添加到队列中的事件数量。 |
|
整数 |
|
输入工作程序添加到队列中的字节数。 |
|
整数 |
|
发送到输出工作程序的事件数量。 |
|
整数 |
|
发送到输出工作程序的字节数。 |
|
整数 |
|
输出工作程序处理后从队列中移除的事件数量。 |
|
整数 |
使用内存队列时，只有在输出支持的情况下才会设置字节指标。目前只有 Elasticsearch 输出支持字节指标。
有用的命令
编辑从非结构化 Heartbeat 日志中解析监控指标
编辑对于发出非结构化日志的 Heartbeat 版本，可以使用以下脚本从这些日志中解析监控指标：https://github.com/elastic/beats/blob/main/script/metrics_from_log_file.sh。