› ›

Logstash

版本	2.4.11 (查看全部)
兼容的 Kibana 版本	8.10.1 或更高版本
支持的无服务器项目类型这是什么？	安全性可观测性
订阅级别这是什么？	基本
支持级别这是什么？	Elastic

此集成收集来自 Logstash 实例的日志和指标。

您可以在 Logstash 参考 中找到有关使用 Logstash 集成监控 Logstash 的其他信息：使用 Elastic Agent 监控 Logstash。

兼容性

编辑

logstash 包适用于 Logstash 8.5.0 及更高版本

技术预览说明

编辑

此 Logstash 包还包括一个 Logstash 数据收集和仪表板的技术预览，它们是 Elastic Agent 原生的。该技术预览包括增强的数据收集和一些仪表板，这些仪表板提供了对正在运行的管道的额外洞察。

请注意，此功能不适用于 Kibana 内的 Stack Monitoring UI，而是作为技术预览版包含。希望继续使用 Stack Monitoring UI 的现有实现应取消选中技术预览选项，并继续使用 Metrics (Stack Monitoring)。希望使用技术预览的那些用户应取消选中 Metrics (Stack Monitoring) 并选中 Metrics (Technical Preview)

日志

编辑

Logstash 包支持纯文本格式和 JSON 格式。此外，可以通过 Logstash 包激活两种类型的日志

log 收集并解析 Logstash 写入磁盘的日志。
slowlog 解析 logstash slowlog（请确保配置 Logstash slowlog 选项）。

已知问题

编辑

当使用 log 数据流解析纯文本日志时，如果多行纯文本日志包含嵌入的 JSON 对象，且该 JSON 对象在新行开始，则文件集可能无法正确解析多行纯文本日志事件。

指标

编辑

Logstash 指标相关的数据流适用于 Logstash 7.3.0 及更高版本。

节点统计

编辑

示例

node_stats 的示例事件如下

{
    "@timestamp": "2023-03-02T15:57:56.968Z",
    "agent": {
        "ephemeral_id": "16f2dd63-454b-4699-a8c8-2a748bd044b8",
        "id": "3cc85092-54dc-4b58-8726-5e9458167f42",
        "name": "docker-fleet-agent",
        "type": "metricbeat",
        "version": "8.5.0"
    },
    "data_stream": {
        "dataset": "logstash.stack_monitoring.node_stats",
        "namespace": "ep",
        "type": "metrics"
    },
    "ecs": {
        "version": "8.0.0"
    },
    "elastic_agent": {
        "id": "3cc85092-54dc-4b58-8726-5e9458167f42",
        "snapshot": false,
        "version": "8.5.0"
    },
    "event": {
        "agent_id_status": "verified",
        "dataset": "logstash.stack_monitoring.node_stats",
        "duration": 48419400,
        "ingested": "2023-03-02T15:57:58Z",
        "module": "logstash"
    },
    "host": {
        "architecture": "x86_64",
        "containerized": true,
        "hostname": "docker-fleet-agent",
        "id": "66392b0697b84641af8006d87aeb89f1",
        "ip": [
            "192.168.224.7"
        ],
        "mac": [
            "02-42-C0-A8-E0-07"
        ],
        "name": "docker-fleet-agent",
        "os": {
            "codename": "focal",
            "family": "debian",
            "kernel": "5.10.47-linuxkit",
            "name": "Ubuntu",
            "platform": "ubuntu",
            "type": "linux",
            "version": "20.04.5 LTS (Focal Fossa)"
        }
    },
    "logstash": {
        "cluster": {
            "id": "0toa26-cTzmqx0WD40-4XQ"
        },
        "elasticsearch": {
            "cluster": {
                "id": "0toa26-cTzmqx0WD40-4XQ"
            }
        },
        "node": {
            "stats": {
                "events": {
                    "duration_in_millis": 334,
                    "filtered": 138,
                    "in": 618,
                    "out": 138
                },
                "jvm": {
                    "gc": {
                        "collectors": {
                            "old": {
                                "collection_count": 0,
                                "collection_time_in_millis": 0
                            },
                            "young": {
                                "collection_count": 13,
                                "collection_time_in_millis": 177
                            }
                        }
                    },
                    "mem": {
                        "heap_max_in_bytes": 10527703038,
                        "heap_used_in_bytes": 234688352,
                        "heap_used_percent": 2
                    },
                    "uptime_in_millis": 21450
                },
                "logstash": {
                    "ephemeral_id": "17681d23-bd67-4c40-b6b1-63e97b560856",
                    "host": "170bc3698b89",
                    "http_address": "0.0.0.0:9600",
                    "name": "170bc3698b89",
                    "pipeline": {
                        "batch_size": 125,
                        "workers": 10
                    },
                    "snapshot": false,
                    "status": "green",
                    "uuid": "a4224a67-aae8-4bce-8660-079d068b2e72",
                    "version": "8.5.0"
                },
                "os": {
                    "cgroup": {
                        "cpu": {
                            "cfs_quota_micros": -1,
                            "control_group": "/",
                            "stat": {
                                "number_of_elapsed_periods": 0,
                                "number_of_times_throttled": 0,
                                "time_throttled_nanos": 0
                            }
                        },
                        "cpuacct": {
                            "control_group": "/",
                            "usage_nanos": 55911664431
                        }
                    },
                    "cpu": {
                        "load_average": {
                            "15m": 2.28,
                            "1m": 2.85,
                            "5m": 2.62
                        },
                        "percent": 0
                    }
                },
                "pipelines": [
                    {
                        "ephemeral_id": "453a2361-82d8-4d88-b7a4-063c3293cd4a",
                        "events": {
                            "duration_in_millis": 0,
                            "filtered": 0,
                            "in": 476,
                            "out": 0,
                            "queue_push_duration_in_millis": 59
                        },
                        "hash": "d83c53e142e85177df0f039e5b9f4575b858e9cfdd51c2c60b1a9e8d5f9b1aaa",
                        "id": "pipeline-with-persisted-queue",
                        "queue": {
                            "capacity": {
                                "max_queue_size_in_bytes": 1073741824,
                                "max_unread_events": 0,
                                "page_capacity_in_bytes": 67108864,
                                "queue_size_in_bytes": 132880
                            },
                            "data": {
                                "free_space_in_bytes": 51709984768,
                                "path": "/usr/share/logstash/data/queue/pipeline-with-persisted-queue",
                                "storage_type": "overlay"
                            },
                            "events": 0,
                            "events_count": 0,
                            "max_queue_size_in_bytes": 1073741824,
                            "queue_size_in_bytes": 132880,
                            "type": "persisted"
                        },
                        "reloads": {
                            "failures": 0,
                            "successes": 0
                        },
                        "vertices": [
                            {
                                "events_out": 475,
                                "id": "dfc132c40b9f5dbc970604f191cf87ee04b102b6f4be5a235436973dc7ea6368",
                                "pipeline_ephemeral_id": "453a2361-82d8-4d88-b7a4-063c3293cd4a",
                                "queue_push_duration_in_millis": 59
                            },
                            {
                                "duration_in_millis": 0,
                                "events_in": 375,
                                "events_out": 0,
                                "id": "e24d45cc4f3bb9981356480856120ed5f68127abbc3af7f47e7bca32460e5019",
                                "pipeline_ephemeral_id": "453a2361-82d8-4d88-b7a4-063c3293cd4a"
                            },
                            {
                                "cluster_uuid": "0toa26-cTzmqx0WD40-4XQ",
                                "duration_in_millis": 1,
                                "events_in": 0,
                                "events_out": 0,
                                "id": "9ba6577aa5c41a5ebcaae010b9a0ef44015ae68c624596ed924417d1701abc21",
                                "pipeline_ephemeral_id": "453a2361-82d8-4d88-b7a4-063c3293cd4a"
                            }
                        ]
                    },
                    {
                        "ephemeral_id": "7114cd7d-8d91-4afc-a986-32487c3edcbe",
                        "events": {
                            "duration_in_millis": 191,
                            "filtered": 91,
                            "in": 95,
                            "out": 91,
                            "queue_push_duration_in_millis": 4
                        },
                        "hash": "0542fa70daa36dc3e858ea099f125cc8c9e451ebbfe8ea8867e52f9764da0a35",
                        "id": "pipeline-with-memory-queue",
                        "queue": {
                            "events_count": 0,
                            "max_queue_size_in_bytes": 0,
                            "queue_size_in_bytes": 0,
                            "type": "memory"
                        },
                        "reloads": {
                            "failures": 0,
                            "successes": 0
                        },
                        "vertices": [
                            {
                                "events_out": 95,
                                "id": "4c5941552cdaa72ebc285557c697a7150c359ee3eacf9b5664c4b1048e26153b",
                                "pipeline_ephemeral_id": "7114cd7d-8d91-4afc-a986-32487c3edcbe",
                                "queue_push_duration_in_millis": 4
                            },
                            {
                                "cluster_uuid": "0toa26-cTzmqx0WD40-4XQ",
                                "duration_in_millis": 193,
                                "events_in": 91,
                                "events_out": 91,
                                "id": "635a080aacc8700059852859da284a9cb92cb78a6d7112fbf55e441e51b6658a",
                                "long_counters": [
                                    {
                                        "name": "bulk_requests.successes",
                                        "value": 12
                                    },
                                    {
                                        "name": "bulk_requests.responses.200",
                                        "value": 12
                                    },
                                    {
                                        "name": "documents.successes",
                                        "value": 91
                                    }
                                ],
                                "pipeline_ephemeral_id": "7114cd7d-8d91-4afc-a986-32487c3edcbe"
                            }
                        ]
                    }
                ],
                "process": {
                    "cpu": {
                        "percent": 4
                    },
                    "max_file_descriptors": 1048576,
                    "open_file_descriptors": 89
                },
                "queue": {
                    "events_count": 0
                },
                "reloads": {
                    "failures": 0,
                    "successes": 0
                },
                "timestamp": "2023-03-02T15:57:57.016Z"
            }
        }
    },
    "metricset": {
        "name": "node_stats",
        "period": 10000
    },
    "service": {
        "address": "http://elastic-package-service_logstash_1:9600/_node/stats",
        "hostname": "170bc3698b89",
        "id": "",
        "name": "logstash",
        "type": "logstash",
        "version": "8.5.0"
    }
}

导出的字段

字段	描述	类型
@timestamp	事件发生时的日期/时间。这是从事件中提取的日期/时间，通常表示事件由源生成的时间。如果事件源没有原始时间戳，则此值通常由管道第一次接收到事件时填充。所有事件的必填字段。	date
data_stream.dataset	数据流数据集。	constant_keyword
data_stream.namespace	数据流命名空间。	constant_keyword
data_stream.type	数据流类型。	constant_keyword
host.hostname	主机的 hostname。它通常包含主机上 `hostname` 命令返回的内容。	keyword
logstash.node.jvm.version	版本	keyword
logstash.node.state.pipeline.hash		keyword
logstash.node.state.pipeline.id		keyword
logstash.node.stats.events.duration_in_millis		long
logstash.node.stats.events.filtered	已过滤事件计数器。	long
logstash.node.stats.events.in	传入事件计数器。	long
logstash.node.stats.events.out	传出事件计数器。	long
logstash.node.stats.jvm.mem.heap_max_in_bytes		long
logstash.node.stats.jvm.mem.heap_used_in_bytes		long
logstash.node.stats.jvm.uptime_in_millis		long
logstash.node.stats.logstash.uuid		keyword
logstash.node.stats.logstash.version		keyword
logstash.node.stats.os.cgroup.cpu.stat.number_of_elapsed_periods		long
logstash.node.stats.os.cgroup.cpu.stat.number_of_times_throttled		long
logstash.node.stats.os.cgroup.cpu.stat.time_throttled_nanos		long
logstash.node.stats.os.cgroup.cpuacct.usage_nanos		long
logstash.node.stats.os.cpu.load_average.15m		long
logstash.node.stats.os.cpu.load_average.1m		long
logstash.node.stats.os.cpu.load_average.5m		long
logstash.node.stats.pipelines.events.duration_in_millis		long
logstash.node.stats.pipelines.events.out		long
logstash.node.stats.pipelines.hash		keyword
logstash.node.stats.pipelines.id		keyword
logstash.node.stats.pipelines.queue.events_count		long
logstash.node.stats.pipelines.queue.max_queue_size_in_bytes		long
logstash.node.stats.pipelines.queue.queue_size_in_bytes		long
logstash.node.stats.pipelines.queue.type		keyword
logstash.node.stats.pipelines.vertices.duration_in_millis		long
logstash.node.stats.pipelines.vertices.events_in		long
logstash.node.stats.pipelines.vertices.events_out	events_out	long
logstash.node.stats.pipelines.vertices.id	id	keyword
logstash.node.stats.pipelines.vertices.pipeline_ephemeral_id	pipeline_ephemeral_id	keyword
logstash.node.stats.pipelines.vertices.queue_push_duration_in_millis	queue_push_duration_in_millis	float
logstash.node.stats.process.cpu.percent		double
logstash.node.stats.queue.events_count		long
logstash_stats.pipelines		nested
process.pid	进程 ID。	long
service.version	从中收集数据的服务的版本。这允许仅查看特定服务版本的某个数据集。	keyword

节点

编辑

示例

node 的示例事件如下

{
    "@timestamp": "2023-03-02T15:57:03.999Z",
    "agent": {
        "ephemeral_id": "16f2dd63-454b-4699-a8c8-2a748bd044b8",
        "id": "3cc85092-54dc-4b58-8726-5e9458167f42",
        "name": "docker-fleet-agent",
        "type": "metricbeat",
        "version": "8.5.0"
    },
    "data_stream": {
        "dataset": "logstash.stack_monitoring.node",
        "namespace": "ep",
        "type": "metrics"
    },
    "ecs": {
        "version": "8.0.0"
    },
    "elastic_agent": {
        "id": "3cc85092-54dc-4b58-8726-5e9458167f42",
        "snapshot": false,
        "version": "8.5.0"
    },
    "event": {
        "agent_id_status": "verified",
        "dataset": "logstash.stack_monitoring.node",
        "duration": 69490100,
        "ingested": "2023-03-02T15:57:05Z",
        "module": "logstash"
    },
    "host": {
        "architecture": "x86_64",
        "containerized": true,
        "hostname": "docker-fleet-agent",
        "id": "66392b0697b84641af8006d87aeb89f1",
        "ip": [
            "192.168.224.7"
        ],
        "mac": [
            "02-42-C0-A8-E0-07"
        ],
        "name": "docker-fleet-agent",
        "os": {
            "codename": "focal",
            "family": "debian",
            "kernel": "5.10.47-linuxkit",
            "name": "Ubuntu",
            "platform": "ubuntu",
            "type": "linux",
            "version": "20.04.5 LTS (Focal Fossa)"
        }
    },
    "logstash": {
        "cluster": {
            "id": "0toa26-cTzmqx0WD40-4XQ"
        },
        "elasticsearch": {
            "cluster": {
                "id": "0toa26-cTzmqx0WD40-4XQ"
            }
        },
        "node": {
            "host": "45730b5f8c3d",
            "id": "2e17cd45-ecb8-4358-a420-b867f2e32b7a",
            "jvm": {
                "version": "17.0.4"
            },
            "state": {
                "pipeline": {
                    "batch_size": 125,
                    "ephemeral_id": "472cf082-aa15-41ca-9ed1-62d03afbadd0",
                    "hash": "d83c53e142e85177df0f039e5b9f4575b858e9cfdd51c2c60b1a9e8d5f9b1aaa",
                    "id": "pipeline-with-persisted-queue",
                    "representation": {
                        "graph": {
                            "edges": [
                                {
                                    "from": "dfc132c40b9f5dbc970604f191cf87ee04b102b6f4be5a235436973dc7ea6368",
                                    "id": "9ed824e4f189b461c111ae27c17644c3c5f6d7c3c2bb213cbc7cc067cbd68fe6",
                                    "to": "__QUEUE__",
                                    "type": "plain"
                                },
                                {
                                    "from": "__QUEUE__",
                                    "id": "cb33f8fb7611e31a2c1751b74cdedf5b8cdb96ea46b812a2541e2db4f13dca10",
                                    "to": "e24d45cc4f3bb9981356480856120ed5f68127abbc3af7f47e7bca32460e5019",
                                    "type": "plain"
                                },
                                {
                                    "from": "e24d45cc4f3bb9981356480856120ed5f68127abbc3af7f47e7bca32460e5019",
                                    "id": "63ef166c45b87a40f31e0a6def175f10460b6b0ed656e70968eb52b1c454ab16",
                                    "to": "9ba6577aa5c41a5ebcaae010b9a0ef44015ae68c624596ed924417d1701abc21",
                                    "type": "plain"
                                }
                            ],
                            "vertices": [
                                {
                                    "config_name": "java_generator",
                                    "explicit_id": false,
                                    "id": "dfc132c40b9f5dbc970604f191cf87ee04b102b6f4be5a235436973dc7ea6368",
                                    "meta": {
                                        "source": {
                                            "column": 3,
                                            "id": "/usr/share/logstash/pipeline/persisted-queue.conf",
                                            "line": 2,
                                            "protocol": "file"
                                        }
                                    },
                                    "plugin_type": "input",
                                    "type": "plugin"
                                },
                                {
                                    "explicit_id": false,
                                    "id": "__QUEUE__",
                                    "meta": null,
                                    "type": "queue"
                                },
                                {
                                    "config_name": "sleep",
                                    "explicit_id": false,
                                    "id": "e24d45cc4f3bb9981356480856120ed5f68127abbc3af7f47e7bca32460e5019",
                                    "meta": {
                                        "source": {
                                            "column": 3,
                                            "id": "/usr/share/logstash/pipeline/persisted-queue.conf",
                                            "line": 8,
                                            "protocol": "file"
                                        }
                                    },
                                    "plugin_type": "filter",
                                    "type": "plugin"
                                },
                                {
                                    "config_name": "elasticsearch",
                                    "explicit_id": false,
                                    "id": "9ba6577aa5c41a5ebcaae010b9a0ef44015ae68c624596ed924417d1701abc21",
                                    "meta": {
                                        "source": {
                                            "column": 3,
                                            "id": "/usr/share/logstash/pipeline/persisted-queue.conf",
                                            "line": 15,
                                            "protocol": "file"
                                        }
                                    },
                                    "plugin_type": "output",
                                    "type": "plugin"
                                }
                            ]
                        },
                        "hash": "d83c53e142e85177df0f039e5b9f4575b858e9cfdd51c2c60b1a9e8d5f9b1aaa",
                        "type": "lir",
                        "version": "0.0.0"
                    },
                    "workers": 10
                }
            },
            "version": "8.5.0"
        }
    },
    "metricset": {
        "name": "node",
        "period": 10000
    },
    "process": {
        "pid": 1
    },
    "service": {
        "address": "http://elastic-package-service_logstash_1:9600/_node",
        "hostname": "45730b5f8c3d",
        "id": "2e17cd45-ecb8-4358-a420-b867f2e32b7a",
        "name": "logstash",
        "type": "logstash",
        "version": "8.5.0"
    }
}

这是 node 数据集，它驱动“节点”仪表板页面。

导出的字段

字段	描述	类型	指标类型
@timestamp	事件发生时的日期/时间。这是从事件中提取的日期/时间，通常表示事件由源生成的时间。如果事件源没有原始时间戳，则此值通常由管道第一次接收到事件时填充。所有事件的必填字段。	date
cloud.account.id	用于在多租户环境中标识不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。	keyword
cloud.availability_zone	此主机、资源或服务所在的可用区。	keyword
cloud.image.id	云实例的镜像 ID。	keyword
cloud.instance.id	主机机器的实例 ID。	keyword
cloud.instance.name	主机机器的实例名称。	keyword
cloud.machine.type	主机机器的机器类型。	keyword
cloud.project.id	云项目标识符。示例：Google Cloud 项目 ID、Azure 项目 ID。	keyword
cloud.provider	云提供商的名称。示例值包括 aws、azure、gcp 或 digitalocean。	keyword
cloud.region	此主机、资源或服务所在的区域。	keyword
cluster_uuid		别名
container.id	唯一容器 ID。	keyword
container.image.name	容器所基于的镜像的名称。	keyword
container.labels	镜像标签。	object
container.name	容器名称。	keyword
data_stream.dataset	该字段可以包含任何对表示数据源有意义的内容。示例包括 `nginx.access`、`prometheus`、`endpoint` 等。对于其他方面都适合，但未设置数据集的数据流，我们使用值“generic”作为数据集值。`event.dataset` 应与 `data_stream.dataset` 的值相同。除了上面提到的 Elasticsearch 数据流命名标准之外，`dataset` 值还有其他限制：* 不能包含 `-` * 不能超过 100 个字符	constant_keyword
data_stream.namespace	用户定义的命名空间。命名空间对于允许对数据进行分组很有用。许多用户已经以这种方式组织其索引，并且数据流命名方案现在提供了此最佳实践作为默认值。许多用户将使用 `default` 填充此字段。如果未使用任何值，则它会回退到 `default`。除了上面提到的 Elasticsearch 索引命名标准之外，`namespace` 值还有其他限制：* 不能包含 `-` * 不能超过 100 个字符	constant_keyword
data_stream.type	数据流的总体类型。当前允许的值为“logs”和“metrics”。我们预计在不久的将来还会添加“traces”和“synthetics”。	constant_keyword
ecs.version	此事件符合的 ECS 版本。`ecs.version` 是一个必填字段，必须存在于所有事件中。在查询多个索引（这些索引可能符合略有不同的 ECS 版本）时，此字段允许集成调整为事件的架构版本。	keyword
error.message	错误消息。	match_only_text
event.dataset	数据集的名称。如果事件源发布多种类型的日志或事件（例如，访问日志、错误日志），则数据集用于指定事件来自哪个日志或事件。建议但不强制以模块名称开头，后跟一个点，然后是数据集名称。	keyword
event.duration	事件的持续时间，以纳秒为单位。如果知道 event.start 和 event.end，则此值应为结束时间和开始时间之间的差值。	long
event.module	此数据来自的模块的名称。如果您的监控代理支持模块或插件的概念来处理给定来源的事件（例如，Apache 日志），则 `event.module` 应包含此模块的名称。	keyword
host.architecture	操作系统架构。	keyword
host.containerized	主机是否为容器。	boolean
host.domain	主机所属的域的名称。例如，在 Windows 上，这可能是主机的 Active Directory 域或 NetBIOS 域名。对于 Linux，这可能是主机 LDAP 提供程序的域。	keyword
host.hostname	主机的 hostname。它通常包含主机上 `hostname` 命令返回的内容。	keyword
host.id	唯一的主机 ID。由于主机名并非总是唯一的，因此请使用在您的环境中具有意义的值。示例：当前使用的 `beat.name`。	keyword
host.ip	主机 IP 地址。	ip
host.mac	主机 MAC 地址。建议使用 RFC 7042 中的表示法格式：每个八位字节（即 8 位字节）都由两个 [大写] 十六进制数字表示，给出该八位字节的值作为无符号整数。连续的八位字节由连字符分隔。	keyword
host.name	主机名称。它可以包含 Unix 系统上 `hostname` 返回的值、完全限定域名或用户指定的名称。发送者决定使用哪个值。	keyword
host.os.build	操作系统构建信息。	keyword
host.os.codename	操作系统代号（如果有）。	keyword
host.os.family	操作系统系列（例如 redhat、debian、freebsd、windows）。	keyword
host.os.kernel	操作系统内核版本，以原始字符串形式表示。	keyword
host.os.name	操作系统名称，不包含版本号。	keyword
host.os.name.text	`host.os.name` 的多字段。	match_only_text
host.os.platform	操作系统平台（例如 centos、ubuntu、windows）。	keyword
host.os.version	操作系统版本，以原始字符串形式表示。	keyword
host.type	主机类型。对于云提供商，这可以是机器类型，例如 `t2.medium`。如果是虚拟机，这可能是容器，例如，或在您的环境中具有意义的其他信息。	keyword
input.type		keyword
logstash.elasticsearch.cluster.id		keyword
logstash.host.address		别名
logstash.host.name		别名
logstash.node.stats.events.duration_in_millis		long	counter
logstash.node.stats.events.filtered	已筛选事件计数器	long	counter
logstash.node.stats.events.in	传入事件计数器	long	counter
logstash.node.stats.events.out	传出事件计数器	long	counter
logstash.node.stats.events.queue_push_duration_in_millis		long	counter
logstash.node.stats.jvm.gc.collectors.old.collection_count		long	counter
logstash.node.stats.jvm.gc.collectors.old.collection_time_in_millis		long	counter
logstash.node.stats.jvm.gc.collectors.young.collection_count		long	counter
logstash.node.stats.jvm.gc.collectors.young.collection_time_in_millis		long	counter
logstash.node.stats.jvm.mem.heap_committed_in_bytes		long	gauge
logstash.node.stats.jvm.mem.heap_max_in_bytes		long	counter
logstash.node.stats.jvm.mem.heap_used_in_bytes		long	gauge
logstash.node.stats.jvm.mem.heap_used_percent		long	gauge
logstash.node.stats.jvm.mem.non_heap_committed_in_bytes		long	gauge
logstash.node.stats.jvm.mem.non_heap_used_in_bytes		long	gauge
logstash.node.stats.jvm.threads.count	当前线程数	long	counter
logstash.node.stats.jvm.threads.peak_count	峰值线程数	long	counter
logstash.node.stats.jvm.uptime_in_millis		long	counter
logstash.node.stats.logstash.ephemeral_id		keyword
logstash.node.stats.logstash.host		keyword
logstash.node.stats.logstash.http_address		keyword
logstash.node.stats.logstash.name		keyword
logstash.node.stats.logstash.pipeline.batch_delay		long	gauge
logstash.node.stats.logstash.pipeline.batch_size		long	gauge
logstash.node.stats.logstash.pipeline.workers		long	gauge
logstash.node.stats.logstash.pipelines		keyword
logstash.node.stats.logstash.snapshot		boolean
logstash.node.stats.logstash.status		keyword
logstash.node.stats.logstash.uuid		keyword
logstash.node.stats.logstash.version		keyword
logstash.node.stats.os.cgroup.cpu.cfs_quota_micros		long	gauge
logstash.node.stats.os.cgroup.cpu.control_group		text
logstash.node.stats.os.cgroup.cpu.stat.number_of_elapsed_periods		long	gauge
logstash.node.stats.os.cgroup.cpu.stat.number_of_times_throttled		long	counter
logstash.node.stats.os.cgroup.cpu.stat.time_throttled_nanos		long	counter
logstash.node.stats.os.cgroup.cpuacct.control_group		text
logstash.node.stats.os.cgroup.cpuacct.usage_nanos		long	counter
logstash.node.stats.os.cpu.load_average.15m		half_float	gauge
logstash.node.stats.os.cpu.load_average.1m		half_float	gauge
logstash.node.stats.os.cpu.load_average.5m		half_float	gauge
logstash.node.stats.os.cpu.percent		double	gauge
logstash.node.stats.os.cpu.total_in_millis		long	counter
logstash.node.stats.pipelines.ephemeral_id		keyword
logstash.node.stats.pipelines.events.duration_in_millis		long
logstash.node.stats.pipelines.events.filtered		long
logstash.node.stats.pipelines.events.in		long
logstash.node.stats.pipelines.events.out		long
logstash.node.stats.pipelines.events.queue_push_duration_in_millis		long
logstash.node.stats.pipelines.hash		keyword
logstash.node.stats.pipelines.id		keyword
logstash.node.stats.pipelines.queue.events_count		long
logstash.node.stats.pipelines.queue.max_queue_size_in_bytes		long
logstash.node.stats.pipelines.queue.queue_size_in_bytes		long
logstash.node.stats.pipelines.queue.type		keyword
logstash.node.stats.pipelines.reloads.failures		long
logstash.node.stats.pipelines.reloads.successes		long
logstash.node.stats.process.cpu.load_average.15m		half_float	gauge
logstash.node.stats.process.cpu.load_average.1m		half_float	gauge
logstash.node.stats.process.cpu.load_average.5m		half_float	gauge
logstash.node.stats.process.cpu.percent		double	gauge
logstash.node.stats.process.cpu.total_in_millis		long	counter
logstash.node.stats.process.max_file_descriptors		long	gauge
logstash.node.stats.process.mem.total_virtual_in_bytes		long	gauge
logstash.node.stats.process.open_file_descriptors		long	gauge
logstash.node.stats.process.peak_open_file_descriptors		long	gauge
logstash.node.stats.queue.events_count		long	counter
logstash.node.stats.reloads.failures		long	counter
logstash.node.stats.reloads.successes		long	counter
logstash.node.stats.timestamp		date
logstash.pipeline.name		别名
process.pid	进程 ID。	long
service.address	收集此服务数据的地址。这应该是一个 URI、网络地址（ipv4:port 或 [ipv6]:port）或资源路径（套接字）。	keyword
service.hostname	服务的主机名	keyword
service.id	正在运行的服务的唯一标识符。如果服务由多个节点组成，则所有节点的 `service.id` 应该相同。此 ID 应唯一标识服务。这样就可以关联特定服务的日志和指标，而不管哪个特定节点发出了事件。请注意，如果需要查看来自服务的某个特定主机的事件，则应改为筛选该 `host.name` 或 `host.id`。	keyword
service.name	从中收集数据的服务名称。服务名称通常由用户给定。这允许在多个主机上运行的分布式服务基于名称关联相关实例。对于 Elasticsearch，`service.name` 可能包含集群名称。对于 Beats，如果没有指定名称，`service.name` 默认是 `service.type` 字段的副本。	keyword
service.type	从中收集数据的服务类型。该类型可用于分组和关联来自一种服务类型的日志和指标。例如：如果从 Elasticsearch 收集日志或指标，则 `service.type` 将为 `elasticsearch`。	keyword
service.version	从中收集数据的服务的版本。这允许仅查看特定服务版本的某个数据集。	keyword

示例

以下是 node_cel 的示例事件

{
    "logstash": {
        "node": {
            "stats": {
                "jvm": {
                    "mem": {
                        "heap_committed_in_bytes": 264241152,
                        "heap_used_percent": 2,
                        "heap_max_in_bytes": 5184159742,
                        "non_heap_committed_in_bytes": 191889408,
                        "heap_used_in_bytes": 143564464,
                        "non_heap_used_in_bytes": 180940656
                    },
                    "threads": {
                        "count": 83,
                        "peak_count": 85
                    },
                    "uptime_in_millis": 448206
                },
                "logstash": {
                    "pipeline": {
                        "batch_delay": 50,
                        "batch_size": 125,
                        "workers": 8
                    },
                    "pipelines": [
                        "standalone-pipeline",
                        "pipeline-with-memory-queue",
                        "pipeline-with-persisted-queue"
                    ],
                    "http_address": "0.0.0.0:9600",
                    "name": "21d61ee7529e",
                    "host": "21d61ee7529e",
                    "ephemeral_id": "fa27552b-e31d-463d-a5db-f470e6c2f0ba",
                    "version": "8.6.0",
                    "uuid": "2566e68f-ea0e-4dd0-8b65-17bc7bd9f685",
                    "snapshot": false,
                    "status": "green"
                },
                "process": {
                    "open_file_descriptors": 94,
                    "mem": {
                        "total_virtual_in_bytes": 11442712576
                    },
                    "max_file_descriptors": 1048576,
                    "cpu": {
                        "load_average": {
                            "5m": 1.49,
                            "15m": 1.23,
                            "1m": 0.74
                        },
                        "total_in_millis": 130690,
                        "percent": 2
                    },
                    "peak_open_file_descriptors": 95
                },
                "os": {
                    "cpu": {
                        "load_average": {
                            "5m": 1.49,
                            "15m": 1.23,
                            "1m": 0.74
                        },
                        "total_in_millis": 130690,
                        "percent": 2
                    },
                    "cgroup": {}
                },
                "events": {
                    "filtered": 27752,
                    "in": 28442,
                    "queue_push_duration_in_millis": 597,
                    "duration_in_millis": 3202220,
                    "out": 27752
                },
                "queue": {
                    "events_count": 0
                },
                "reloads": {
                    "failures": 0,
                    "successes": 0
                }
            }
        }
    },
    "input": {
        "type": "cel"
    },
    "agent": {
        "name": "MacBook-Pro.local",
        "id": "b88de78b-7bd7-49ae-99d7-f68ea18070c4",
        "type": "filebeat",
        "ephemeral_id": "e24a6e70-8e93-4d18-8535-319e63c81bc8",
        "version": "8.10.1"
    },
    "@timestamp": "2023-10-04T18:53:48.769Z",
    "ecs": {
        "version": "8.0.0"
    },
    "data_stream": {
        "namespace": "default",
        "type": "metrics",
        "dataset": "logstash.node"
    },
    "elastic_agent": {
        "id": "b88de78b-7bd7-49ae-99d7-f68ea18070c4",
        "version": "8.10.1",
        "snapshot": false
    },
    "host": {
        "hostname": "macbook-pro.local",
        "os": {
            "build": "22F82",
            "kernel": "22.5.0",
            "name": "macOS",
            "family": "darwin",
            "type": "macos",
            "version": "13.4.1",
            "platform": "darwin"
        },
        "ip": [
            "192.168.1.184"
        ],
        "name": "macbook-pro.local",
        "id": "AA4215F6-994F-5CCE-B6F2-B6AED75AE125",
        "mac": [
            "AC-DE-48-00-11-22"
        ],
        "architecture": "x86_64"
    },
    "event": {
        "agent_id_status": "verified",
        "ingested": "2023-10-04T18:53:49Z",
        "dataset": "logstash.node"
    }
}

管道

编辑

这是 pipeline 数据集，它驱动“管道”仪表板页面。

导出的字段

字段	描述	类型	Unit	指标类型
@timestamp	事件发生时的日期/时间。这是从事件中提取的日期/时间，通常表示事件由源生成的时间。如果事件源没有原始时间戳，则此值通常由管道第一次接收到事件时填充。所有事件的必填字段。	date
cloud.account.id	用于在多租户环境中标识不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。	keyword
cloud.availability_zone	此主机、资源或服务所在的可用区。	keyword
cloud.image.id	云实例的镜像 ID。	keyword
cloud.instance.id	主机机器的实例 ID。	keyword
cloud.instance.name	主机机器的实例名称。	keyword
cloud.machine.type	主机机器的机器类型。	keyword
cloud.project.id	云项目标识符。示例：Google Cloud 项目 ID、Azure 项目 ID。	keyword
cloud.provider	云提供商的名称。示例值包括 aws、azure、gcp 或 digitalocean。	keyword
cloud.region	此主机、资源或服务所在的区域。	keyword
cluster_uuid		别名
container.id	唯一容器 ID。	keyword
container.image.name	容器所基于的镜像的名称。	keyword
container.labels	镜像标签。	object
container.name	容器名称。	keyword
data_stream.dataset	该字段可以包含任何对表示数据源有意义的内容。示例包括 `nginx.access`、`prometheus`、`endpoint` 等。对于其他方面都适合，但未设置数据集的数据流，我们使用值“generic”作为数据集值。`event.dataset` 应与 `data_stream.dataset` 的值相同。除了上面提到的 Elasticsearch 数据流命名标准之外，`dataset` 值还有其他限制：* 不能包含 `-` * 不能超过 100 个字符	constant_keyword
data_stream.namespace	用户定义的命名空间。命名空间对于允许对数据进行分组很有用。许多用户已经以这种方式组织其索引，并且数据流命名方案现在提供了此最佳实践作为默认值。许多用户将使用 `default` 填充此字段。如果未使用任何值，则它会回退到 `default`。除了上面提到的 Elasticsearch 索引命名标准之外，`namespace` 值还有其他限制：* 不能包含 `-` * 不能超过 100 个字符	constant_keyword
data_stream.type	数据流的总体类型。当前允许的值为“logs”和“metrics”。我们预计在不久的将来还会添加“traces”和“synthetics”。	constant_keyword
ecs.version	此事件符合的 ECS 版本。`ecs.version` 是一个必填字段，必须存在于所有事件中。在查询多个索引（这些索引可能符合略有不同的 ECS 版本）时，此字段允许集成调整为事件的架构版本。	keyword
error.message	错误消息。	match_only_text
event.dataset	数据集的名称。如果事件源发布多种类型的日志或事件（例如，访问日志、错误日志），则数据集用于指定事件来自哪个日志或事件。建议但不强制以模块名称开头，后跟一个点，然后是数据集名称。	keyword
event.duration	事件的持续时间，以纳秒为单位。如果知道 event.start 和 event.end，则此值应为结束时间和开始时间之间的差值。	long
event.module	此数据来自的模块的名称。如果您的监控代理支持模块或插件的概念来处理给定来源的事件（例如，Apache 日志），则 `event.module` 应包含此模块的名称。	keyword
host.architecture	操作系统架构。	keyword
host.containerized	主机是否为容器。	boolean
host.domain	主机所属的域的名称。例如，在 Windows 上，这可能是主机的 Active Directory 域或 NetBIOS 域名。对于 Linux，这可能是主机 LDAP 提供程序的域。	keyword
host.hostname	主机的 hostname。它通常包含主机上 `hostname` 命令返回的内容。	keyword
host.id	唯一的主机 ID。由于主机名并非总是唯一的，因此请使用在您的环境中具有意义的值。示例：当前使用的 `beat.name`。	keyword
host.ip	主机 IP 地址。	ip
host.mac	主机 MAC 地址。建议使用 RFC 7042 中的表示法格式：每个八位字节（即 8 位字节）都由两个 [大写] 十六进制数字表示，给出该八位字节的值作为无符号整数。连续的八位字节由连字符分隔。	keyword
host.name	主机名称。它可以包含 Unix 系统上 `hostname` 返回的值、完全限定域名或用户指定的名称。发送者决定使用哪个值。	keyword
host.os.build	操作系统构建信息。	keyword
host.os.codename	操作系统代号（如果有）。	keyword
host.os.family	操作系统系列（例如 redhat、debian、freebsd、windows）。	keyword
host.os.kernel	操作系统内核版本，以原始字符串形式表示。	keyword
host.os.name	操作系统名称，不包含版本号。	keyword
host.os.name.text	`host.os.name` 的多字段。	match_only_text
host.os.platform	操作系统平台（例如 centos、ubuntu、windows）。	keyword
host.os.version	操作系统版本，以原始字符串形式表示。	keyword
host.type	主机类型。对于云提供商，这可以是机器类型，例如 `t2.medium`。如果是虚拟机，这可能是容器，例如，或在您的环境中具有意义的其他信息。	keyword
input.type		keyword
logstash.host.address		别名
logstash.host.name		别名
logstash.pipeline.elasticsearch.cluster.id	此 Logstash 管道所连接的 Elasticsearch 集群	keyword
logstash.pipeline.host.address	托管此 Logstash 实例的地址	keyword
logstash.pipeline.host.name	运行 Logstash 的节点的主机名	keyword
logstash.pipeline.info.batch_delay	正在运行的管道的批处理延迟	long
logstash.pipeline.info.batch_size	正在运行的管道的批处理大小	long
logstash.pipeline.info.ephemeral_id	正在运行的管道的临时 ID	keyword
logstash.pipeline.info.workers	正在运行的管道的 worker 数量	long
logstash.pipeline.name	Logstash 管道 ID/名称	keyword
logstash.pipeline.total.events.filtered	管道筛选的事件数	long		counter
logstash.pipeline.total.events.in	管道接收的事件数	long		counter
logstash.pipeline.total.events.out	管道发出的事件数	long		counter
logstash.pipeline.total.flow.filter_throughput.current	筛选器吞吐量流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.filter_throughput.last_1_minute	筛选器吞吐量流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.input_throughput.current	输入吞吐量流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.input_throughput.last_1_minute	吞吐量流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.output_throughput.current	输出吞吐量流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.output_throughput.last_1_minute	输出吞吐量流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.queue_backpressure.current	队列反压流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.queue_backpressure.last_1_minute	队列反压流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.queue_persisted_growth_bytes.current	队列持久增长字节流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.queue_persisted_growth_bytes.last_1_minute	队列持久增长字节流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.queue_persisted_growth_events.current	队列持久增长事件流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.queue_persisted_growth_events.last_1_minute	队列持久增长事件流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.worker_concurrency.current	worker 利用率流指标的过去 1 分钟值	scaled_float		gauge
logstash.pipeline.total.flow.worker_concurrency.last_1_minute	worker 并发流指标的当前值	scaled_float		gauge
logstash.pipeline.total.flow.worker_utilization.current	worker 并发流指标的过去 1 分钟值	scaled_float		gauge
logstash.pipeline.total.flow.worker_utilization.last_1_minute	worker 并发流指标的当前值	scaled_float		gauge
logstash.pipeline.total.queues.current_size.bytes	PQ 的当前大小	long	byte	gauge
logstash.pipeline.total.queues.events	此管道的 PQ 中的事件数	long		counter
logstash.pipeline.total.queues.max_size.bytes	PQ 的最大可能大小	long		gauge
logstash.pipeline.total.queues.type	队列类型 - 持久或内存	keyword
logstash.pipeline.total.reloads.failures	此管道的失败重载次数	long		counter
logstash.pipeline.total.reloads.successes	此管道的成功重载次数	long		counter
logstash.pipeline.total.time.duration.ms	通过管道处理事件所花费的时间。	long	ms	counter
logstash.pipeline.total.time.queue_push_duration.ms	将事件推送到此管道的队列所花费的时间。	long	ms	counter
process.pid	进程 ID。	long
service.address	收集此服务数据的地址。这应该是一个 URI、网络地址（ipv4:port 或 [ipv6]:port）或资源路径（套接字）。	keyword
service.hostname	服务的主机名	keyword
service.id	正在运行的服务的唯一标识符。如果服务由多个节点组成，则所有节点的 `service.id` 应该相同。此 ID 应唯一标识服务。这样就可以关联特定服务的日志和指标，而不管哪个特定节点发出了事件。请注意，如果需要查看来自服务的某个特定主机的事件，则应改为筛选该 `host.name` 或 `host.id`。	keyword
service.name	从中收集数据的服务名称。服务名称通常由用户给定。这允许在多个主机上运行的分布式服务基于名称关联相关实例。对于 Elasticsearch，`service.name` 可能包含集群名称。对于 Beats，如果没有指定名称，`service.name` 默认是 `service.type` 字段的副本。	keyword
service.type	从中收集数据的服务类型。该类型可用于分组和关联来自一种服务类型的日志和指标。例如：如果从 Elasticsearch 收集日志或指标，则 `service.type` 将为 `elasticsearch`。	keyword
service.version	从中收集数据的服务的版本。这允许仅查看特定服务版本的某个数据集。	keyword

示例

以下是 pipeline 的示例事件

{
    "@timestamp": "2023-10-04T18:53:18.708Z",
    "data_stream": {
        "dataset": "logstash.pipeline",
        "namespace": "default",
        "type": "metrics"
    },
    "ecs": {
        "version": "8.0.0"
    },
    "event": {
        "agent_id_status": "verified",
        "dataset": "logstash.pipeline",
        "ingested": "2023-10-04T18:53:19Z"
    },
    "host": {
        "architecture": "x86_64",
        "hostname": "macbook-pro.local",
        "id": "AA4215F6-994F-5CCE-B6F2-B6AED75AE125",
        "ip": [
            "192.168.1.184"
        ],
        "mac": [
            "AC-DE-48-00-11-22"
        ],
        "name": "macbook-pro.local",
        "os": {
            "build": "22F82",
            "family": "darwin",
            "kernel": "22.5.0",
            "name": "macOS",
            "platform": "darwin",
            "version": "13.4.1"
        }
    },
    "input": {
        "type": "cel"
    },
    "logstash": {
        "pipeline": {
            "host": {
                "address": "0.0.0.0:9600",
                "name": "21d61ee7529e"
            },
            "name": "standalone-pipeline",
            "total": {
                "events": {
                    "filtered": 2038,
                    "in": 2038,
                    "out": 2038
                },
                "flow": {
                    "filter_throughput": {
                        "current": 5.02,
                        "last_1_minute": 5.003
                    },
                    "input_throughput": {
                        "current": 4.948,
                        "last_1_minute": 5.003
                    },
                    "output_throughput": {
                        "current": 5.02,
                        "last_1_minute": 5.003
                    },
                    "queue_backpressure": {
                        "current": 0,
                        "last_1_minute": 0
                    },
                    "worker_concurrency": {
                        "current": 0.001,
                        "last_1_minute": 0.001
                    }
                },
                "queues": {
                    "current_size": {
                        "bytes": 0
                    },
                    "events": 0,
                    "max_size": {
                        "bytes": 0
                    },
                    "type": "memory"
                },
                "reloads": {
                    "failures": 0,
                    "successes": 0
                },
                "time": {
                    "duration": {
                        "ms": 1363
                    },
                    "queue_push_duration": {
                        "ms": 12
                    }
                }
            }
        }
    }
}

插件

编辑

这是 plugin 数据集，它驱动“管道详细信息”仪表板页面。请注意，对于使用大量管道和/或这些管道中的插件的 Logstash 实例，此数据集可能会生成许多文档。对于这些实例，我们建议审查管道收集周期，并将其设置为适当的值。

导出的字段

字段	描述	类型	Unit	指标类型
@timestamp	事件发生时的日期/时间。这是从事件中提取的日期/时间，通常表示事件由源生成的时间。如果事件源没有原始时间戳，则此值通常由管道第一次接收到事件时填充。所有事件的必填字段。	date
cloud.account.id	用于在多租户环境中标识不同实体的云帐户或组织 ID。示例：AWS 帐户 ID、Google Cloud ORG ID 或其他唯一标识符。	keyword
cloud.availability_zone	此主机、资源或服务所在的可用区。	keyword
cloud.image.id	云实例的镜像 ID。	keyword
cloud.instance.id	主机机器的实例 ID。	keyword
cloud.instance.name	主机机器的实例名称。	keyword
cloud.machine.type	主机机器的机器类型。	keyword
cloud.project.id	云项目标识符。示例：Google Cloud 项目 ID、Azure 项目 ID。	keyword
cloud.provider	云提供商的名称。示例值包括 aws、azure、gcp 或 digitalocean。	keyword
cloud.region	此主机、资源或服务所在的区域。	keyword
cluster_uuid		别名
container.id	唯一容器 ID。	keyword
container.image.name	容器所基于的镜像的名称。	keyword
container.labels	镜像标签。	object
container.name	容器名称。	keyword
data_stream.dataset	该字段可以包含任何对表示数据源有意义的内容。示例包括 `nginx.access`、`prometheus`、`endpoint` 等。对于其他方面都适合，但未设置数据集的数据流，我们使用值“generic”作为数据集值。`event.dataset` 应与 `data_stream.dataset` 的值相同。除了上面提到的 Elasticsearch 数据流命名标准之外，`dataset` 值还有其他限制：* 不能包含 `-` * 不能超过 100 个字符	constant_keyword
data_stream.namespace	用户定义的命名空间。命名空间对于允许对数据进行分组很有用。许多用户已经以这种方式组织其索引，并且数据流命名方案现在提供了此最佳实践作为默认值。许多用户将使用 `default` 填充此字段。如果未使用任何值，则它会回退到 `default`。除了上面提到的 Elasticsearch 索引命名标准之外，`namespace` 值还有其他限制：* 不能包含 `-` * 不能超过 100 个字符	constant_keyword
data_stream.type	数据流的总体类型。当前允许的值为“logs”和“metrics”。我们预计在不久的将来还会添加“traces”和“synthetics”。	constant_keyword
ecs.version	此事件符合的 ECS 版本。`ecs.version` 是一个必填字段，必须存在于所有事件中。在查询多个索引（这些索引可能符合略有不同的 ECS 版本）时，此字段允许集成调整为事件的架构版本。	keyword
error.message	错误消息。	match_only_text
event.dataset	数据集的名称。如果事件源发布多种类型的日志或事件（例如，访问日志、错误日志），则数据集用于指定事件来自哪个日志或事件。建议但不强制以模块名称开头，后跟一个点，然后是数据集名称。	keyword
event.duration	事件的持续时间，以纳秒为单位。如果知道 event.start 和 event.end，则此值应为结束时间和开始时间之间的差值。	long
event.module	此数据来自的模块的名称。如果您的监控代理支持模块或插件的概念来处理给定来源的事件（例如，Apache 日志），则 `event.module` 应包含此模块的名称。	keyword
host.architecture	操作系统架构。	keyword
host.containerized	主机是否为容器。	boolean
host.domain	主机所属的域的名称。例如，在 Windows 上，这可能是主机的 Active Directory 域或 NetBIOS 域名。对于 Linux，这可能是主机 LDAP 提供程序的域。	keyword
host.hostname	主机的 hostname。它通常包含主机上 `hostname` 命令返回的内容。	keyword
host.id	唯一的主机 ID。由于主机名并非总是唯一的，因此请使用在您的环境中具有意义的值。示例：当前使用的 `beat.name`。	keyword
host.ip	主机 IP 地址。	ip
host.mac	主机 MAC 地址。建议使用 RFC 7042 中的表示法格式：每个八位字节（即 8 位字节）都由两个 [大写] 十六进制数字表示，给出该八位字节的值作为无符号整数。连续的八位字节由连字符分隔。	keyword
host.name	主机名称。它可以包含 Unix 系统上 `hostname` 返回的值、完全限定域名或用户指定的名称。发送者决定使用哪个值。	keyword
host.os.build	操作系统构建信息。	keyword
host.os.codename	操作系统代号（如果有）。	keyword
host.os.family	操作系统系列（例如 redhat、debian、freebsd、windows）。	keyword
host.os.kernel	操作系统内核版本，以原始字符串形式表示。	keyword
host.os.name	操作系统名称，不包含版本号。	keyword
host.os.name.text	`host.os.name` 的多字段。	match_only_text
host.os.platform	操作系统平台（例如 centos、ubuntu、windows）。	keyword
host.os.version	操作系统版本，以原始字符串形式表示。	keyword
host.type	主机类型。对于云提供商，这可以是机器类型，例如 `t2.medium`。如果是虚拟机，这可能是容器，例如，或在您的环境中具有意义的其他信息。	keyword
input.type		keyword
logstash.host.address		别名
logstash.host.name		别名
logstash.pipeline.elasticsearch.cluster.id	此 Logstash 管道所连接的 Elasticsearch 集群	keyword
logstash.pipeline.host.address	托管此 Logstash 实例的地址	keyword
logstash.pipeline.host.name	运行 Logstash 的节点的主机名	keyword
logstash.pipeline.id	Logstash 管道哈希	keyword
logstash.pipeline.name	Logstash 管道 ID/名称	keyword
logstash.pipeline.plugin.codec.decode.duration.ms	解码事件所花费的时间量	long	ms	counter
logstash.pipeline.plugin.codec.decode.in	进入解码器的事件数	long		counter
logstash.pipeline.plugin.codec.decode.out	退出解码器的事件数	long		counter
logstash.pipeline.plugin.codec.encode.duration.ms	编码事件所花费的时间量	long	ms	counter
logstash.pipeline.plugin.codec.encode.in	编码的事件数	long		counter
logstash.pipeline.plugin.codec.id	编解码器插件的 ID	keyword
logstash.pipeline.plugin.codec.name	编解码器插件的名称	keyword
logstash.pipeline.plugin.filter.elasticsearch.cluster.id	此 Logstash 插件所连接的 Elasticsearch 集群	keyword
logstash.pipeline.plugin.filter.events.in	筛选器接收的事件数	long		counter
logstash.pipeline.plugin.filter.events.out	筛选器发出的事件数	long		counter
logstash.pipeline.plugin.filter.flow.worker_millis_per_event.current	此插件每个事件花费的时间量	scaled_float		gauge
logstash.pipeline.plugin.filter.flow.worker_millis_per_event.last_1_minute	此插件每个事件花费的时间量	scaled_float		gauge
logstash.pipeline.plugin.filter.flow.worker_utilization.current	此插件的 worker 利用率	scaled_float		gauge
logstash.pipeline.plugin.filter.flow.worker_utilization.last_1_minute	此插件的 worker 利用率	scaled_float		gauge
logstash.pipeline.plugin.filter.id	筛选器插件的 ID	keyword
logstash.pipeline.plugin.filter.metrics.dissect.failures	剖析失败的次数	long		counter
logstash.pipeline.plugin.filter.metrics.dissect.matches	剖析匹配的次数	long		counter
logstash.pipeline.plugin.filter.metrics.grok.failures	Grok 失败的次数	long		counter
logstash.pipeline.plugin.filter.metrics.grok.matches	Grok 匹配的次数	long		counter
logstash.pipeline.plugin.filter.name	筛选器插件的名称	keyword
logstash.pipeline.plugin.filter.source.column		keyword
logstash.pipeline.plugin.filter.source.id		keyword
logstash.pipeline.plugin.filter.source.line		long
logstash.pipeline.plugin.filter.source.protocol		keyword
logstash.pipeline.plugin.filter.time.duration.ms	在此插件中处理事件所花费的时间量	long	ms	counter
logstash.pipeline.plugin.input.elasticsearch.cluster.id	此 Logstash 插件所连接的 Elasticsearch 集群	keyword
logstash.pipeline.plugin.input.events.out	输入发出的事件数	long		counter
logstash.pipeline.plugin.input.flow.throughput.current	此输入插件的吞吐量	scaled_float		gauge
logstash.pipeline.plugin.input.flow.throughput.last_1_minute	此输入插件的吞吐量	scaled_float		gauge
logstash.pipeline.plugin.input.id	输入插件的 ID	keyword
logstash.pipeline.plugin.input.name	输入插件的名称	keyword
logstash.pipeline.plugin.input.source.column		keyword
logstash.pipeline.plugin.input.source.id		keyword
logstash.pipeline.plugin.input.source.line		long
logstash.pipeline.plugin.input.source.protocol		keyword
logstash.pipeline.plugin.input.time.queue_push_duration.ms	将事件推送到队列所花费的时间量	long	ms	counter
logstash.pipeline.plugin.output.elasticsearch.cluster.id	此 Logstash 插件所连接的 Elasticsearch 集群	keyword
logstash.pipeline.plugin.output.events.in	输出接收的事件数	long		counter
logstash.pipeline.plugin.output.events.out	输出发出的事件数	long		counter
logstash.pipeline.plugin.output.flow.worker_millis_per_event.current	此插件每个事件花费的时间量	scaled_float		gauge
logstash.pipeline.plugin.output.flow.worker_millis_per_event.last_1_minute	此插件每个事件花费的时间量	scaled_float		gauge
logstash.pipeline.plugin.output.flow.worker_utilization.current	此插件的 worker 利用率	scaled_float		gauge
logstash.pipeline.plugin.output.flow.worker_utilization.last_1_minute	此插件的 worker 利用率	scaled_float		gauge
logstash.pipeline.plugin.output.id	输出插件的 ID	keyword
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.200		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.201		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.400		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.401		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.403		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.404		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.409		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.413		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.429		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.responses.500		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.bulk_requests.successes		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.documents.non_retryable_failures		long		counter
logstash.pipeline.plugin.output.metrics.elasticsearch.documents.successes		long		counter
logstash.pipeline.plugin.output.name	输出插件的名称	keyword
logstash.pipeline.plugin.output.source.column		keyword
logstash.pipeline.plugin.output.source.id		keyword
logstash.pipeline.plugin.output.source.line		long
logstash.pipeline.plugin.output.source.protocol		keyword
logstash.pipeline.plugin.output.time.duration.ms	在此插件中处理事件所花费的时间量	long	ms	counter
logstash.pipeline.plugin.type	插件的类型	keyword
process.pid	进程 ID。	long
service.address	收集此服务数据的地址。这应该是一个 URI、网络地址（ipv4:port 或 [ipv6]:port）或资源路径（套接字）。	keyword
service.hostname	服务的主机名	keyword
service.id	正在运行的服务的唯一标识符。如果服务由多个节点组成，则所有节点的 `service.id` 应该相同。此 ID 应唯一标识服务。这样就可以关联特定服务的日志和指标，而不管哪个特定节点发出了事件。请注意，如果需要查看来自服务的某个特定主机的事件，则应改为筛选该 `host.name` 或 `host.id`。	keyword
service.name	从中收集数据的服务名称。服务名称通常由用户给定。这允许在多个主机上运行的分布式服务基于名称关联相关实例。对于 Elasticsearch，`service.name` 可能包含集群名称。对于 Beats，如果没有指定名称，`service.name` 默认是 `service.type` 字段的副本。	keyword
service.type	从中收集数据的服务类型。该类型可用于分组和关联来自一种服务类型的日志和指标。例如：如果从 Elasticsearch 收集日志或指标，则 `service.type` 将为 `elasticsearch`。	keyword
service.version	从中收集数据的服务的版本。这允许仅查看特定服务版本的某个数据集。	keyword

示例

以下是 plugins 的示例事件

{
    "@timestamp": "2023-10-24T17:56:40.316Z",
    "data_stream": {
        "dataset": "logstash.plugins",
        "namespace": "default",
        "type": "metrics"
    },
    "ecs": {
        "version": "8.0.0"
    },
    "event": {
        "agent_id_status": "verified",
        "dataset": "logstash.plugins",
        "ingested": "2023-10-24T17:56:41Z"
    },
    "host": {
        "architecture": "x86_64",
        "hostname": "macbook-pro.local",
        "id": "AA4215F6-994F-5CCE-B6F2-B6AED75AE125",
        "ip": [
            "192.168.4.26"
        ],
        "mac": [
            "AC-DE-48-00-11-22"
        ],
        "name": "macbook-pro.local",
        "os": {
            "build": "22G120",
            "family": "darwin",
            "kernel": "22.6.0",
            "name": "macOS",
            "platform": "darwin",
            "version": "13.6"
        }
    },
    "input": {
        "type": "cel"
    },
    "logstash": {
        "pipeline": {
            "elasticsearch": {
                "cluster": {
                    "id": "9MOGoKiESvaklNVmxLo3iA"
                }
            },
            "host": {
                "address": "127.0.0.1:9602",
                "name": "logstash9602"
            },
            "id": "b18ff60bcd82055aab2bf5601a2bc170502f80b33ab5938f25fa95ec8b04cd4b",
            "name": "work",
            "plugin": {
                "output": {
                    "elasticsearch": {
                        "cluster": {
                            "id": "9MOGoKiESvaklNVmxLo3iA"
                        }
                    },
                    "events": {
                        "in": 798,
                        "out": 798
                    },
                    "flow": {
                        "worker_millis_per_event": {
                            "current": 54,
                            "last_1_minute": 54
                        },
                        "worker_utilization": {
                            "current": 0.023,
                            "last_1_minute": 0.01
                        }
                    },
                    "id": "out_to_elasticsearch",
                    "metrics": {
                        "elasticsearch": {
                            "bulk_requests": {
                                "responses": {
                                    "200": 798
                                },
                                "successes": 798
                            },
                            "documents": {
                                "successes": 798
                            }
                        }
                    },
                    "name": "elasticsearch",
                    "source": {
                        "column": "3",
                        "id": "/Users/test/ingestdemo/logstash-8.8.2/remap.conf",
                        "line": 132,
                        "protocol": "file"
                    },
                    "time": {
                        "duration": {
                            "ms": 198060
                        }
                    }
                },
                "type": "output"
            }
        }
    }
}

变更日志

编辑

变更日志

版本	详细信息	Kibana 版本
2.4.11	错误修复 (查看拉取请求) 防止编解码器有效负载中缺少元素	8.10.1 或更高版本
2.4.10	增强 (查看拉取请求) 在管道视图页面添加管道信息	8.10.1 或更高版本
2.4.9	增强 (查看拉取请求) 添加管道级别的 worker 利用率图表，并删除不正确的流指标信息	8.10.1 或更高版本
2.4.8	Bug 修复 (查看拉取请求) 添加对 Logstash API 返回的空图表的保护机制	8.10.1 或更高版本
2.4.7	Bug 修复 (查看拉取请求) 将集群 UUID 添加到节点数据流	8.10.1 或更高版本
2.4.6	Bug 修复 (查看拉取请求) 修复 Logstash cel 输入中对条件的支持	8.10.1 或更高版本
2.4.5	增强 (查看拉取请求) 为纯文本格式日志添加 plugin_id 解析	8.10.1 或更高版本
2.4.4	Bug 修复 (查看拉取请求) 修复最新版本的 beats/cel-go 的类型检查问题	8.10.1 或更高版本
2.4.3	Bug 修复 (查看拉取请求) 添加缺失的 queue.capacity.* 映射	8.10.1 或更高版本
2.4.2	增强 (查看拉取请求) 添加指向 Logstash 监控文档的链接	8.10.1 或更高版本
2.4.1	Bug 修复 (查看拉取请求) 添加缺失的 host.ip 字段映射	8.10.1 或更高版本
2.4.0	增强 (查看拉取请求) 使 Stack Monitoring 指标 GA (正式发布)	8.10.1 或更高版本
2.3.6	增强 (查看拉取请求) 添加插件向下钻取功能	8.10.1 或更高版本
2.3.5	增强 (查看拉取请求) 将 Logstash 集成包的清单格式版本更新为 3.0.0	8.10.1 或更高版本
2.3.4	增强 (查看拉取请求) 引入 Logstash 管道插件检索和仪表板	8.10.1 或更高版本
2.3.3	增强 (查看拉取请求) 将 Logstash 节点仪表板引入集成包	8.7.1 或更高版本
2.3.2	Bug 修复 (查看拉取请求) 添加缺失的 event fields 字段映射	8.5.0 或更高版本
2.3.1	Bug 修复 (查看拉取请求) 为事件时间戳字段添加显式映射	8.5.0 或更高版本
2.3.0	增强 (查看拉取请求) GA 发布	8.5.0 或更高版本
2.3.0-preview1	增强 (查看拉取请求) 添加为日志和指标设置条件的功能。	—
2.2.3-preview1	Bug 修复 (查看拉取请求) 明确收集的指标为 Stack Monitoring 应用程序提供支持	—
2.2.2-preview1	Bug 修复 (查看拉取请求) 添加缺失的 node_stats cpu 别名	—
2.2.1-preview1	增强 (查看拉取请求) 添加用于定义轮询频率的 period 变量	—
2.2.0-preview1	增强 (查看拉取请求) 为指标集添加 `ssl` 配置选项	—
2.1.1-preview1	Bug 修复 (查看拉取请求) 修复类型为 nested 的映射	—
2.1.0-preview1	增强 (查看拉取请求) 将 `stack_monitoring` 后缀添加到数据集 Bug 修复 (查看拉取请求) 使指标映射与 metricbeat 对齐	—
1.1.0	Bug 修复 (查看拉取请求) 通过修复兼容版本范围，使实验性包不再破坏堆栈版本 ^8.0.0	—
1.0.2	Bug 修复 (查看拉取请求) 将包恢复为实验性	—
1.0.1	增强 (查看拉取请求) 与指南统一	—
1.0.0	增强 (查看拉取请求) 初始版本	7.15.0 或更高版本

« Kibana 平台可观测性 »

Logstash

Logstash

兼容性

技术预览说明

日志

已知问题

指标

节点统计

节点

指标（技术预览）

字段和示例事件

节点

管道

插件

变更日志