使用 Kafka 作为中间件消息队列的 Elastic Agent 到 Elasticsearch

编辑

使用 Kafka 作为中间件消息队列的 Elastic Agent 到 Elasticsearch

编辑
Image showing Elastic Agent collecting data and using Kafka as a message queue enroute to Elasticsearch
摄取模型

Elastic Agent 到 Logstash 到 Kafka 到 Logstash 到 Elasticsearch:Kafka 作为中间件消息队列.
Logstash 从 Kafka 读取数据并将其路由到 Elasticsearch 集群(和/或其他目标)。

Elastic Agent 到 Logstash 到 Kafka 到 Kafka ES Sink 到 Elasticsearch:Kafka 作为中间件消息队列.
Kafka ES sink 连接器从 Kafka 读取数据并写入 Elasticsearch。

使用场景
您正在将 Kafka 标准化为 Elastic Agent 和 Elasticsearch 之间的中间件消息队列
备注
从原始数据到 Elastic Common Schema (ECS) 的转换以及任何其他增强功能都可以由 Logstash 处理,如 Elastic Agent 到 Logstash(用于增强)到 Elasticsearch 中所述。

使用 Kafka 作为中间件消息队列的 Elastic Agent 架构

编辑