使用 Kafka 作为中间件消息队列的 Elastic Agent 到 Elasticsearch

编辑

使用 Kafka 作为中间件消息队列的 Elastic Agent 到 Elasticsearch编辑

Image showing Elastic Agent collecting data and using Kafka as a message queue enroute to Elasticsearch
摄取模型

Elastic Agent 到 Logstash 到 Kafka 到 Logstash 到 Elasticsearch:Kafka 作为中间件消息队列.
Logstash 从 Kafka 读取数据并将其路由到 Elasticsearch 集群(和/或其他目标)。

Elastic Agent 到 Logstash 到 Kafka 到 Kafka ES Sink 到 Elasticsearch:Kafka 作为中间件消息队列.
Kafka ES Sink 连接器从 Kafka 读取数据并写入 Elasticsearch。

使用场景
您正在将 Kafka 标准化为 Elastic Agent 和 Elasticsearch 之间的中间件消息队列
注意事项
从原始数据到 Elastic Common Schema (ECS) 的转换以及任何其他丰富都可以由 Logstash 处理,如Elastic Agent 到 Logstash(用于丰富)到 Elasticsearch 中所述。

具有 Kafka 作为中间件消息队列的 Elastic Agent 架构编辑