Elastic Agent 到 Logstash 到 Kafka 到 Kafka ES Sink 到 Elasticsearch:Kafka 作为中间件消息队列

编辑

Elastic Agent 到 Logstash 到 Kafka 到 Kafka ES Sink 到 Elasticsearch:Kafka 作为中间件消息队列编辑

Image showing Elastic Agent collecting data and using Kafka as a message queue enroute to Elasticsearch
摄取模型

控制路径:Elastic Agent 到 Fleet 到 Elasticsearch
数据路径:Elastic Agent 到 Logstash 到 Kafka 到 Kafka ES Sink 到 Elasticsearch:Kafka 作为中间件消息队列。

Kafka ES Sink 连接器从 Kafka 读取数据并写入 Elasticsearch。

使用场景
您正在将 Kafka 标准化,作为 Elastic Agent 和 Elasticsearch 之间的中间件消息队列
备注
从原始数据到 Elastic Common Schema (ECS) 的转换以及任何其他丰富都可以由 Logstash 处理,如Elastic Agent 到 Logstash(用于丰富)到 Elasticsearch中所述。

资源编辑

关于 Elastic Agent 和 agent 集成的信息

关于 Logstash 和 Logstash 插件的信息

关于 Elasticsearch 的信息