数据采集架构

编辑

我们提供多种数据采集架构,以满足各种用例和网络配置的需求。

要将数据采集到 Elasticsearch 中,请使用满足您需求的最简单选项并满足您的用例。对于许多用户和用例,最简单的方法是使用 Elastic Agent 采集数据并将其发送到 Elasticsearch。Elastic Agent 和 Elastic Agent 集成适用于许多流行的平台和服务,是开始使用的好地方。

您可以在自己的硬件上托管 Elasticsearch,或者将数据发送到 Elastic Cloud 上的 Elasticsearch。对于大多数用户而言,Elastic Agent 直接写入 Elastic Cloud 上的 Elasticsearch 提供了最简单快捷的价值实现方式。我们的托管 Elasticsearch 服务可在 AWS、GCP 和 Azure 上使用,您可以免费试用

决策树

带有决策树的数据采集管道

数据采集架构 使用场景

Elastic Agent 到 Elasticsearch

Image showing Elastic Agent collecting data and sending to Elasticsearch

您的数据源有可用的 Elastic Agent 集成

Elastic Agent 到 Logstash 到 Elasticsearch

Image showing Elastic Agent to Logstash to Elasticsearch

您需要 Logstash 提供的其他功能

  • Elastic Agent 和 Elasticsearch 之间的富化
  • 持久队列 (PQ) 缓冲,以适应网络问题和下游不可用
  • 在 Elastic Agent 具有连接到 Elastic Agent 网络外部的网络限制的情况下进行 代理
  • 根据内容,需要将数据路由到多个 Elasticsearch 集群和其他目标

Elastic Agent 到代理到 Elasticsearch

Image showing connections between Elastic Agent and Elasticsearch using a proxy

Agent 有 网络限制,阻止连接到 Elastic Agent 网络外部。请注意,Logstash 作为代理是一种选择。

Elastic Agent 到 Elasticsearch,以 Kafka 作为中间件消息队列

Image showing Elastic Agent collecting data and using Kafka as a message queue enroute to Elasticsearch

Kafka 是您的中间件消息队列

Logstash 到 Elasticsearch

Image showing Logstash collecting data and sending to Elasticsearch

您需要从 Elastic Agent 无法读取的源(例如数据库、AWS Kinesis)收集数据。查看 Logstash 输入插件

Elastic 空气隔离架构

Image showing Elastic Stack in an air-gapped environment

您希望在空气隔离环境(无法访问外部网络)中部署 Elastic Agent 和 Elastic Stack