数据摄取架构

编辑

我们提供各种数据摄取架构,以满足各种用例和网络配置。

要将数据摄取到 Elasticsearch,请使用最符合您需求并满足您用例的最简单选项。对于许多用户和用例而言,最简单的方法是使用 Elastic Agent 摄取数据并将其发送到 Elasticsearch。Elastic Agent 和Elastic Agent 集成适用于许多流行的平台和服务,是一个不错的起点。

您可以在自己的硬件上托管 Elasticsearch,也可以将数据发送到 Elastic Cloud 上的 Elasticsearch。对于大多数用户而言,Elastic Agent 直接写入 Elastic Cloud 上的 Elasticsearch 提供了最快捷的价值实现方式。我们的托管 Elasticsearch 服务可在 AWS、GCP 和 Azure 上使用,您可以免费试用

决策树

带有决策树的数据摄取管道

数据摄取架构 使用场景

Elastic Agent 到 Elasticsearch

Image showing Elastic Agent collecting data and sending to Elasticsearch

您的数据源可以使用Elastic Agent 集成

Elastic Agent 到 Logstash 到 Elasticsearch

Image showing Elastic Agent to Logstash to Elasticsearch

您需要 Logstash 提供的其他功能

  • 数据增强位于 Elastic Agent 和 Elasticsearch 之间
  • 持久队列 (PQ) 缓冲可应对网络问题和下游不可用情况
  • 代理适用于 Elastic Agent 连接到 Elastic Agent 网络外部存在网络限制的情况
  • 根据内容,需要将数据路由到多个Elasticsearch 集群和其他目标。

Elastic Agent 到代理到 Elasticsearch

Image showing connections between Elastic Agent and Elasticsearch using a proxy

Agent 存在网络限制,阻止连接到 Elastic Agent 网络外部。请注意,Logstash 作为代理是一种选择。

Elastic Agent 到 Elasticsearch,使用 Kafka 作为中间件消息队列

Image showing Elastic Agent collecting data and using Kafka as a message queue enroute to Elasticsearch

Kafka 是您的中间件消息队列

Logstash 到 Elasticsearch

Image showing Logstash collecting data and sending to Elasticsearch

您需要从 Elastic Agent 无法读取的来源收集数据(例如数据库、AWS Kinesis)。请查看Logstash 输入插件

Elastic 隔空架构

Image showing Elastic Stack in an air-gapped environment

您希望在隔空环境中部署 Elastic Agent 和 Elastic Stack(无法访问外部网络)